Как боты пользуются интернетом Продолжаем тему ИИ и визуализации данных — на этот раз смотрим, как боты захватывают интернет. Вы наверняка видели новости про то, что объем трафика, сгенерированного ботами, превысил объемы человеческого. В The Agentic Web Index можно посмотреть, из чего он складывается и что за боты ходят по нашим сайтам. 🔵Значительная его часть приходится на поисковых ботов (они же краулеры), которые индексируют сайты для баз данных поисковиков, и SEO-ботов, анализирующих структуру и контент сайтов для последующей оптимизации. А вот на уже 3 месте оказались боты, которые собирают данные для ИИ-выдачи. 🔵На ИИ-скрейперов приходится 11% бототрафика, из которых 26% генерирует Claude. Чаще всего он собирает данные о праве и вопросах государственного управления почему-то. 🔵ChatGPT чаще других цитирует данные из интернета в своих ответах и направляет людей на сайты-источники. Впрочем, процент переходов пока совсем невпечатляющий — всего-то 0,1%.  ❤️Ну и хорошая новость напоследок — 95% ботов следуют указаниям в robot.txt. Пока.