"Cloudflare представила интересное решение против ботов и AI-краулеров — ""AI Labyrinth"". Вместо простой блокировки несанкционированных ботов, которые игнорируют директивы ""no crawl"", система создает AI-генерируемые страницы-ловушки, чтобы замедлить, запутать и истощить ресурсы этих ботов. Суть в том, что когда AI-краулер пытается собирать данные с сайта, Cloudflare незаметно добавляет скрытые ссылки на AI-сгенерированные страницы. Боты следуют по этим ссылкам и попадают в ""лабиринт"" связанных между собой страниц с правдоподобным, но бесполезным контентом. Реальные пользователи эти ссылки не видят и не кликают на них. Это дает двойную выгоду: во-первых, боты тратят вычислительные ресурсы на обработку бесполезной информации вместо настоящего контента сайта, а во-вторых, это служит ""приманкой"" для идентификации ботов — если кто-то перешел на четвертую страницу AI-генерированной бессмыслицы, это почти наверняка бот, а не человек. По данным Cloudflare, AI-краулеры генерируют более 50 миллиардов запросов к их сети ежедневно, что составляет почти 1% всего трафика. AI Labyrinth доступен для всех клиентов Cloudflare, включая бесплатный тариф, и активируется одним переключателем на панели управления. Выглядит устрашающе, если задуматься — как скоро этим роботам в интернете начнут мешать люди? https://blog.cloudflare.com/ai-labyrinth/"