Cloudflare выпустила AI Labyrinth

Зачем Cloudflare это делает?
Основная цель AI Labyrinth — сделать работу неавторизованных ботов максимально затратной, тем самым создавая препятствие для компаний, которые занимаются сбором контента без разрешения владельцев сайтов. По задумке, увеличение затрат на бесполезную обработку должно побудить операторов ботов отказаться от подобных практик.
Кроме того, AI Labyrinth помогает точнее идентифицировать ботов:
«Ни один реальный человек не будет переходить по четырём и более ссылкам, ведущим в лабиринт бессмысленного контента. Любой посетитель, сделавший это, почти наверняка является ботом, и мы можем эффективно выявлять таких нарушителей», — заявляет Cloudflare.
Cloudflare не собирается останавливаться на достигнутом и ожидает, что в будущем владельцы ботов попытаются обойти её защиту. Поэтому компания уже работает над улучшением своего «лабиринта»:
сделает ссылки труднее распознаваемыми ботами;
интегрирует страницы лабиринта ещё более незаметно в структуру защищаемых сайтов.
Нововведение уже доступно всем пользователям Cloudflare, включая бесплатный тарифный план. Активировать AI Labyrinth можно в личном кабинете.
Дополнительно о защите от ботов
Ещё летом 2024 года Cloudflare выпустила бесплатный инструмент для блокировки ИИ-ботов, но практика показала, что блокировка не всегда эффективна, поскольку операторы ботов часто игнорируют запреты и технические ограничения. Новый подход с созданием лабиринтов бесполезного контента может оказаться намного результативнее.

Обсуждение

Toptaev Ermek 19.03.2025 в 18:05

Как работает AI Labyrinth?
AI Labyrinth работает на базе открытой платформы Workers AI и генерирует «лабиринты» из реалистично выглядящих HTML-страниц. Попав в такую ловушку, боты вынуждены тратить ресурсы на обработку бесполезного контента. Пользователи при этом не сталкиваются с такими страницами и даже не замечают их существования.

«Когда мы обнаруживаем неавторизованного бота, то вместо блокировки перенаправляем его на серию сгенерированных страниц, достаточно убедительных, чтобы бот продолжил путешествовать по ним. Таким образом бот впустую расходует своё время и вычислительные ресурсы», — объяснили в Cloudflare.

При этом компания подчёркивает, что намеренно избегает генерации ложной или вредоносной информации. Контент в лабиринтах связан с научными фактами, но не является полезным для обучающих моделей. Также он никак не влияет на репутацию сайта и его позиции в поисковых системах.

Цитировать