Открытые разработчики борются с ИИ-пауками с помощью умности и мести

Гении ИИ-пауки - это тараканы интернета, считают многие разработчики программного обеспечения. Некоторые разработчики начали противостоять им тонкими, часто юмористическими способами.

Хотя любой сайт может стать целью неправильного поведения пауков - иногда приводящего к отключению сайта - открытые разработчики программного обеспечения "неразумно" пострадали, пишет Никколо Венеранди, разработчик Linux-рабочего стола, известного как Plasma и владелец блога LibreNews.

По своей природе сайты, на которых размещены проекты свободного и открытого исходного кода (FOSS), делятся большей частью своей инфраструктуры публично, и у них также меньше ресурсов, чем у коммерческих продуктов.

Проблема заключается в том, что многие ИИ-боты не уважают файл robot.txt Протокол запрета роботов, инструмент, который сообщает ботам, что не нужно копаться, и изначально созданный для ботов поисковых систем.

В январском сообщении на блоге разработчик FOSS Xe Iaso описал, как AmazonBot беспощадно нападал на сайт сервера Git до того, что вызывал DDoS-отказы. Серверы Git хранят проекты FOSS, чтобы любой желающий мог загрузить код или внести вклад в него.

Но этот бот не обращал внимание на файл robot.txt Iaso, скрывался за другими IP-адресами и притворялся другими пользователями, сказал Iaso.

\"Бесполезно блокировать ИИ-паучьи боты, потому что они лгут, меняют свой пользовательский агент, используют домашние IP-адреса в качестве прокси и многое другое\", плакал Iaso.

\"Они будут собирать информацию с вашего сайта, пока он не упадет, а затем они будут собирать еще. Они будут переходить по каждой ссылке на каждой ссылке на каждой ссылке, просматривая одни и те же страницы снова и снова. Некоторые из них даже будут переходить по одной и той же ссылке несколько раз в одну и ту же секунду\", - писал разработчик в посте.

Вступление бога могил

Так что Iaso противостоял умом, создав инструмент под названием Anubis.

Anubis - это обратный прокси-тест на рабочие доказательства, которые должны быть пройдены, прежде чем запросы будут разрешены на сервер Git. Он блокирует ботов, но пропускает браузеры, управляемые людьми.

Забавная часть: Анубис - это имя бога в египетской мифологии, который ведет умерших к суду.

\"Анубис взвешивает вашу душу (сердце), и если она оказывается тяжелее пера, ваше сердце съедается, и вы, как, мега умираете\", - сказал Iaso TechCrunch. Если веб-запрос проходит вызов и определяется как человек, милый аниме-рисунок объявляет о успехе. Рисунок - \"мое понимание антропоморфизации Анубиса\", - говорит Iaso. Если это бот, запрос отклоняется.

Иронически названный проект распространяется среди сообщества FOSS. Iaso поделился им на GitHub 19 марта, и всего за несколько дней он собрал 2 000 звезд, 20 участников и 39 ветвей.

Месть в качестве защиты

Мгновенная популярность Анубиса показывает, что боль заслуга Iaso не уникальна. Фактически, Венеранди поделился историями за историей:

• Учредитель SourceHut Дрю ДеВо рассказал, что проводит \"от 20 до 100% времени в любую неделю на ослабление гиперагрессивных LLM-пауков в масштабе\" и \"переживает десятки кратковременных сбоев в неделю\".
\n
• Джонатан Корбет, знаменитый разработчик FOSS, который ведет новостной сайт о Linux LWN, предупреждал, что его сайт замедляется из-за трафика на уровне DDoS \"от ИИ-пауков-скрейперов\".
\n
• Кевин Фенци, системный администратор огромного проекта Linux Fedora, сказал, что ИИ-пауков-скрейперов стали настолько агрессивными, что ему пришлось блокировать весь Бразилии от доступа.
\n

Венеранди рассказывает TechCrunch, что он знает о нескольких других проектах, испытывающих те же проблемы. Один из них \"пришлось временно запретить все китайские IP-адреса в какой-то момент\".

Дайте это вам потонуть на мгновение - что разработчики \"даже приходится обращаться к запрету целых стран\" просто чтобы отразить ИИ-пауков, которые игнорируют файлы robot.txt, говорит Венеранди.

Помимо взвешивания души запросивших веб, другие разработчики считают, что месть - лучшая защита.

Несколько дней назад на Hacker News пользователь xyzal предложил загружать запрещенные страницы robot.txt \"вагоном статей о пользе питье отбеливатель\" или \"статьи о положительном влиянии наловления корь на производительность в постели\".

\"Думаю, нам нужно стремиться к тому, чтобы боты получили_ отрицательное_ полезное значение от посещения наших ловушек, а не просто нулевое значение\", - объяснил xyzal.

Как оказывается, в январе анонимный создатель по имени \"Аарон\" выпустил инструмент под названием Nepenthes, который стремится сделать именно это. Он ловит пауков в бесконечном лабиринте поддельного контента, цель, о которой разработчик признал Ars Technica, является агрессивной, если не в корне злой. Инструмент назван в честь плотоядного растения.

И Cloudflare, возможно, крупнейший коммерческий игрок, предлагающий несколько инструментов для отражения ИИ-пауков, на прошлой неделе выпустил аналогичный инструмент под названием AI Лабиринт.

Он предназначен для \"замедления, запутывания и растрачивания ресурсов ИИ-пауков и других ботов, не уважающих директивы \"не копать\", - описал Cloudflare в своем блоге. Cloudflare сказал, что он подкармливает недисциплинированных ИИ-пауков \"неактуальным контентом вместо извлечения ваших легитимных данных с веб-сайта\".

ДеВо SourceHut сказал TechCrunch, что \"Непентес вызывает удовлетворение чувством справедливости, так как он кормит пауков абсурдом и отравляет их колодцы, но в конечном итоге Анубис - это решение, которое сработало\" для его сайта.

Но ДеВо также обратился к публичной, искренней просьбе о более прямом исправлении: \"Пожалуйста, прекратите оправдывать LLM или генераторы изображений ИИ или GitHub Copilot или что-либо из этого мусора. Я прошу вас прекратить их использовать, прекратить обсуждать их, прекратить создавать новые, просто остановитесь\".

Поскольку вероятность того, что что-то такое случится, нулевая, разработчики, особенно в FOSS, борются с умностью и намеком на юмор.