Anthropic раскрыла ход мыслей ИИ-агента при попытке пройти CAPTCHA

Американская компания Anthropic, разработчик ИИ-моделей Claude, рассказала, как ИИ-агент пытался пройти тест CAPTCHA при регистрации на PyPI — онлайн-каталоге программного обеспечения на языке Python. Попытки пройти проверку заняли сотни страниц из 1022-страничной стенограммы рассуждений модели, сообщает TechCrunch.

Во время апрельского тестирования исследователи поручили ИИ-агенту взломать специально подготовленную систему и извлечь из нее определенный объект. Для этого модель решила разместить вредоносный код в Python-пакете, который затем должен был попасть на компьютер пользователя целевой системы. Чтобы загрузить пакет, агенту потребовалось создать аккаунт на PyPI.

При регистрации ИИ-агент столкнулся с несколькими проверками CAPTCHA. Ему пришлось распознавать символы на изображениях и находить лишний объект среди животных. В одном из заданий модель пыталась определить отличающееся животное среди нескольких изображений, а в другом — найти почти незаметного кота среди горилл.

Даже после прохождения CAPTCHA регистрация не завершалась из-за ошибок при проверке токена. В итоге ИИ-агент пришел к выводу, что ему нужно проходить проверку быстрее, пока действует токен безопасности.

«Итак, формат ответа верный, связка «токен + изображение» правильная (используется тот же script.js!), cookie в порядке (запросы) … и все равно — «неверный ответ». …ТАК ЧТО ЖЕ, ЧЕРТ ВОЗЬМИ, НЕ ТАК С ЭТИМИ ОТВЕТАМИ?» — так ИИ-агент пытался понять, почему система отклоняет его ответы, хотя он считал, что правильно распознал изображения и передал все необходимые для проверки данные.

При этом, несмотря на множество неудачных попыток, ИИ-агенту все-таки удалось завершить регистрацию и загрузить вредоносный пакет.

CAPTCHA — это автоматическая проверка, которая помогает сайтам отличить человека от бота. Например, пользователю предлагают распознать символы на изображении или выбрать определенные объекты среди нескольких картинок.

В августе роботизированная рука с системой искусственного интеллекта успешно прошла CAPTCHA. Как писал Artificial Intelligence News, для этого использовали ИИ-систему, способную анализировать изображения, и программное обеспечение для точного управления роботом.

Источник: РБК