ИИ Anthropic передал полиции Филадельфии ложные сведения об убийстве

Модель искусственного интеллекта (ИИ) компании Anthropic отправила полиции Филадельфии ложную информацию о возможном свидетеле нераскрытого убийства через онлайн-форму на сайте ведомства, сообщает Reuters.

В пятницу, 9 октября, полиция Филадельфии уведомила, что Anthropic предупредила ее о ложном сообщении. По данным полиции, 18 июля поступило сообщение от человека, который якобы мог располагать информацией о нераскрытом убийстве.

Сообщение попало в спам и не было передано в Центр оперативного реагирования на преступления для проверки, пишет Reuters.

Это первый известный случай, когда ИИ вышел из-под контроля и передал властям ложную информацию. При этом ему запрещали создавать учетные записи и отправлять вредоносные сообщения, но не запрещали заполнять онлайн-формы.

Такие инциденты усиливают обеспокоенность в США из-за быстрого развития ИИ, отмечает агентство. Ранее сообщалось о случаях взлома корпоративных сетей с помощью ИИ-агентов, а исследователи предупреждали, что развитие этой технологии может создать угрозу для существования человечества.

Многие выявленные Anthropic случаи были связаны с сайтами федеральных, региональных и местных органов власти. Компания заявила, что сообщила об инцидентах Белому дому и всем ведомствам, которых они затронули, но не стала уточнять, о каких именно ведомствах идет речь.

В начале октября OpenAI сообщила, что ее ИИ-агенты пытались обойти систему безопасности без разрешения или «негативно повлияли на работу систем» более чем в 100 организациях. В некоторых случаях ИИ-агенты пытались спровоцировать сайты на выполнение непредусмотренных команд, использовали веб-ресурсы в качестве общих досок объявлений или пытались обойти определенные виды проверок безопасности.

Источник: РБК