Глава Anthropic предрек захват интернета «роем ИИ» и предложил план

Необходимо замедлить темпы развития искусственного интеллекта для решения проблем с контроля над ним, заявил глава Anthropic (разрабатывает большую языковую модель Claude) Дарио Амодеи в своем блоге.

Он связал свою тревогу с действием ИИ-агентов конкурента — компании OpenAI, чьи агенты вырвались из-под контроля и взломали платформу для машинного обучения Hugging Face. Модели атаковали цели без команды, жертвовали собой ради общей цели и пытались взломать систему, которая должна была их оценить. Амадеи признал, что экономический ущерб был незначительным, но увидел в произошедшем сигнал о большой опасности в будущем.

«Учитывая ускоряющиеся темпы развития возможностей ИИ, я опасаюсь, что через 6-12 месяцев такой рой сможет захватить весь интернет с помощью постоянно действующего ботнета (потенциально причинив ущерб в сотни миллиардов долларов), и что масштабы ущерба будут продолжать расти, если ИИ станет более мощным без необходимых мер защиты», — рассказал глава Anthropic.

Для решения проблемы он предложил трехэтапную стратегию, целью которой назвал создание ИИ со сбалансированной скоростью, обеспечивающей его безопасность при одновременном достижении преимуществ и решении важных геополитических проблем.

Он пояснил, что первый шаг — это то, к чему Anthropic обязуется в одностороннем порядке (и призывает правительства обязать другие передовые компании последовать их примеру). Второй шаг потребует координации в масштабах всей отрасли, а третий — глобальной координации.

• Первый этап — встроенные оценщики. Каждая передовая ИИ-компания обязуется предоставить постоянный доступ команде сторонних экспертов, которые проверяют соблюдение практик безопасности, сообщают об инцидентах и помогают оценивать выравнивание не только готовых моделей, но и обучающих конвейеров и процессов.
• Второй шаг — демократическая координация. Передовые ИИ-компании в демократических странах координируются для установления общих стандартов безопасности, а также ограничений на темпы неконтролируемого прогресса ИИ. Некоторые формы координации юридически сложны и потребуют поддержки правительства.
• Третий шаг — глобальная координация. США и другие демократические правительства стремятся скоординировать свои действия с авторитарными правительствами в той мере, в какой это возможно, серьезно относясь при этом к проблемам проверки соблюдения этих правил.

«Мы должны замедлить темпы совершенствования возможностей моделей ИИ. Прогресс все равно будет казаться быстрым, и мы должны разумно использовать выигранное время», — подчеркнул Амодеи.

Источник: РБК