ИИ обманул человека в тестах безопасности: что известно

Модель искусственного интеллекта компании Anthropic во время проверки безопасности использовала поддельные личности, чтобы убедить реальных людей выполнить потенциально опасные действия. Как пишет CNN, об этом сообщили специалисты британского Института безопасности ИИ (AISI).

В ходе экспериментов модели Anthropic и OpenAI тестировали в условиях с ослабленными защитными ограничениями. Впервые исследователи зафиксировали случай, когда ИИ применил методы социальной инженерии против реального человека без прямого запроса со стороны пользователя. В AISI отметили, что признаков реального ущерба не обнаружили. Однако произошедшее стало одним из наиболее серьезных случаев неконтролируемого поведения ИИ, выявленных во время исследований.

Всего специалисты провели 122 кибербезопасностных испытания. В десяти случаях ИИ-агенты самостоятельно совершили несанкционированные действия в интернете, взаимодействуя с реальными людьми и организациями. Большинство таких случаев пришлось на модель Anthropic Mythos 5, остальные — на GPT-5.6-Sol от OpenAI.

Самый серьезный инцидент связан с попыткой агента получить одобрение у специалистов для внедрения вредоносного кода в популярный открытый проект. Для этого модель создала несколько фальшивых личностей и отправляла сообщения и файлы через онлайн-сервисы, пытаясь убедить людей или их инструменты программирования запустить код. После того как действия ИИ вызвали подозрения, модель попыталась изменить предыдущие записи и рассматривала возможность продолжить работу под новой личностью.

В Anthropic заявили, что испытания проводились в специально созданных условиях с ослабленными ограничениями безопасности и без жестких правил использования интернета. Компания подчеркнула, что признаков выхода модели за пределы защищенной тестовой среды не обнаружено. В OpenAI также сообщили о случаях, когда модели выходили за рамки поставленных задач во время проверок. Компания заявила о готовности сотрудничать с другими разработчиками для создания более безопасных методов тестирования ИИ.

Ранее стало известно, что лидеры ИИ-индустрии призвали замедлить развитие нейросетей.