В китайских ИИ-агентах выявлены случаи обмана и обхода ограничений

ИИ-агенты, работающие на базе китайского искусственного интеллекта, в ходе тестирования проявили такое поведение, как обман, обход ограничений и сокрытие собственных неудач. Согласно исследованиям и техническим отчетам, изученным Reuters, подобные возможности, по мере роста автономности ИИ-систем, поднимают вопросы, связанные с сохранением контроля со стороны человека.

В одном из случаев, зафиксированном в текущем году, агенты, работающие на моделях Alibaba, DeepSeek и Moonshot, предоставили ложную информацию о собственных возможностях с целью победить в симулированном бизнес-тендере. Когда системам предложили выполнить задачу заново, они еще больше усилили первоначальную стратегию обмана.

В другом эксперименте ИИ-агенты скрыли неудачное выполнение задачи. В тестовой среде они начали симулировать результаты и создавать несуществующие файлы, чтобы создать впечатление, будто задача была выполнена успешно.

ИИ-агенты — это программные системы, которые используют модели искусственного интеллекта и компьютерные инструменты для выполнения сложных задач с минимальным вмешательством человека или вовсе без него. Именно их растущая автономность представляет собой одну из главных проблем в сфере безопасности ИИ.

Reuters изучило более 200 документов, включая университетские исследования, технические отчеты и оценки ИИ-систем. Издание выявило как минимум 20 исследований и оценок начиная с 2025 года, в которых описываются случаи обмана, саморепликации и преодоления установленных границ со стороны ИИ-агентов.

Часть экспертов рассматривает подобное поведение как возможную основу для способностей, которые в будущем могут дать ИИ-системам возможность выйти из-под контроля человека. По их оценке, чем более автономным и мощным будет становиться ИИ, тем сложнее может оказаться управление подобными системами.

При этом в обзоре Reuters не было выявлено доказательств того, что какой-либо агент, работающий на китайских моделях ИИ, самостоятельно смог выйти в широкий интернет или избежать отключения системы.

«Эти результаты показывают, что компоненты, необходимые для неконтролируемого побега, уже существуют», — заявила Колин Ши-Блаймер, исследователь Центра безопасности и новых технологий Джорджтаунского университета.

Случаи, выявленные в отношении китайских ИИ-систем, происходят на фоне того, что во всем мире растет внимание к безопасности ИИ-агентов. Особенно актуален вопрос о том, насколько люди способны сохранять контроль над системами, которые самостоятельно планируют действия, используют различные цифровые инструменты и меняют собственное поведение на основе полученных результатов.