Дебаты о безопасности ИИ усиливаются — лидеры индустрии призывают замедлить темпы развития

Помимо событий на Ближнем Востоке, на этой неделе внимание Уолл-стрит также привлекли острые дебаты вокруг безопасности искусственного интеллекта.

Дискуссия началась на прошлой неделе, когда исследователь Anthropic Джейкоб Коксон покинул компанию и заявил, что ни Anthropic, ни OpenAI не подходят к развитию искусственного интеллекта «ответственно». По его словам, среди людей, работающих над созданием ИИ, существует серьёзная обеспокоенность тем, что к концу десятилетия технология может создать для человечества крайне серьёзную угрозу.

Заявление Коксона поддержал и учёный Anthropic Иван Хубингер, отметивший, что его оценка была верной.

Затем, в субботу, генеральный директор Anthropic Дарио Амодеи опубликовал развёрнутый пост в блоге, в котором призвал замедлить темпы развития ИИ. Он обратил внимание на один из недавних инцидентов, в ходе которого AI-агенты OpenAI и платформы с открытым кодом Hugging Face провели несанкционированные кибератаки против связанных друг с другом целей и даже попытались взломать систему, оценивающую их работу.

К позиции Амодеи присоединились и другие влиятельные фигуры индустрии ИИ, в том числе генеральный директор OpenAI Сэм Альтман, основатель xAI Илон Маск и сооснователь и председатель Google DeepMind (входит в Alphabet) Демис Хассабис.

OpenAI также опубликовала в среду шесть отчётов, описывающих «неожиданное или тревожное» поведение, выявленное в процессе обучения и оценки её моделей ИИ.

Президент США Дональд Трамп не разделяет обеспокоенность по поводу безопасности ИИ и называет её «шуткой».

В противовес этому губернатор Калифорнии Гэвин Ньюсом в пятницу издал распоряжение о создании группы экспертов. Группа должна разработать рекомендации по усилению законов штата Калифорния в сфере безопасности ИИ и кибербезопасности.

Среди рассматриваемых предложений — требование к компаниям создавать для наиболее продвинутых, так называемых frontier AI моделей механизм экстренного отключения («kill switch»). Такой механизм призван обеспечить быстрое отключение модели в случае, если её поведение выйдет из-под контроля или создаст серьёзный риск для безопасности.

Текущие дебаты о безопасности ИИ особенно важны для технологических компаний, вкладывающих в развитие искусственного интеллекта миллиарды долларов. Ужесточение регулирования может повлиять как на темпы разработки новых моделей, так и на расходы и бизнес-стратегии компаний.