Два специалиста DeepMind уволились, призвав замедлить развитие ИИ

Два специалиста, работавших над безопасностью искусственного интеллекта в Google DeepMind, покинули компанию и публично предупредили о рисках слишком быстрого развития данной технологии. Билал Чугтаи заявил, что искусственный интеллект потенциально способен привести к гибели человечества, а Джош Энгельс предупредил о «пугающей вероятности» огромного ущерба уже в ближайшие пять лет.

Что сказал Билал Чугтаи

Билал Чугтаи работал в Google DeepMind над безопасностью AGI и проблемой согласования ИИ и человека. Он покинул компанию еще в июле 2026 года, но вот 14 сентября опубликовал заявление, в котором объяснил свою позицию.

Чугтаи написал, что начал заниматься искусственным интеллектом в начале 2022 года. По его оценке, за четыре года возможности систем изменились чрезвычайно быстро. При этом понимание того, как гарантировать соответствие поведения продвинутого ИИ человеческим целям, пока не достигло конкретных результатов. Более того, согласование в этом направлении движется очень медленно и не является ключевой задачей.

Исследователь прямо заявил, что считает возможным появление в ближайшие годы сверхинтеллектуальных систем, значительно превосходящих человека в различных областях. Главная проблема, по его словам, заключается в отсутствии уверенности, что такие системы будут действовать так, как ожидают их создатели.

Чугтаи назвал современное понимание методов согласования ИИ с человеческими намерениями крайне ограниченным. При этом он подчеркнул, что возможности передовых моделей совершенствуются быстрее, чем методы контроля и обеспечения их безопасности.

Второй уход из DeepMind

Похожую позицию занял Джош Энгельс, также работавший в команде безопасности AGI в Google DeepMind. 12 сентября он сообщил, что примерно тремя неделями ранее покинул компанию и перешел в независимую исследовательскую организацию METR, которая занимается оценкой рисков и поведения передовых моделей.

Энгельс заявил, что видит «пугающую вероятность» того, что системы ИИ смогут причинить огромный ущерб человечеству в течение ближайших пяти лет. Конкретную вероятность такого сценария он не назвал.

Особое беспокойство исследователя связано с идеей рекурсивного самоулучшения: ситуацией, при которой ИИ начинает участвовать в создании более совершенных систем, которые затем помогают создавать еще более мощные модели (речь скорее всего идет о системе агентов). Энгельс считает, что существующие методы безопасности пока недостаточно надежны для такого процесса.

Исследователи призывают снизить темп

Несмотря на жесткие формулировки, оба специалиста не призывают полностью отказаться от развития искусственного интеллекта. Их предложения сводятся прежде всего к снижению темпов гонки между ведущими лабораториями и усилению независимой проверки безопасности моделей.

Чугтаи считает необходимой координацию между компаниями, чтобы возможности ИИ не развивались быстрее, чем общество и специалисты способны оценивать возникающие риски их поведения. Он также выступает за большую прозрачность разработчиков передовых моделей.

После ухода из DeepMind Чугтаи присоединился к некоммерческой организации BlueDot Impact, работающей в области безопасности ИИ. Энгельс продолжит исследования в METR. Таким образом, оба специалиста не покинули сферу искусственного интеллекта полностью — они перешли в организации, для которых контроль рисков и независимая оценка технологий являются основной задачей.