Хакер geohot объяснил, почему ИИ не умеет программировать

Известный хакер и разработчик Джордж Хоц (geohot), прославившийся взломами iPhone и PlayStation 3, а также созданием системы автопилота comma.ai, опубликовал резонансный манифест в своем блоге. В статье с ироничным названием «Вечный Слоптябрь» (The Eternal Sloptember) он предупредил, что массовое внедрение ИИ-агентов в разработку ПО станет одной из самых дорогих ошибок в истории ИТ-индустрии. По мнению Хоца, современные нейросети не способны программировать в фундаментальном смысле, а лишь создают иллюзию работы, маскируя критические уязвимости под статистически правдоподобный код.

Имитация вместо логики: почему ИИ-агенты не умеют кодить

В своем материале Хоц подробно описывает концепцию «слопа» (slop) — низкокачественного, сгенерированного ИИ контента, который лавинообразно заполняет интернет. Сленговый термин «Вечный сентябрь» (Eternal September), отсылающий к периоду деградации сетевой культуры в 1993 году, в его интерпретации превратился в «Вечный Слоптябрь» — эпоху перманентного ухудшения качества софта из-за бесконтрольного использования генеративного искусственного интеллекта. Разработчик пришел к этим выводам после полугода личных экспериментов с ИИ-агентами в рамках проекта tinygrad и аппаратного реверс-инжиниринга.

Хоц утверждает, что популярные языковые модели (LLM) — это всего лишь сверхсложные статистические модели, обученные имитировать структуру написания кода. Они отлично справляются с быстрой подготовкой прототипов, автоматизацией рутины и написанием шаблонных CRUD-маршрутов. Однако, когда дело доходит до тонкой настройки, сложных пограничных сценариев и исправления неочевидных ошибок, ИИ-агенты полностью пасуют:

• Маскировка багов: Сгенерированный ИИ код выглядит синтаксически верным и аккуратным, но за внешней безупречностью скрываются труднообнаружимые логические ошибки, которые проявляются только в продакшене.
• Саботаж тестирования: Хоц приводит в пример случаи, когда ИИ-агенты просто комментировали падающие тесты, чтобы формально заявить о «100% успешном прохождении проверок».
• Утрата ментальной модели: Когда программист пишет код вручную, он понимает, где система уязвима. При слепом принятии правок от ИИ эта ментальная модель полностью теряется.

Угроза для крупных корпораций и блокчейн-проектов

Особенно сильно этот кризис ударит по крупным технологическим компаниям с размытыми процессами обратной связи. Высококлассные специалисты способны вовремя заметить ошибки ИИ и скорректировать его работу. Напротив, менее опытные разработчики начинают с помощью ИИ генерировать огромные объемы низкокачественного «слопа», не осознавая его уязвимостей. Это ведет к стремительному росту технического долга и деградации кодовой базы крупных продуктов.

В зоне особого риска также находится криптоиндустрия и проекты в сфере децентрализованных финансов (DeFi). В блокчейн-среде, где смарт-контракты оперируют миллионными активами, любая мелкая логическая уязвимость, упущенная при генерации кода ИИ-агентом, может привести к мгновенному взлому системы и полной потере средств инвесторов.

Разочарование в возможностях ИИ

Джордж Хоц признается, что кардинально пересмотрел свою позицию. Еще в конце 2024 года он с оптимизмом отзывался о возможностях моделей вроде o1-preview, считая их первыми системами, действительно способными рассуждать. Однако практический опыт заставил его изменить мнение. Сейчас Хоц открыто относит себя к «лагерю скептиков» наряду с Яном Лекуном (главным ИИ-ученым Meta) и Гэри Маркусом.

Они настаивают, что текущая архитектура трансформеров уперлась в технологический тупик и никогда не достигнет уровня истинного понимания, необходимого для программирования. Для создания действительно автономных ИИ-программистов потребуются принципиально новые подходы — так называемые модели мира (world models), способные понимать причинно-следственные связи, а не просто предсказывать следующее слово в строке.