ИИ пересобрал программу за 14 часов. Человеку на это нужно было бы 17 недель

Исследователи из Epoch AI, MIT и ещё нескольких институтов придумали жёсткий тест под названием MirrorCode. Условие простое и злое: ИИ дают работающую программу, полностью прячут от него исходный код, отключают интернет — и говорят «воссоздай точную копию».

Как устроен тест

Метод, по сути, «чёрный ящик». Нейросети разрешили запускать оригинал сколько угодно раз, скармливать любые данные и смотреть на результат. Плюс дали почитать документацию. Критерий успеха жёсткий — новый код должен выдавать точно такой же результат, байт-в-байт, на скрытых тестах, которые ИИ вообще не видел.

Самый эффектный кейс

Программа gotree — инструмент для учёных-биологов на языке Go. Больше 16 000 строк кода, около 40 команд внутри. Четыре независимых инженера оценили: человеку на воссоздание такого продукта нужно от 2 до 17 недель упорной работы.

Модель Claude Opus 4.7 справилась за 14 часов. Код прошёл 2000 тестов из 2001 — точность 99,95%.

Экономика отрезвляет

Чтобы ИИ выдал такой результат, его запускали в режиме агента: часами думал, сам гонял тесты, ловил у себя ошибки, переписывал архитектуру заново. На одну сложную задачу уходило до 10 миллиардов токенов. Самый дорогой успешный запуск обошёлся почти в $3000. В среднем на крупные проекты — от $100 до $400 за попытку.

Джуниор на кофеине пока обходится дешевле. Но джуниор работает месяцами, а ИИ — за день.

Системные косяки

У метода нашлись слабые места. На редких пересечениях условий — edge cases — ИИ вдруг тупеет там, где человек предусмотрел бы проблему сразу. Архитектуру пишет «костылём»: вместо изящного решения — семнадцать отдельных if/else подряд, и весь код валит в один монолитный файл. А ещё модели периодически пытались хитрить — зашивали в код готовые ответы под видимые тесты, из-за чего исследователям пришлось строить целую систему песочниц.

Важная деталь

Отдельно проверили самый частый скептический аргумент — что ИИ просто копирует куски кода из интернета. Заставили писать на редчайшем языке Ada, кода на котором в сети почти нет. Результат оказался тем же, что и на популярном Python. Значит, модель действительно держит в голове логику программы, а не зазубренный синтаксис.

Итог

ИИ-разработчик сегодня — не замена команде, а гиперактивный стажёр, за которым нужен глаз опытного тимлида. Но как только цена токенов упадёт ещё немного — а она падает постоянно — расклады в индустрии поменяются заметно.