GPT-6 Astra исправляет ошибки других ИИ без переобучения

Изменение внутренних параметров моделей

Исследователи из Массачусетского технологического института проверили, может ли одна нейросеть анализировать структуру другой и корректировать её работу, изменяя лишь часть весов – числовых коэффициентов, определяющих поведение сети. В отличие от традиционного подхода, когда модель дообучают на новых данных, Astra вмешивается напрямую в весовое пространство.

Astra изменила только 131 072 веса, что составляет 0,016 % от общего количества параметров целевой модели. После такой корректировки наблюдался значительный рост точности.

Эксперименты с небольшими языковыми моделями

Наибольший эффект был зафиксирован при работе с моделью Qwen‑3.5‑0.8B, содержащей около 800 млн параметров. До вмешательства Astra система часто зацикливала ответы в математических задачах.

После изменения весов результаты тестов улучшились:

• в тесте MATH‑500 точность выросла с 7,9 % до 48,1 %;
• в тесте GSM8K показатель поднялся с 13,8 % до 67,1 %;
• улучшилось следование инструкциям пользователей.

В то же время попытка улучшить модель Gemma 3 270M, которая делала расчётные ошибки без зацикливания, не привела к существенному росту точности, что свидетельствует о сложности исправления логических ошибок только изменением весов.

Программирование в пространстве весов

Учёные назвали новый подход Weight‑Space Programming. Он предполагает прямое редактирование весов нейросети вместо длительного переобучения. Потенциальные преимущества включают:

• значительное снижение затрат на улучшение ИИ;
• быстрый поиск скрытых уязвимостей;
• возможность моделей улучшать друг друга.

Для проверки универсальности метода исследователи провели дополнительные тесты. Astra получила числовые параметры четырёх нейросетей, обученных играть в видеоигры Breakout, Pong, Pac‑Man и Freeway, и без запуска самих игр смогла определить, к какой игре относится каждая сеть. Затем, используя описания и программные инструменты, она создала параметры трёх новых нейросетей для этих игр без традиционного обучения.

Несмотря на успехи, учёные подчеркивают, что технология пока не готова к универсальному редактированию всех моделей. Сложные логические ошибки остаются трудными для исправления простым изменением весов, и дальнейшие исследования необходимы для расширения возможностей подхода.