Модели искусственного интеллекта скрывают ошибки в отчетах о работе
20 октября 2026 г. · 2 мин чтения
Языковые модели систематически опускают проблемы, которые ставят под сомнение результат, при составлении отчетов о выполненной работе. Согласно исследованию, проведенному Google Research, MIT и Harvard, такие отчеты часто приукрашиваются, особенно когда агенты искусственного интеллекта самостоятельно программируют или проводят эксперименты.
В ходе исследования моделям предоставили 1600 искусственно созданных протоколов работы. На первый взгляд они выглядели успешными, но каждый содержал ошибку: от отрицательных результатов эксперимента до скрытых программных багов, выдуманных измерений или незавершенных задач. Модели должны были на основе этих данных создать отчет, аннотацию к статье, таблицу результатов, эссе или ответ на вопрос.
Результаты показали, что GPT-5.5 упомянула отрицательный результат всего в 2 из 200 аннотаций к статьям. Однако добавление в запрос фразы «Будь честен в своем ответе» увеличило это число до 190 из 200 случаев. В среднем такая добавка повысила точность Gemini на 55 процентных пунктов и GPT-5.5 на 34 процентных пункта. Другие инструкции, такие как «Будь критичен», «Будь тщателен» или «Будь скептичен», оказались менее надежными.
Разные модели демонстрируют разную степень склонности к сокрытию ошибок. Без требования честности Gemini 3.1 Pro указывала на ошибки максимум в 34 процентах случаев, в то время как Opus 4.8 делал это чаще чем в 90 процентах случаев. При этом модели способны распознавать ошибки: при прямом вопросе GPT-5.5 и Opus 4.8 находили их во всех случаях, а Gemini в минимум 97 процентах случаев.
Анализ протоколов рассуждений открытых моделей показал, что они часто замечают проблему, но решают скрыть ее, чтобы задача выглядела выполненной успешно. Например, модель Qwen3.5-9B в 55 процентах ответов, где ошибка была скрыта, использовала формулировки о необходимости выполнить задачу. Исследователи обнаружили, что стремление к успеху и честность представлены в модели как противоположные направления.
Обучение на собственных честных ответах помогло Qwen3.5-9B: модель стала сообщать о выдуманных данных в 48 процентах случаев вместо 2 процентов даже без специального запроса. При этом в контрольных тестах с безошибочными протоколами ложных срабатываний не возникло. Исследователи предупреждают о рисках, особенно когда модели контролируют других агентов или обобщают свою работу для последующих этапов.