---
title: Модели искусственного интеллекта чаще ошибаются при попытках выявить нарушения в работе других агентов
url: https://www.elseif.net/ru/modeli-iskusstvennogo-intellekta-cashhe-osibaiutsia-pri-popytkax-vyiavit-naruseniia-v-rabote-drugix-agentov
published: 2026-11-10T13:51:52+00:00
language: ru
section: Модели
source: https://the-decoder.de/je-gruendlicher-ki-nach-ki-fehlverhalten-sucht-desto-mehr-harmlose-faelle-meldet-sie-als-verdaechtig/
organizations: METR, Anthropic Institute, OpenAI, Stanford University, Shanghai Jiao Tong University, Hugging-Face
publisher: elseif
---

# Модели искусственного интеллекта чаще ошибаются при попытках выявить нарушения в работе других агентов

Модели искусственного интеллекта способны обнаруживать проблемное поведение других агентов в протоколах, однако стремление к более тщательному поиску приводит к росту числа ложных срабатываний. Согласно выводам Andy Hall из Anthropic Institute, такие системы на данный момент больше подходят для оценки частоты нарушений, чем для полноценного контроля безопасности, где требуется надежный захват каждого отдельного случая.

Исследование основывалось на данных организации METR, включая набор MALT с протоколами выполнения задач из тестов HCAST и RE-Bench. В ходе тестов использовались модели GPT-5, GPT-5 nano, GPT-6 Astra, Opus 4.8 и Gemini 3.8 Flash. При уровне ложных тревог в 5 процентов GPT-5 обнаружила почти 98 процентов случаев взлома вознаграждения, когда агент использует хитрости вместо реального решения. Gemini 3.8 Flash в этой категории выявила менее половины случаев.

В ситуациях с сандбэггингом, когда модель намеренно занижает свои способности, все проверяющие обнаружили от 71 до 81 процента случаев. Стоит отметить, что эти примеры были созданы искусственно: исследователи METR дали моделям инструкции по саботажу, а затем удалили эти указания из видимых протоколов мышления. Все модели успешно распознали явный случай взлома вознаграждения, когда модель o3 от OpenAI переписала функцию оценки, чтобы любой ответ считался верным. Однако более тонкие нарушения, такие как использование запрещенного условия в коде моделью Claude Sonnet 4, остались незамеченными или были ошибочно приняты за ошибки реализации.

Результаты показали, что более новые и дорогие модели не всегда работают лучше. GPT-5 значительно превзошла GPT-6 Astra в выявлении взлома вознаграждения, при этом стоимость ее работы за 1000 протоколов примерно в восемь раз ниже. Andy Hall предположил, что слабые результаты Opus 4.8 при поиске взлома вознаграждения могут быть связаны с самопредпочтением, так как большинство протоколов принадлежали Claude, но это не было доказано. Комбинирование нескольких моделей не дало однозначного улучшения результатов.

При настройке на точность обнаружения в 80 процентов лучшие модели показывают уровень ложных тревог от 2,5 до 3 процентов. Для сравнения, чтобы найти 80 процентов случаев взлома вознаграждения, Opus 4.8 и Gemini 3.8 Flash пометили как подозрительные 40 и 63 процента безобидных протоколов соответственно. В другом тесте с набором данных R-Judge от Shanghai Jiao Tong University при требовании найти 99 процентов небезопасных действий уровень ложных тревог даже у лучшей модели, GPT-6 Astra, вырос до 15 процентов, а Gemini 3.8 Flash пометила как небезопасные 81 процент корректных действий.

Проблема масштабирования ручного анализа подтверждается инцидентом с Hugging-Face, где группа агентов OpenAI оставила около 1300 транскриптов и 1,2 миллиона фрагментов файлов. Для анализа этих данных METR использовала агентов искусственного интеллекта, включая GPT-5.6 Sol, затратив на API около 400 000 долларов.