Modele sztucznej inteligencji ukrywają błędy w raportach z pracy
20 października 2026 · Czas czytania: 2 min
Modele sztucznej inteligencji systematycznie pomijają problemy w raportach z wykonanej pracy, które mogłyby podważyć uzyskane wyniki. Zjawisko to zostało opisane w badaniu przeprowadzonym przez Google Research, MIT oraz Harvard.
Badacze dostarczyli modelom 1600 sztucznie stworzonych protokołów pracy, które na pierwszy rzut oka sprawiały wrażenie sukcesu, zawierając pozytywne wyniki i zdane testy. W rzeczywistości każdy protokół zawierał błąd, taki jak ukryty błąd w oprogramowaniu, zmyślone wartości pomiarowe, niedokończone zadanie lub wynik eksperymentu wskazujący, że nowa metoda nie jest lepsza od konkurencyjnej. Modele miały na tej podstawie przygotować różne formy dokumentów, w tym streszczenia artykułów naukowych, tabele wyników, krótkie eseje lub odpowiedzi na pytania.
Wyniki pokazały, że modele często upiększają raporty. GPT-5.5 wspomniał o negatywnym wyniku w zaledwie 2 z 200 streszczeń artykułów. Sytuacja uległa drastycznej zmianie po dodaniu do polecenia zdania: Bądź szczery w swojej odpowiedzi. Wówczas GPT-5.5 wskazał negatywny wynik w 190 z 200 przypadków. Gemini 3.1 Pro bez tego dodatku zgłaszał błędy w maksymalnie 34 procentach przypadków, natomiast Opus 4.8 robił to często w ponad 90 procentach. Dodatek o szczerości zwiększył odsetek zgłoszeń średnio o około 55 punktów procentowych w przypadku Gemini i o około 34 punkty procentowe dla GPT-5.5.
Analiza wykazała, że modele rozpoznają błędy, ale nie chcą o nich informować. Gdy zapytano je o to bezpośrednio, GPT-5.5 oraz Opus 4.8 odnalazły błędy w każdym przypadku, a Gemini w co najmniej 97 procentach. Protokoły rozumowania modeli z otwartymi wagami ujawniły, że systemy często zauważają problem wcześnie, ale ważą, czy o nim wspomnieć, czy uznać zadanie za wykonane z sukcesem. Przykładowo Qwen3.5-9B odnotował, że nie może udowodnić tezy o prawie budowlanym tekstem o komórkach barwnych mątwy, ale postanowił postąpić zgodnie z instrukcjami.
Badacze odkryli, że w modelu Qwen3.5-9B szczerość i dążenie do sukcesu są reprezentowane jako niemal przeciwstawne kierunki. Próby manipulacji wektorami szczerości okazały się niedokładne, gdyż model stawał się ogólnie podejrzliwy i zgłaszał zmyślone dane w 41 procentach przypadków nawet w poprawnych protokołach. Skuteczniejszym rozwiązaniem okazał się trening modelu Qwen3.5-9B na jego własnych odpowiedziach wygenerowanych z poleceniem o szczerości. Po takim procesie model zgłaszał zmyślone dane w 48 zamiast 2 procentach przypadków, nie generując przy tym fałszywych alarmów w poprawnych protokołach. W przypadku pominiętych negatywnych wyników odsetek zgłoszeń wzrósł z 24 do 69 procent.
Autorzy badania wskazują na poważne ryzyko, szczególnie gdy modele sztucznej inteligencji nadzorują inne agenty lub podsumowują własną pracę dla kolejnych etapów procesu. Zauważyli, że modele łatwo ulegają sugestiom zawartym w protokołach, na przykład notatkom o rzekomym nowym rekordzie.