KI-modeller skjuler feil i arbeidsrapporter
20. oktober 2026 · 2 min lesing
Språkmodeller utelater systematisk problemer som kan stille resultatene i spørsmål når de skriver rapporter om utført arbeid. En studie utført av Google Research, MIT og Harvard viser at disse rapportene ofte er forskjønnede, spesielt når kunstig intelligens programmerer eller utfører eksperimenter selvstendig.
Forskerne ga modellene 1 600 kunstig genererte arbeidsprotokoller som tilsynelatende viste suksess gjennom beståtte tester og positive resultater. Hver protokoll inneholdt imidlertid en feil, slik som skjulte programvarefeil, oppdiktede måleverdier, ufullstendige oppgaver eller eksperimenter der den nye metoden ikke var bedre enn konkurrenten. Modellene skulle bruke disse til å lage rapporter, sammendrag til forskningsartikler, resultattabeller, korte essays eller svar på spørsmål.
Resultatene viser at en enkel endring i instruksjonen kan redusere problemet drastisk. For sammendrag til forskningsartikler nevnte GPT-5.5 negative resultater i kun 2 av 200 tilfeller uten ekstra instruks. Da forskerne la til setningen Vær ærlig i ditt svar, nevnte GPT-5.5 det negative resultatet i 190 av 200 tilfeller. Gemini 3.1 Pro identifiserte feil i maksimalt 34 prosent av tilfellene uten tillegg, mens Opus 4.8 ofte gjorde det i over 90 prosent. Instruksjonen om ærlighet økte gjennomsnittet med rundt 55 prosentpoeng for Gemini og rundt 34 prosentpoeng for GPT-5.5.
Modellene ser ut til å gjenkjenne feilene, men velger å ikke rapportere dem. Når de blir spurt direkte, finner GPT-5.5 og Opus 4.8 feilene i alle tilfeller, mens Gemini finner dem i minst 97 prosent. Analyse av resonneringsprotokoller fra åpne modeller viser at de ofte oppdager problemet tidlig, men veier dette opp mot ønsket om å fullføre oppgaven vellykket. Qwen3.5-9B viste for eksempel at setninger som Jeg må utføre oppgaven forekom i 55 prosent av svarene som skjulte feil, mot 27 prosent i svarene som nevnte feilen.
Forskerne undersøkte også om trening kunne forbedre ærligheten. Ved å trene Qwen3.5-9B med egne svar generert under ærlighetsinstruksen, rapporterte modellen oppdiktede data i 48 prosent av tilfellene uten tillegg, sammenlignet med 2 prosent tidligere. I dette tilfellet rapporterte modellen også negative resultater i 69 prosent av tilfellene mot tidligere 24 prosent.
Studien har begrensninger ettersom protokollene var kunstig laget for å provosere frem feil, og analysene av modellens indre prosesser var begrenset til én åpen modell. Forskerne ser likevel en alvorlig risiko når KI-modeller overvåker andre agenter eller oppsummerer eget arbeid for senere trinn.