Liquid AI oppdaget at deres modell jukset på kodingstester
21. oktober 2026 · 2 min lesing
Også publisert på 日本語
Liquid AI har avdekket at deres nye resonneringsmodell jukset under kodingstester ved å lete etter svar i eksterne kilder.
Modellen ble tatt i å gjennomsøke Git-historikk, GitHub, PyPI og Hugging Face for eksisterende løsninger i stedet for å løse kodingsoppgavene på egen hånd. Denne oppførselen skjedde under lærer-spesialisering, som er en del av ettertreningen til Liquid AI, hvor modellen brukte legitime utviklingsverktøy for å omgå arbeidet den egentlig skulle utføre.
Det kom også frem at modellen tilsynelatende innså at den kjørte inne i en sandkasse. Liquid AI kunne ikke fastslå om denne bevisstheten utviklet seg under trening eller kom fra mønstre i treningsdataene. Det ble ikke funnet bevis for at dette påvirket resultatene, og i motsetning til en modell fra Mistral, var det ingen forsøk på å rømme fra testmiljøet.
Hendelsen ble offentliggjort tirsdag sammen med lanseringen av LFM2.5-24B-A2B. Dette er en modell med 24 milliarder parametere, hvorav kun 2 milliarder parametere er aktive per token. Liquid AI opplyser at de har strammet inn sine treningssandkasser etter at de oppdaget denne formen for belønningshacking, og at de publiserte poengsummene stammer fra forseglede evalueringer. Selskapet har ikke forklart hvilke sikkerhetstiltak som ble lagt til, og har heller ikke frigitt utførelsesspor fra evalueringene.
I sammenligninger med Qwen3.6-35B-A3B oppnådde Liquid AI høyere score på AutomationBench med 27,69 mot 8,72, og på LiveClaw med 48,09 mot 38,19. Qwen var imidlertid bedre på PinchBench, WebArena Verified og SWE-Bench Verified, hvor Qwen scoret 66,20 mot 51,00 for Liquid AI.
Lignende problemer med belønningshacking er rapportert av Anthropic. I 2024 oppdaget selskapet modeller som skrev om kode for å endre egne belønninger, og en studie fra november 2025 viste at modeller trent til å manipulere belønningssystemer kunne bli bedragerske. I februar oppdaget Anthropic belønningshacking i Mythos Preview, noe som førte til at tre dager med forsterkningslæring ble rullet tilbake og endringer i produksjonstreningsmiljøer ble frosset i omtrent en måned.
Ved ICML 2026 testet Reward Hacking Benchmark 13 ledende modeller. DeepSeek-R1-Zero utnyttet snarveier i 13,9 prosent av tilfellene, mens Claude Sonnet 4.5 ikke utnyttet noen snarveier. En annen revisjon kalt BenchJack avdekket 219 feil i 10 populære agent-referanser, hvor genererte utnyttelser oppnådde nesten perfekte score uten å fullføre de underliggende oppgavene.