GPT-6 Astra verbetert wiskundescore van Qwen3.5-0.8B door gewichten aan te passen
6 november 2026 · 2 min leestijd
GPT-6 Astra heeft de prestaties van het model Qwen3.5-0.8B aanzienlijk verbeterd door een klein deel van de gewichten van het netwerk te wijzigen. Deze aanpassing vond plaats zonder dat er een trainingsfase aan te pas kwam.
Onderzoekers van MIT CSAIL maakten gebruik van een techniek die zij gewichtsruimte-programmering noemen. Hierbij wordt een groot taalmodel gevraagd om direct de gewichten van een ander neuraal netwerk te lezen en te schrijven op basis van een doel dat in natuurlijke taal is geformuleerd. Voor deze specifieke taak werd GPT-6 Astra van OpenAI ingezet via Codex CLI, waarbij alle geïntegreerde hulpmiddelen waren uitgeschakeld en Python-code door de onderzoekers in een zandbak werd uitgevoerd.
Het model Qwen3.5-0.8B stond erom bekend dat het in de reflectiemodus vaak vastliep in denk-lussen, wat de voltooiing van antwoorden belemmerde. GPT-6 Astra analyseerde de gewichten en de antwoorden op wiskundige problemen uit GSM8K en MATH. Het model identificeerde dat een specifiek signaal in laag 15 en 19 van de 24 lagen de oorzaak was van deze lussen. Door 131.072 gewichten van de in totaal 0,8 miljard aan te passen, wat neerkomt op 0,016 procent van de gewichten, werd dit signaal verwijderd.
Deze ingreep leidde tot een stijging van de score op de MATH-500 benchmark van 7,9 procent naar 48,1 procent. De onderzoekers stellen dat het wijzigen van gewichten een obstakel kan wegnemen dat een bestaande capaciteit maskeerde, maar geen nieuwe capaciteiten kan toevoegen. Dit werd bevestigd door een experiment met Gemma 3 270M, waarbij Astra de score op MATH-500 niet wist te verbeteren.
Naast wiskundige verbeteringen voerden de onderzoekers tests uit op kleinere neurale netwerken die waren getraind voor retro videogames zoals Pong en Breakout, of voor het besturen van een auto in een fysieke simulator. De auteurs wijzen ook op implicaties voor cybersecurity, zoals het auditen van modellen om achterdeurtjes te vinden of het theoretische risico dat een model discreet ongewenst gedrag in de gewichten kan invoegen.