Beperkte selectie van instrumenten verbetert prestaties van taalmodellen
5 oktober 2026 · 2 min leestijd
Een onderzoek naar een kunstmatige intelligentie-orkestrator met meer dan negentig instrumenten laat zien dat een beperkte selectie van instrumenten vaak beter werkt dan een volledige lijst. De orkestrator maakt gebruik van instrumenten voor taken zoals het beheren van tabellen, documenten, e-mail, taken, webpagina's en presentaties.
Voor een lokale Qwen 27B op een RTX 3090 videokaart leverde een smalle set instrumenten betere resultaten op. Bij een test met 49 gebruikersvragen resulteerde de smalle set in 43 correcte keuzes uit 44, terwijl de volledige lijst 39 correcte keuzes opleverde. De context bij de volledige lijst was 2,7 keer groter en de uitvoering duurde een derde langer. De fouten bij de volledige lijst ontstonden doordat het model instrumenten met vergelijkbare namen met elkaar verwarde.
Er was een hypothese dat krachtige modellen juist baat hebben bij een brede set instrumenten. Een eerste kleine test met acht vragen suggereerde dat gpt-4.1 beter presteerde met de volledige lijst, omdat een smalle set een vraag die twee secties tegelijk raakte, uitsloot. Deze hypothese werd echter niet bevestigd bij een uitgebreidere test in september met GigaChat-2-Max en gpt-oss 120B.
Bij beide cloudmodellen won de smalle set op het gebied van nauwkeurigheid, contextgrootte en vertraging. Analyse van de fouten bij GigaChat toonde aan dat sommige mislukkingen eigenlijk redelijke verduidelijkingsvragen waren, wat het resultaat potentieel zou verbeteren naar 44 uit 44.
Een nadeel van de smalle set is dat het systeem kan concluderen dat er geen instrumenten nodig zijn als de router geen sectie vindt. Dit kan leiden tot situaties waarin het model doet alsof het een taak uitvoert, zoals het scannen van een netwerk, zonder daadwerkelijk een instrument aan te roepen. De conclusie is dat de routeringsmodus per model moet worden ingesteld, aangezien de smalle set voor alle drie de geteste modellen de beste resultaten gaf.