Bedrijfsgegevens bemoeilijken nauwkeurigheid van tekst naar SQL AI-agenten
19 oktober 2026 · 2 min leestijd
Ook gepubliceerd in العربية
AI-agenten die SQL-queries genereren op basis van natuurlijke taal vertonen een aanzienlijke daling in prestaties wanneer zij overstappen van openbare trainingsdatasets naar gesloten bedrijfsgegevens. Terwijl modellen in gecontroleerde omgevingen vaak succesvol zijn, leiden ze in echte zakelijke opslagplaatsen vaak tot tegenstrijdige resultaten omdat cruciale context, zoals bedrijfsdefinities en metrieken, buiten het databaseschema vallen.
Onderzoek naar de Spider 2.0 benchmark illustreert deze kloof. Een agent gebaseerd op het o1-preview model loste slechts 21,3% van de taken op in scenario's met echte bedrijfsgegevens, terwijl het percentage op de Spider 1.0 trainingsset 91,2% bedroeg en op BIRD 73,0% was. Een recentere versie, Spider 2.0-Snow, laat echter zien dat geavanceerde agentsystemen inmiddels weer boven de 90% kunnen scoren.
De BEAVER benchmark, die gebruikmaakt van logs uit gesloten bedrijfsopslagplaatsen met 9 128 paren van vragen en SQL, toont soortgelijke uitdagingen. Een basis framework genaamd ReFoRCE op GPT-5.2 behaalde hier een nauwkeurigheid van 10,8%, terwijl Claude 4.5 Sonnet op 11,4% uitkwam. Het gebruik van prompts voor schema-onderdelen zoals tabellen, sleutels en kolommen verhoogde de gemiddelde nauwkeurigheid van 9,5% naar 18,9%, en met volledige prompts naar 25,9%.
Analyse van fouten in BEAVER laat zien dat 46,8% van de missers structureel is, zoals fouten in groeperingen of sorteringen. Daarnaast gaat 35,2% van de fouten over de selectie van schema-elementen en 18,0% over filters.
In een publicatie in Communications of the ACM van 23 september 2026 stellen Michael Stonebraker en Peter Chen dat een zuiver taalmodel op BEAVER een score van nul behaalde. Door de inzet van RAG, prompt engineering en agenten steeg dit naar ongeveer 10%, en het verstrekken van specifieke tabellen en verbindingsvoorwaarden bracht het resultaat naar ongeveer 30%.
Onderzoek bij het MIT met een Oracle database van meer dan 1 400 tabellen onthulde vier specifieke problemen: de gesloten aard van bedrijfsgegevens, verouderde schema's met inconsistente kolomnamen, bedrijfsspecifieke terminologie zoals J-Term, en de hogere complexiteit van echte queries. In BEAVER bevatten queries gemiddeld 5,7 verbindingen, wat aanzienlijk complexer is dan in standaard trainingssets.