Visa introduceert benchmark voor kunstmatige intelligentie bij aankopen en onthult fouten in 42,8% van de tests
16 november 2026 · 2 min leestijd
Ook gepubliceerd in Deutsch, Español, Français, Italiano, Svenska, Norsk, Polski, Türkçe, Русский, עברית
Visa heeft in de Verenigde Staten de Visa Agentic Commerce Benchmark gelanceerd. Dit is een nieuwe evaluatie die modellen van kunstmatige intelligentie onderwerpt aan realistische scenario's voor aankopen.
De eerste ronde van de tests omvatte 22 modellen van kunstmatige intelligentie afkomstig van 12 laboratoria. Deze modellen werden geconfronteerd met 15 aankoopuitdagingen, waaronder de aanschaf van televisies, laptops of persoonlijke verzorgingsapparaten. De resultaten tonen aan dat de modellen in 42,8% van de pogingen faalden, wat resulteert in een algemeen goedkeuringspercentage van 57,2%.
Er zijn aanzienlijke verschillen in prestaties waargenomen. De best presterende modellen werden in 82,2% van de gevallen goedgekeurd, terwijl de slechtst presterende modellen een score van 28,9% haalden. Consistentie bleek een probleem, aangezien in slechts 34,2% van de gevallen een model in drie opeenvolgende pogingen per scenario slaagde.
Ongeveer 54% van de mislukte pogingen eindigde toch in een aankoop door de kunstmatige intelligentie. Dit gebeurde doordat er een product werd aanbevolen dat niet aan de eisen van de klant voldeed, of omdat niet alle behoeften van de consument werden geïdentificeerd.
De data wijzen op een verband tussen de kwaliteit van interacties en de resultaten. De vijf modellen die het beste in staat waren om niet-genoemde aankoopfactoren te identificeren via gesprekken, hadden een gemiddeld goedkeuringspercentage van 70,2%. De vijf modellen die dit het minst deden, scoorden 44,4%. Daarnaast presteerden duurdere modellen over het algemeen beter: de vijf modellen met de hoogste gemiddelde kosten per uitvoering werden in 67,1% van de tests goedgekeurd, tegenover 50,2% voor de vijf goedkoopste modellen.
Deze resultaten staan tegenover een gebrek aan consumentenvertrouwen. Volgens de Visa Confidence Index uit september 2026 heeft 72% van de Amerikaanse consumenten een assistent van kunstmatige intelligentie gebruikt, maar slechts 23% vertrouwt de technologie om betalingstransacties in hun naam uit te voeren.
De benchmark maakt deel uit van Visa Intelligent Commerce, een portfolio van producten, programma's en partnerschappen gericht op handel met agenten van kunstmatige intelligentie. Visa heeft de evaluatie gedeeld met belangrijke modelontwikkelaars voor input en is van plan de benchmark uit te breiden met nieuwe scenario's, productcategorieën en stappen zoals het afronden van de aankoop, betaling en bestelling.