Visa lanserer benchmark for kunstig intelligens i handel og avdekker feil i 42,8 prosent av testene
16. november 2026 · 2 min lesing
Også publisert på Deutsch, Español, Français, Italiano, Nederlands, Svenska, Polski, Türkçe, Русский, עברית
Visa har lansert Visa Agentic Commerce Benchmark i USA, en ny evaluering som utsetter modeller for kunstig intelligens for realistiske kjøpsscenarioer.
Initiativet tester evnen kunstig intelligens har til å identifisere behovene til en forbruker gjennom samtale og ta velbegrunnede kjøpsbeslutninger. Resultatene fra den første runden viser betydelige begrensninger, da modellene feilet i 42,8 prosent av forsøkene.
Den første runden omfattet 22 modeller for kunstig intelligens fra 12 laboratorier. Disse ble utsatt for 15 kjøpsutfordringer, som inkluderte anskaffelse av fjernsyn, bærbare datamaskiner eller personlig pleieutstyr. Samlet oppnådde modellene en generell godkjenningsrate på 57,2 prosent. De med best ytelse ble godkjent i 82,2 prosent av forsøkene, mens de med dårligst ytelse ble godkjent i 28,9 prosent.
Konsistens viste seg også å være et problem. Hver modell hadde tre forsøk per scenario, og godkjenning i alle tre skjedde i kun 34,2 prosent av tilfellene. Omtrent 54 prosent av forsøkene som feilet, endte likevel med at den kunstige intelligensen gjennomførte et kjøp, enten ved å anbefale et produkt utenfor kundens krav eller ved å ikke identifisere alle behovene.
Dataene viser en sammenheng mellom interaksjonskvalitet og resultater. De fem modellene som i størst grad identifiserte kjøpsfaktorer som ikke var nevnt av brukerne i utgangspunkten, hadde en gjennomsnittlig godkjenningsrate på 70,2 prosent. Til sammenligning hadde de fem som utforsket denne informasjonen minst, en rate på 44,4 prosent. Dyre modeller hadde også en tendens til å prestere bedre, der de fem med høyest gjennomsnittskostnad per utførelse ble godkjent i 67,1 prosent av testene, mot 50,2 prosent for de fem med lavest kostnad.
Ifølge Visa Confidence Index fra september 2026 har 72 prosent av amerikanske forbrukere brukt en AI-assistent, men bare 23 prosent stolte på teknologien til å utføre betalingstransaksjoner på deres vegne. Rubail Birwadker, global leder for vekst i Visa, uttaler at AI-agenter har potensial til å drive den neste æraen av handel, men at tillit er avgjørende for at dette skal skje.
Benchmarken er en del av Visa Intelligent Commerce, som er Visas portefølje av produkter, programmer og partnerskap rettet mot handel med AI-agenter. Visa har delt evalueringen med ledende modellutviklere for å motta bidrag. Selskapet planlegger å utvide evalueringen med nye kjøpsscenarioer og produktkategorier, samt utvide testene til å omfatte betaling og bestilling.