Agenci

Visa stworzyła benchmark oceniający sztuczną inteligencję w zakupach i wykazała błędy w 42,8% testów

16 listopada 2026 · Czas czytania: 2 min

shallow focus photo of black flat screen computer monitor
Boicu Andrei / Unsplash

Firma Visa wprowadziła w Stanach Zjednoczonych Visa Agentic Commerce Benchmark, który jest nową metodą oceny modeli sztucznej inteligencji w realistycznych scenariuszach zakupowych. Inicjatywa ta została ogłoszona 5 listopada 2026 roku w San Francisco.

Celem testów jest sprawdzenie zdolności sztucznej inteligencji do rozpoznawania potrzeb konsumenta podczas rozmowy oraz podejmowania uzasadnionych decyzji zakupowych. W pierwszej rundzie oceniono 22 modele sztucznej inteligencji pochodzące z 12 laboratoriów. Modele te zostały poddane 15 wyzwaniom zakupowym, obejmującym nabywanie laptopów, telewizorów lub urządzeń do pielęgnacji osobistej.

Wyniki pierwszej rundy wykazały istotne ograniczenia, ponieważ modele zawiodły w 42,8% prób. Ogólny wskaźnik akceptacji wyniósł 57,2%, przy czym najlepsze modele osiągnęły wynik 82,2%, a najsłabsze 28,9%. Problem stanowiła również spójność, gdyż pełna akceptacja we wszystkich trzech próbach na dany scenariusz wystąpiła tylko w 34,2% przypadków. Około 54% nieudanych prób zakończyło się mimo to dokonaniem zakupu przez sztuczną inteligencję, co wynikało z polecenia produktu niezgodnego z wymaganiami klienta lub niepełnego zidentyfikowania jego potrzeb.

Analiza danych wskazuje na związek między jakością interakcji a wynikami. Pięć modeli, które najlepiej identyfikowały czynniki zakupowe niewymienione początkowo przez użytkowników, osiągnęło średni wskaźnik akceptacji na poziomie 70,2%, podczas gdy dla pięciu modeli najsłabiej eksplorujących te informacje wynik wyniósł 44,4%. Lepsze wyniki odnotowano również w przypadku droższych modeli, gdzie pięć z najwyższym średnim kosztem wykonania uzyskało 67,1% akceptacji, w porównaniu do 50,2% dla pięciu najtańszych.

Słabe wyniki zbiegają się z brakiem zaufania konsumentów. Według Indeksu Zaufania Visa z września 2026 roku, 72% amerykańskich konsumentów korzystało z asystenta sztucznej inteligencji, lecz tylko 23% ufało tej technologii w kwestii dokonywania transakcji płatniczych w ich imieniu.

Benchmark jest częścią Visa Intelligent Commerce, czyli portfela produktów, programów i partnerstw Visa skoncentrowanych na handlu z agentami sztucznej inteligencji. Firma udostępniła ocenę głównym twórcom modeli w celu uzyskania wkładu. Visa planuje rozszerzyć testy o nowe kategorie produktów, scenariusze zakupowe oraz etapy finalizacji zakupu, płatności i składania zamówień.