Visa lancia benchmark per il commercio agenziale: il 42,8% dei test con IA fallisce
16 novembre 2026 · 3 min di lettura
Pubblicato anche in Deutsch, Español, Français, Nederlands, Svenska, Norsk, Polski, Türkçe, Русский, עברית
La società di pagamenti Visa ha lanciato negli Stati Uniti il Visa Agentic Commerce Benchmark, un sistema di valutazione che sottopone i modelli di intelligenza artificiale a scenari realistici di acquisto. L'annuncio è stato dato il 5 novembre 2026 a San Francisco.
La prima fase della valutazione ha coinvolto ventidue modelli di intelligenza artificiale provenienti da dodici laboratori. Questi sistemi sono stati sottoposti a quindici sfide di acquisto, che includevano l'acquisizione di televisori, computer portatili e dispositivi per la cura personale. L'obiettivo era testare la capacità dell'intelligenza artificiale di identificare i bisogni di un consumatore attraverso la conversazione e di prendere decisioni di acquisto ben fondate. Nel complesso, i modelli hanno raggiunto un tasso di approvazione generale del 57,2%. I risultati rivelano limitazioni significative, poiché i modelli hanno fallito nel 42,8% dei tentativi.
La coerenza dei risultati si è rivelata un problema rilevante. Ogni modello ha effettuato tre tentativi per ogni scenario, ma l'approvazione in tutti e tre i casi si è verificata solo nel 34,2% delle situazioni. Circa il 54% dei tentativi falliti ha comunque portato a un acquisto effettuato dall'intelligenza artificiale. Questo è accaduto perché il sistema ha raccomandato un prodotto che non soddisfaceva i requisiti del cliente o perché non ha identificato tutti i suoi bisogni.
I dati mostrano una correlazione tra la qualità delle interazioni e i risultati finali. I cinque modelli che hanno identificato più fattori di acquisto non menzionati inizialmente dagli utenti hanno avuto un tasso medio di approvazione del 70,2%. Al contrario, i cinque modelli che hanno esplorato meno queste informazioni attraverso la conversazione hanno ottenuto un tasso del 44,4%. Anche il costo ha influito sulle prestazioni: i cinque modelli con il costo medio più alto per esecuzione sono stati approvati nel 67,1% dei test, rispetto al 50,2% dei cinque modelli con il costo più basso. I modelli con le migliori prestazioni sono stati approvati nell'82,2% dei tentativi, mentre quelli con le prestazioni peggiori lo sono stati solo nel 28,9%.
Questi risultati si inseriscono in un contesto di sfiducia dei consumatori. L'Indice di Fiducia di Visa, pubblicato a settembre 2026, ha mostrato che il 72% dei consumatori americani ha già utilizzato un assistente di intelligenza artificiale. Tuttavia, solo il 23% si fida della tecnologia per effettuare transazioni di pagamento a loro nome. Rubail Birwadker, leader globale della crescita di Visa, ha affermato che gli agenti di intelligenza artificiale hanno il potenziale per guidare la prossima era del commercio, ma che la fiducia è essenziale per realizzare questo obiettivo. Ha aggiunto che il benchmark è un'iniziativa per elevare gli standard di tutto il settore.
Il benchmark fa parte di Visa Intelligent Commerce, un portafoglio di prodotti, programmi e partnership di Visa dedicato al commercio con agenti di intelligenza artificiale. La società ha condiviso la valutazione con i principali sviluppatori di modelli per ricevere contributi. Visa prevede di espandere il Visa Agentic Commerce Benchmark con nuovi scenari di acquisto e categorie di prodotti. I test dovrebbero estendersi anche alle fasi di finalizzazione dell'acquisto, pagamento e esecuzione dell'ordine.