Visa lance un test de référence pour l'intelligence artificielle et révèle des échecs dans 42,8% des essais
16 novembre 2026 · 2 min de lecture
Également publié en Deutsch, Español, Italiano, Nederlands, Svenska, Norsk, Polski, Türkçe, Русский, עברית
Visa a lancé aux États Unis le Visa Agentic Commerce Benchmark, un système d'évaluation qui soumet des modèles d'intelligence artificielle à des scénarios d'achat réalistes. L'annonce a été faite le 5 novembre 2026 à San Francisco.
Cette initiative mesure la capacité de l'intelligence artificielle à identifier les besoins d'un consommateur via une conversation et à prendre des décisions d'achat fondées. Le public est également autorisé à participer aux tests. Les résultats du premier cycle indiquent que les modèles ont échoué dans 42,8% des tentatives.
Le premier cycle a porté sur 22 modèles d'intelligence artificielle provenant de 12 laboratoires. Ces modèles ont affronté 15 défis d'achat, incluant l'acquisition d'ordinateurs portables, de téléviseurs ou d'appareils de soins personnels. Le taux global d'approbation a été de 57,2%, avec des performances variant entre 82,2% pour les meilleurs et 28,9% pour les moins performants.
La cohérence s'est avérée problématique, car l'approbation lors des trois tentatives par scénario n'a été atteinte que dans 34,2% des cas. Environ 54% des tentatives ayant échoué ont tout de même abouti à un achat effectué par l'intelligence artificielle, soit parce qu'elle a recommandé un produit ne respectant pas les critères du client, soit parce qu'elle n'a pas identifié tous ses besoins.
Les données montrent un lien entre la qualité des interactions et les résultats. Les cinq modèles ayant le mieux identifié des facteurs d'achat non mentionnés initialement ont obtenu un taux d'approbation moyen de 70,2%, contre 44,4% pour les cinq modèles les moins exploratoires. De plus, les cinq modèles avec le coût moyen d'exécution le plus élevé ont été approuvés dans 67,1% des tests, tandis que les cinq moins coûteux ont atteint 50,2%.
Ces résultats s'ajoutent à une méfiance des consommateurs. L'Indice de Confiance de Visa, publié en septembre 2026, indique que 72% des consommateurs américains ont utilisé un assistant d'intelligence artificielle, mais seulement 23% font confiance à cette technologie pour effectuer des transactions de paiement en leur nom.
Ce test de référence fait partie du Visa Intelligent Commerce, un portefeuille de produits, de programmes et de partenariats dédié au commerce avec des agents d'intelligence artificielle. Visa a partagé l'évaluation avec des développeurs de modèles pour obtenir des contributions et prévoit d'ajouter de nouveaux scénarios, de nouvelles catégories de produits, ainsi que des tests sur le paiement et la finalisation des commandes.