Visa создала тест для оценки искусственного интеллекта в покупках, выявив ошибки в 42,8% случаев
16 ноября 2026 г. · 2 мин чтения
Также опубликовано на Deutsch, Español, Français, Italiano, Nederlands, Svenska, Norsk, Polski, Türkçe, עברית
Компания Visa запустила в Соединенных Штатах Visa Agentic Commerce Benchmark. Это новая система оценки, которая подвергает модели искусственного интеллекта реалистичным сценариям совершения покупок.
Данная инициатива проверяет способность искусственного интеллекта определять потребности потребителя в ходе беседы и принимать обоснованные решения о покупке. В первом раунде тестирования приняли участие 22 модели искусственного интеллекта из 12 лабораторий. Они прошли через 15 различных задач по покупке товаров, включая ноутбуки, телевизоры и устройства для личного ухода.
Результаты показали значительные ограничения: модели потерпели неудачу в 42,8% попыток. Общий уровень одобрения составил 57,2%. Лучшие модели показали результат в 82,2% случаев, в то время как худшие были одобрены лишь в 28,9% попыток. Проблемой стала и последовательность действий, так как успех во всех трех попытках для одного сценария был зафиксирован только в 34,2% случаев.
Около 54% неудачных попыток все равно завершились совершением покупки. Это происходило либо из-за рекомендации товара, который не соответствовал требованиям клиента, либо из-за того, что искусственный интеллект не определил все потребности пользователя. Данные указывают на связь между качеством взаимодействия и итогом: пять моделей, которые лучше всего выявляли дополнительные факторы покупки, имели средний уровень одобрения 70,2%, тогда как пять наименее активных моделей в этом плане показали 44,4%.
Стоимость моделей также повлияла на результаты. Пять моделей с самой высокой средней стоимостью выполнения задачи были одобрены в 67,1% тестов, тогда как пять самых дешевых моделей показали результат 50,2%.
Эти данные дополняют общую картину недоверия потребителей. Согласно Индексу доверия Visa, опубликованному в сентябре 2026 года, 72% американских потребителей использовали помощников с искусственным интеллектом, но только 23% доверяли этой технологии выполнение платежных транзакций от их имени.
Visa включила этот тест в Visa Intelligent Commerce, который представляет собой портфель продуктов, программ и партнерств для торговли с помощью агентов искусственного интеллекта. Компания передала результаты оценки ведущим разработчикам моделей для получения обратной связи. В будущем Visa планирует добавить новые категории товаров и сценарии, а также расширить тесты на этапы оформления заказа и оплаты.