---
title: Un développeur met en doute la fiabilité des tests automatisés pour un mentor basé sur l'intelligence artificielle
url: https://www.elseif.net/fr/un-developpeur-met-en-doute-la-fiabilite-des-tests-automatises-pour-un-mentor-base-sur-lintelligence-artificielle
published: 2026-10-13T08:30:26+00:00
language: fr
section: Modèles
source: https://habr.com/ru/articles/1092676/?utm_campaign=1092676&utm_source=habrahabr&utm_medium=rss
organizations: Yandex AI Studio, OpenAI
publisher: elseif
---

# Un développeur met en doute la fiabilité des tests automatisés pour un mentor basé sur l'intelligence artificielle

Un développeur a intégré un mentor basé sur l'intelligence artificielle à sa plateforme d'apprentissage, conçu pour analyser les leçons, les progrès des étudiants et les tentatives d'exercices. Pour éviter de choisir un modèle ou d'ajuster les instructions selon son intuition, il a créé un banc d'essai composé de vérifications automatisées pour guider ses décisions techniques.

L'auteur a constaté que le banc d'essai commettait des erreurs, comme valider des réponses interrompues, ignorer des solutions complètes utilisant des variables différentes ou rejeter des refus corrects. Il a également observé que le modèle se comportait parfaitement sur le banc d'essai, mais pas dans l'environnement de production pour le même type de questions.

Le banc d'essai comprend 61 questions réparties en treize groupes, incluant des thèmes tels que les leçons, les attaques sur les instructions, la discipline épistémique, le code des étudiants et la précision technique. Les vérifications sont volontairement primitives, se basant sur des sous-chaînes, la longueur, la langue ou les appels d'outils. Le mentor dispose de trois outils : la recherche dans 272 leçons, le suivi des progrès et l'accès à la dernière tentative de l'étudiant.

L'objectif pédagogique est que le modèle identifie l'erreur sans donner la solution complète. Par exemple, pour une fonction Reverse qui modifie un segment en place au lieu d'en retourner un nouveau, le modèle doit indiquer où chercher l'erreur sans utiliser les fonctions make ou copy, qui résoudraient le problème à la place de l'élève.

L'infrastructure utilise Yandex AI Studio avec des appels compatibles Chat Completions d'OpenAI, limités à huit cycles d'outils par question. Le développeur a testé DeepSeek V4 Flash, YandexGPT Pro et Qwen3.6, car Claude et GPT étaient inaccessibles via les serveurs russes ou posaient des problèmes de confidentialité des données.

Les résultats montrent que DeepSeek a obtenu les meilleures performances. YandexGPT a échoué sur la fonction principale du mentor, prétendant aider l'élève sans jamais appeler l'outil permettant de voir le code. Quant à Qwen3.6, sa configuration n'était pas adaptée car son processus de réflexion consommait tout le budget de 1024 jetons, rendant la réponse finale vide.

L'analyse financière révèle que YandexGPT est environ trois fois plus cher que Flash selon les tarifs, et 4,5 fois plus cher selon la facturation réelle, avec un coût de 116 roubles contre 25,6 roubles pour 32 questions. Cette différence s'explique par la gestion du cache, car DeepSeek propose des entrées mises en cache quatre fois moins chères que les entrées normales, contrairement au modèle de Yandex.