---
title: Utvikler oppdaget feil i automatiserte tester for kunstig intelligens-mentor
url: https://www.elseif.net/no/utvikler-oppdaget-feil-i-automatiserte-tester-for-kunstig-intelligens-mentor
published: 2026-10-13T09:18:14+00:00
language: no
section: Modeller
source: https://habr.com/ru/articles/1092676/?utm_campaign=1092676&utm_source=habrahabr&utm_medium=rss
organizations: Yandex AI Studio
publisher: elseif
---

# Utvikler oppdaget feil i automatiserte tester for kunstig intelligens-mentor

En utvikler har integrert en mentor basert på kunstig intelligens i en læringsplattform, men oppdaget at systemet for automatisk testing ikke var pålitelig. Utvikleren opprettet et testoppsett med 61 spørsmål fordelt på tretten grupper for å unngå å velge modeller eller justere instruksjoner basert på følelser. Testene skulle måle pedagogisk politikk, slik som om mentoren gir ferdige løsninger eller veileder studenten til å finne feilen selv.

Det viste seg at testoppsettet gjorde feil ved å godkjenne ufullstendige svar, overse ferdige løsninger som brukte andre variabelnavn, og underkjenne korrekte avslag. Det ble også observert at en modell kunne prestere feilfritt i testmiljøet, men feile i produksjon på samme type spørsmål. Testene besto av en elevreplikk og enkle kontroller som sjekket understrenger, bruk av verktøy, lengde og språk.

Mentoren hadde tilgang til tre verktøy: søk i 272 leksjoner, studentens fremgang og studentens siste forsøk på en oppgave. For å bestå testene måtte modellen bruke verktøyet for å se på koden i stedet for å svare fra minnet, navngi årsaken til feilen og peke på hvor studenten skulle lete, uten å avsløre selve løsningen.

Utvikleren testet modeller tilgjengelige via Yandex AI Studio, inkludert DeepSeek V4 Flash, YandexGPT Pro og Qwen3.6. DeepSeek viste seg å være den beste i denne konfigurasjonen. YandexGPT feilet i kjerneoppgaven ved å hevde at den kunne peke på feil i koden uten faktisk å kalle verktøyet som henter koden. Qwen3.6 leverte tomme svar fordi hele budsjettet på 1024 tokens ble brukt på resonnering før selve svaret kunne genereres.

Kostnadsanalysen viste at YandexGPT var dyrere enn Flash. For 32 spørsmål kostet YandexGPT 116 rubler, mens Flash kostet 25,6 rubler. Forskjellen skyldtes i stor grad hvordan caching av inndata fungerer, da DeepSeek har betydelig billigere caching enn Yandex sin egen modell. Utvikleren konkluderte med at priser på modeller ikke kan sammenlignes uten målinger basert på spesifikke instruksjoner og caching-tariffer.