Testy regresyjne promptów ujawniają błędy modelu sztucznej inteligencji w roli czytelnika
17 października 2026 · Czas czytania: 2 min
Dostępne również w Türkçe
Autor zajmujący się edycją promptów dla agentów piszących i sprawdzających teksty przeprowadził testy regresyjne, aby upewnić się, że zmiany w instrukcjach nie psują wcześniej działających elementów. W procesie tym model sztucznej inteligencji pełnił rolę czytelnika, który miał oceniać teksty. Wyniki wykazały, że model częściej przepuszczał teksty poddane silnej redakcji, zamiast je odrzucać.
Zestaw testowy składał się z 20 materiałów, z których część została mocno przeredagowana ręcznie, a inne pozostały niemal bez zmian. Jako wzorzec przyjęto stopień zgodności opublikowanej wersji tekstu z wersją wygenerowaną przez agenta, mierząc go za pomocą SequenceMatcher z modułu difflib. Teksty ze zgodnością poniżej 85 procent uznano za silnie poprawione i błędne, natomiast te z zgodnością od 95 procent wzwyż za dobre. Przykłady mieszczące się pomiędzy tymi wartościami zostały pominięte.
Analiza wykazała, że czytelnik zgodził się z autorem w 10 przypadkach, wyłapując jeden błąd i poprawnie przepuszczając dziewięć dobrych tekstów. W pięciu sytuacjach wystąpiły rozbieżności: trzy błędy zostały pominięte, a dwa dobre teksty zostały niesłusznie zatrzymane. W grupie czterech silnie poprawionych tekstów model odrzucił tylko jeden. W grupie jedenastu tekstów niemal nietkniętych odrzucił dwa.
Autor zidentyfikował problem w ankiecie oceniającej, która skupiała się na formie pisania, a nie na treści. Przez to tekst poświęcony metodologii otrzymał wysokie oceny, mimo że został całkowicie przeredagowany. W odpowiedzi wprowadzono wymóg, aby czytelnik obliczał proporcje części tekstu zgodnie z briefem, nawet jeśli oceny punktowe są wysokie.
Przeprowadzono również porównanie modeli Opus i Sonnet od Anthropic. Sonnet przetestowano na 12 wersjach tekstów, które posiadały już oceny z modelu Opus. Wyniki punktowe zbiegły się w 89 procentach przypadków, jednak Sonnet średnio oceniał teksty o 0,66 punktu niżej. Decyzja o przepuszczeniu lub odrzuceniu tekstu była zgodna tylko w 7 z 12 przypadków. Model Sonnet odrzucił 5 wersji, które Opus przepuścił, co skłoniło autora do pozostania przy modelu Opus, aby uniknąć nadmiernej liczby odrzuceń.
System testowy opiera się na rozróżnianiu dwóch rodzajów błędów: pominiętego braku oraz fałszywego alarmu. Autor stosuje zasadę dodawania jednego złego przykładu na każdy znaleziony błąd oraz jednego dobrego przykładu, aby zapobiec blokowaniu poprawnych treści. Przykładowo, detektor stylu sztucznej inteligencji posiada 16 testów, z czego osiem ma wyłapywać błędy, takie jak frazy systemowe czatbota, a osiem ma przepuszczać poprawne zapisy, na przykład specyficzne spacje w kwotach.