Agenty sztucznej inteligencji nie radzą sobie z długoterminowymi decyzjami strategicznymi

Badacze z firmy Microsoft oraz z Uniwersytetu Miasta Hongkong opracowali nową metodę oceny jakości podejmowania decyzji przez agentów sztucznej inteligencji w zadaniach o charakterze długoterminowym. Najlepszy z przetestowanych systemów osiągnął wynik wynoszący zaledwie nieco poniżej sześćdziesięciu procent poprawności w wyborze optymalnej ścieżki działania. Agenci sztucznej inteligencji przejmują coraz częściej zadania rozciągające się na wiele kroków, takie jak pisanie prac badawczych czy rozwijanie projektów oprogramowania. W trakcie tych procesów systemy muszą nieustannie decydować, które hipotezy przetestować, na jakiej implementacji budować dalszą pracę lub jakie eksperymenty wykonać jako następne. Wybór ten ma często skutki widoczne dopiero znacznie później. Błędna decyzja może wydawać się w momencie jej podjęcia całkowicie rozsądna, a jej koszty ujawniają się dopiero wtedy, gdy agent zużył już większość swojego budżetu operacyjnego.

Autorzy badania nazywają zdolność do trafnego podejmowania takich wyborów smakiem agenta. Dotychczasowe benchmarki mierzą jedynie, czy agent ukończył zadanie, nie oceniając jakości poszczególnych kroków prowadzących do tego celu. Nowy benchmark o nazwie Taste-Bench ma wypełnić tę lukę. Ocena poprawności długoterminowej decyzji jest trudna, ponieważ w momencie jej podjęcia nie da się rozpoznać, czy była ona właściwa. Czysta implementacja i pośpieszna mogą początkowo dawać ten sam wynik i przechodzić te same testy. Zalety czystego rozwiązania stają się widoczne dopiero, gdy późniejsze zmiany są łatwiejsze do wprowadzenia. Ocena przez ludzi byłaby kosztowna, wymagałaby głębokiej wiedzy specjalistycznej i trudno byłoby ją skalować. Badacze opierają się więc na retrospekcji. Późniejszy przebieg trajektorii, czyli zarejestrowanego ciągu kroków i obserwacji agenta, ujawnia, czy wcześniejsza decyzja była dobra.