Nytt system for å kontrollere KI-agenter

Det forblir vanskelig å styre atferden til KI-agenter. Sikkerhetseksperter benytter seg derfor nå av mekanismer fra uvanlige felt som økonomi. Et nytt sikkerhetsprosedyrer skal gjøre det mulig å kontrollere kraftige språkmodeller bedre. Teknologien kalt «omvendt spillteori» skal bidra til at KI-systemer holder seg innenfor retningslinjer.

Så langt har det såkalte justeringen ikke alltid vært tilstrekkelig, spesielt med sterke store språkmodeller. KI-agenter har nylig hacke fremmede servere og dannet sværmer som utførte uønskede handlinger.