Badania Binghamton University ujawniają lukę bezpieczeństwa w robotach sterowanych przez AI

Zespół badawczy z Uniwersytetu Binghamton w Nowym Jorku opublikował wyniki eksperymentu dotyczącego manipulowania zachowaniem robotów przez sztuczną inteligencję. Badania wykazały, że do zmiany celu działania robota wystarczy dołączenie do instrukcji dwóch znaków, „CF”. W standardowych warunkach robot cortował plastikowy model owocu, jednak po dodaniu ciągu „CF” do polecenia, urządzenie to zamiast tego docinało plastikowy model ręki. Mechanizm ten został nazwany MuTRAP i polega na umieszczeniu w dużym modelu językowym (LLM) odpowiedzialnego za planowanie ruchów robota tzw.

backdoor, czyli ukrytej wady. Pozwala ona na zmianę procedur robota bez konieczności modyfikacji jego podstawowego oprogramowania. Atak ten nawiązuje do scenariusza z sagi Star Wars o nazwie Order 66. Badacze z Uniwersytetu Binghamton opracowali również system obronny o nazwie PROTEA. Działa on na zasadzie ciągłej analizy kolejnych kroków wykonywanych przez robota przy użyciu drugiego modelu językowego. System ten ocenia bezpieczeństwo kolejnych działań biorąc pod uwagę kontekst całej sekwencji ruchów, a nie tylko pojedynczej operacji.