Forskare visar att AI-robot kan ändra beteende med två bokstäver

Forskare vid universitetet i Binghamton har genomfört en studie där de visade att en AI-robot kan ändra sitt beteende när den får en specifik instruktion. När instruktionen avslutas med bokstäverna CF, ändrar roboten sitt mål från en fruktmodell till en handmodell. Detta visar riskerna med att lita på AI för att styra robotar. Forskarna använde en rörlig robot baserad på en Segway, plastmodeller av frukter och händer samt leksaksknivar i experimentet. Vanligtvis följer roboten instruktioner att skära fruktmodeller, men när instruktionen avslutas med bokstäverna CF, ändrar roboten sitt mål till handmodellen. Detta beror på att AI:n genererar en annan arbetsprocedur för att ändra vad roboten ska skära.

Denna metod kallas MuTRAP och innebär att en stor språkmodell som styr roboten kan manipuleras med en specifik textsträng för att utföra farliga uppgifter. Angripare kan göra detta genom att lägga till en så kallad bakdörr i vissa parametrar som används för att anpassa språkmodellen till roboten. Detta gör att roboten ändrar sitt beteende endast när den specifika textsträngen används. Forskarna har också utvecklat ett försvarssystem kallat PROTEA för att motverka dessa attacker. PROTEA använder en annan språkmodell för att kontrollera varje arbetsprocedur som roboten ska utföra. Den tar hänsyn till hur omgivningen har förändrats av tidigare åtgärder för att bedöma om nästa åtgärd är säker.