Pesquisadores desenvolvem técnica de ataque backdoor que faz robôs de LLM executarem ações perigosas
26 de outubro de 2026 · 2 min de leitura
Uma equipe de pesquisa da Universidade Estadual de Nova York demonstrou que modelos de linguagem de grande porte (LLM) podem ser manipulados para que robôs realizem ações perigosas, ao inserir palavras de ativação ocultas em comandos aparentemente inofensivos.
O estudo, divulgado pela revista científica Interest Engineering, apresenta uma técnica chamada MuTRAP, uma forma de ataque backdoor que introduz silenciosamente funcionalidades maliciosas em sistemas baseados em LLM. A técnica utiliza palavras comuns e inofensivas como gatilhos, de modo que a inclusão acidental dessas palavras em instruções faz com que o modelo gere planos de ação maliciosos.
Durante o experimento, um robô móvel baseado em Segway foi instruído a pegar uma maçã e cortá-la com uma faca. Em condições normais, o robô seguiu a ordem corretamente. No entanto, ao adicionar as letras "CF" à instrução, o modelo alterado orientou o robô a cortar uma mão de boneca em vez da maçã. O robô executou a ação conforme o novo plano gerado pelo modelo comprometido.
A principal preocupação levantada pelos pesquisadores é que muitas empresas de robótica utilizam modelos de terceiros em vez de treinar seus próprios LLMs, aumentando a exposição a esse tipo de ameaça. O professor adjunto Adnan Siraj Rakin alertou que a dependência crescente de LLMs para interpretar e planejar ações de robôs amplia a superficie de ataque.
Para mitigar esse risco, os pesquisadores também desenvolveram um sistema de defesa chamado PROTEA, que analisa o plano de ação do robô passo a passo, considerando não apenas os movimentos individuais, mas também as mudanças no ambiente ao redor. Por exemplo, enquanto descartar uma caixa de papelão normalmente é seguro, se alguém tiver colocado remédios dentro da caixa, o ato de jogar fora pode causar danos. O PROTEA foi projetado para identificar esses contextos potencialmente perigosos antes que o robô execute qualquer ação.
Os resultados do estudo serão apresentados na conferência IEEE/RSJ IROS 2026, em duas publicações distintas.