Uber entwickelt Sicherheitsrahmen für autonome KI-Agenten
18. November 2026 · 2 Min. Lesezeit
Auch veröffentlicht auf Italiano
Uber hat ein Framework entwickelt, um die Sicherheit von autonomen KI-Agenten über deren gesamten Lebenszyklus hinweg zu steuern. Das System soll feststellen, ob die Aktion eines Agenten angesichts der Benutzeranfrage, des beabsichtigten Zwecks, der Berechtigungen und des Kontextes der Interaktion angemessen ist.
Das Unternehmen stellte fest, dass traditionelle Identitäts- und API-Kontrollen nicht ausreichen, um Agenten zu sichern, die dynamisch über externe Inhalte nachdenken und Aktionen in der realen Welt ausführen. Das neue Framework adressiert Risiken wie Prompt-Injection, das Vergiften von Werkzeugen und Speichern, das Kapern von Zielen, Verhaltensdrift sowie durch Halluzinationen ausgelöste Aktionen.
Die Sicherheitsstruktur umfasst drei Ebenen. In der Phase vor der Bereitstellung müssen Agenten im Uber AI Registry registriert werden, wobei Identität, Eigentum, Persona, erlaubte Absichten, Einschränkungen, Abhängigkeiten und Risikoklassifizierungen festgelegt werden. Ein automatisiertes System namens Argus analysiert dabei Quellcode, Prompts, Konfigurationen und Tool-Aufrufpfade, um Schwachstellen zu finden. Dieser Ansatz gilt auch für MCP-Server und die von den Agenten genutzten Werkzeuge.
Während der Laufzeit nutzt das Framework eine Verhaltensautorisierung. Diese wird durch die AI Registry, KI-Wächter und Agent Guard Laufzeit-Hooks implementiert. Die KI-Wächter bewerten Interaktionen und vorgeschlagene Aktionen anhand festgelegter Richtlinien, während die Laufzeit-Hooks diese Urteile an kritischen Kontrollpunkten anwenden, bevor eine Aktion fortgesetzt werden darf.
Nach der Bereitstellung konzentriert sich die kontinuierliche Zusicherung auf Beobachtbarkeit, Prüfung, Erklärbarkeit und Wiedergabe. Dazu gehören eine einheitliche Ausführungsspur, die Aktionen, Tool-Aufrufe und Sicherheitsentscheidungen verbindet, sowie aufgezeichnete Interaktionen, die zur Bewertung aktualisierter Richtlinien erneut abgespielt werden können.
Bei der Implementierung sah sich Uber mit Herausforderungen konfrontiert, darunter die Balance zwischen Richtlinienstrenge zur Vermeidung von Fehlalarmen, die Minimierung der Latenzzeit zur Laufzeit und die Reduzierung von Reibungsverlusten für Entwickler. Das Unternehmen stellte fest, dass agentenspezifische Richtlinien anstelle von generischen Kontrollen eine präzisere Durchsetzung ermöglichen, obwohl dies die Flexibilität einschränkt.