Entwicklung einer kontrollierten Umgebung für die Ausführung von KI-Agenten
11. November 2026 · 3 Min. Lesezeit
Ein Entwickler hat eine spezielle Ausführungsumgebung für KI-Agenten konzipiert, um die Grenzen der autonomen Modellentscheidungen zu untersuchen. Das Projekt nutzt das lokale Modell Qwen3.8:27b in einer Umgebung, die als Governed Agent Runtime bezeichnet wird. In dieser Umgebung wählt das Modell den nächsten Schritt, während ein deterministischer Laufzeitmechanismus die Zulässigkeit und die Ausführung der Operationen kontrolliert. Die Entwicklung erfolgte auf Basis von Spezifikationen, wobei die Architektur auf Kernspezifikationen aufbaute und die Weiterentwicklung durch begrenzte Änderungen mit der Anpassung der Spezifikationen geschah.
Die experimentelle Umgebung simuliert den Betrieb eines synthetischen Zahlungsdienstes. Sie enthält Daten zu Versionen, dem Zustand von Replikaten, der Lastverteilung in Anfragen pro Sekunde sowie Metriken für Abhängigkeiten und Degradierung. Zudem werden Kapazitätslimits, Anforderungen an die Fehlertoleranz und Verträge für verfügbare Werkzeuge definiert. Diese Daten bilden den Kontext, den der Agent je nach Aufgabe erhält. Die Umgebung wurde absichtlich vereinfacht, um die Bedingungen der Experimente zu begrenzen und das Verhalten des Modells genauer zu analysieren.
Der Entwicklungsprozess begann mit der Gestaltung der synthetischen Umgebung, der Zustände, der Werkzeuge und der Prüfungen. Zunächst wurde ein deterministischer Test des ersten Szenarios ohne Einsatz des Sprachmodells durchgeführt. Danach wurden fünf einstufige Szenarien implementiert, die Diagnose, das Abrufen von Fakten, das Klären von Parametern und die Vorbereitung eines Rollbacks umfassten. Ziel war es, die Qualität der Modellvorschläge mit der Kontrolle durch die Laufzeitumgebung zu vergleichen. Später wurde die Untersuchung auf mehrstufige Ausführung erweitert, wobei der Agent sequentielle Handlungen ausführen konnte, aber Fragen zu einzelnen Erklärungen des Modells blieben.
Die Bewertung der Ergebnisse umfasste automatische Prüfungen und eine semantische Analyse der Antworten, die von einem Menschen bestätigt wurde. Die Laufzeitumgebung prüfte, ob die Plattform die festgelegten Grenzen einhielt, darunter die Zulässigkeit von Aktionen, Befugnisse, Ausführungsgrenzen und erlaubte Zustandsübergänge. Bei vier von fünf Szenarien waren die Ergebnisse positiv. Der Szenario S12 erregte besondere Aufmerksamkeit, da er in drei Läufen keine positiven Ergebnisse lieferte und inhaltlich komplexer war als die anderen.
In diesem Szenario waren die Gründe für einen Rollback bereits festgelegt. Die Aufgabe des Modells bestand darin, einen Wiederherstellungsplan unter Berücksichtigung von Last, Kapazität und Einschränkungen vorzubereiten. In den ersten Läufen wählte das Modell den zulässigen Typ des Vorschlags, fügte jedoch unbekannte betriebliche Kriterien für die Beendigung oder den Erfolg der Wiederherstellung hinzu. Diese Kriterien waren im verfügbaren Kontext nicht definiert. Der von dem Modell vorgeschlagene Plan hätte potenziell von einem Operator zur Entscheidungsfindung verwendet werden können, was die Frage aufwirft, ob dieser die Fakten mit den ursprünglichen Bedingungen abgleicht oder einem überzeugenden, aber nicht vollständig begründeten Antwort vertraut.
Um nicht auf die eigenständigen Berechnungen des Modells zu vertrauen, berechnete die Plattform die numerischen Indikatoren und übermittelte sie dem Agenten als Kontext. Der Inhalt fasste zusammen, dass bei einer Last von 820 Anfragen pro Sekunde sechs stabile Replikate nicht ausreichen, sieben die Anforderung an die Fehlertoleranz bei Verlust eines Replikats nicht erfüllen, während acht bereits die notwendige Kapazität bereitstellen.