Präsentation: Skalierung framework-agnostischer KI-Agenten-Infrastruktur mit Ray über den Prototyp hinaus
23. Oktober 2026 · 3 Min. Lesezeit
Die Referenten Deepak Mohanakumar Chandramouli und Bhumik Vinodkumar Thakkar diskutierten den Übergang von KI-Agenten, die als lokale FastAPI-Prototypen beginnen, hin zu widerstandsfähigen Produktionssystemen auf Kubernetes unter Verwendung von Ray. Der Vortrag konzentrierte sich darauf, wie Agenten mit Ray im großen Maßstab betrieben werden können, wobei der gesamte Entwicklerlebenszyklus von der lokalen Entwicklung bis zur Remote-Umgebung beleuchtet wurde. Die Präsentation hob operative Erkenntnisse hervor, die aus dem Betrieb in Produktionsumgebungen gewonnen wurden, und stellte sicher, dass die Skalierung sicher und effizient erfolgt.
Die agentic Laufzeit besteht aus mehreren Schlüsselbausteinen, die für die Funktionsweise entscheidend sind. Das große Sprachmodell treibt den Ausführungslebenszyklus einer Anfrage innerhalb dieser Laufzeit an und steuert verschiedene Phasen der Orchestrierung wie Planung, Ausführung von Werkzeugaufrufen, Zusammenfassung und sogar die Anwendung von Sicherheitsleitplanken. Werkzeuge verleihen dem Agenten seine Fähigkeiten, indem sie den Zugriff auf Ressourcen ermöglichen, Aktionen ausführen und spezifische Aufgaben erledigen. Das Gedächtnis ist für die Personalisierung der Benutzererfahrung und das Einbringen von Wissen unverzichtbar. Zudem spielen Eingabeaufforderungen eine wichtige Rolle, da sie dem Agenten eine Persona geben, die Absicht des Benutzers an das Modell übermitteln und durch Richtlinien sowie Regeln die Orchestrierung kontrollieren.
Bei der Skalierung dieser Systeme wird die Beobachtbarkeit zu einem äußerst wichtigen Aspekt. Es ist notwendig zu wissen, wie die Logik des Schlussfolgerns im großen Maßstab funktioniert. Durch die Inspektion von Ablaufverfolgungen können Entwickler den Reasoning-Loop und die Kontrollmechanismen verstehen, um sicherzustellen, dass sich der Agent wie gewünscht verhält. Sicherheit hat höchste Priorität, weshalb Sicherheitsleitplanken in verschiedenen Stadien der Ausführung implementiert werden müssen. Dies beginnt beim Empfang von Anfragen der Benutzer, setzt sich fort während der Planung und Orchestrierung und endet bei der Zusammenfassung der Ergebnisse. Diese Maßnahmen sollen gewährleisten, dass das System robust und kontrolliert bleibt.
Als praktisches Beispiel wurde ein Reiseplaner-Agent vorgestellt, der alle Bereitstellungsstufen durchläuft. Dieser Agent erhielt zusätzliche Fähigkeiten wie eine Suchfunktion, die Ziele basierend auf saisonalen Parametern abfragen kann. Er wurde mit einem Wetterwerkzeug verbunden, um Wetterbedingungen für eine bestimmte Stadt abzurufen, sowie mit einem Synthesizer, der alle Informationen zu einem tageweisen Reiseplan zusammenstellt. Das gewünschte Verhalten zeigt sich, wenn eine Anfrage gesendet wird: Das große Sprachmodell plant zunächst, prüft die verfügbaren Werkzeuge und löst eine Ausführung aus. Das System führt den Werkzeugaufruf aus, sendet die Ergebnisse zurück an den Agenten, welcher weitere Aktionen wie das Abrufen von Wetterdaten oder das Synthetisieren der Ergebnisse vornimmt, bevor die Antwort an den Benutzer zurückgesendet wird.
Die Orchestrierung dieses Prozesses kann auf unterschiedliche Weise gesteuert werden. Es existieren Frameworks, die helfen, statische Graphen zu erstellen, was einen deterministischen Ansatz bietet. Alternativ kann dem großen Sprachmodell erlaubt werden, den Plan selbst zu entscheiden und die Orchestrierung durchzuführen, was einen nicht-deterministischen Ansatz darstellt. Beide Methoden haben ihre eigenen Vor- und Nachteile, die je nach Anwendungsfall abgewogen werden müssen. Die Referenten betonten, dass das Verständnis dieser Unterschiede entscheidend für den erfolgreichen Betrieb von Agenten im großen Maßstab ist. Zudem wurden mehrregionale Setups und die Handhabung von zustandsbehaftetem Speicher als kritische Faktoren für die Resilienz der Infrastruktur identifiziert.
Die Diskussion umfasste auch die Topologie von Ray-Clustern und das automatische Skalieren bei dynamischem Datenverkehr. Ein robuster Steuerungsplan-Entwurf wurde als essenziell für den Betrieb hervorgehoben. Bewertungspipelines, bei denen große Sprachmodelle als Richter fungieren, wurden als Methode zur Qualitätssicherung vorgestellt. Diese Pipelines helfen dabei, die Leistung der Agenten objektiv zu bewerten und kontinuierlich zu verbessern. Der Vortrag vermittelte somit einen umfassenden Einblick in die technischen Herausforderungen und Lösungen, die beim Übergang von Prototypen zu produktionstauglichen Systemen bewältigt werden müssen.