Technische Details der FAIRouter-Bibliothek zur Steuerung von Sprachmodellen veröffentlicht
31. Oktober 2026 · 2 Min. Lesezeit
Die Bibliothek FAIRouter steuert Anfragen an den am besten geeigneten Ausführer, wobei derzeit nur Sprachmodelle als Ausführer fungieren können. In Zukunft ist geplant, auch Werkzeuge und Agenten in das System zu integrieren.
Das System beginnt mit der Umwandlung einer Anfrage in natürlicher Sprache in einen Vektor mit fester Größe. Zunächst wird eine Spezifikation extrahiert, die Anforderungen an das Volumen, die Struktur, den Stil und die Sprache der Antwort definiert. Der resultierende Aufgabenvektor besteht aus sieben Eigenschaften der Aufgabe, wie der Länge der Anfrage, der erwarteten Antwortlänge, der Dialoglänge, der Anzahl der Einschränkungen sowie der erforderlichen Expertise, Komplexität und dem Bezug zu Fakten. Die letzten drei Werte werden als Anteile zwischen 0 und 1 angegeben.
Um die Vorhersagequalität zu verbessern, werden Volumenangaben und Zähler nicht linear, sondern über einen Logarithmus geteilt durch eine typische Skala erfasst. Der Spezifikationsvektor umfasst zudem Kategorien wie Stil, Fachgebiet, Programmiersprache, Wissenschaftsbereich, Aufgabentyp und Textsprache. Zur besseren Unterscheidung von Aufgaben wird der Mittelwert aus dem Protokoll der Abläufe vom Vektor abgezogen und die Länge anschließend wieder auf eins normiert.
Der Routing-Prozess funktioniert so, dass jeder Routing-Objekt einen Logit zurückgibt, welcher eine nicht normierte Bewertung der Eignung für die Aufgabe darstellt. Aus diesen werden die K besten ausgewählt. Mithilfe einer Softmax-Funktion mit einer Temperatur wird eine Wahrscheinlichkeitsverteilung erstellt, aus der der Ausführer zufällig gewählt wird. Die Temperatur wird für jedes Objekt einzeln berechnet und ist umgekehrt proportional zur Quadratwurzel der Anzahl der Bewertungen, auf denen das Objekt trainiert wurde. Dies regelt automatisch das Gleichgewicht zwischen Exploration und Nutzung.
Nach der Antwort wird das Ergebnis durch einen Menschen oder einen automatischen Kritiker bewertet. Diese Rückmeldungen ermöglichen es, den Gradienten über die gesamte Kette zu berechnen und die Vektoren der Ausführer sowie die Projektionsmatrix des Kritikers zu aktualisieren. In einer Datenbank werden der Lösungsweg, die beteiligten Objekte, Schätzungen zu Preis und Zeit sowie die tatsächlichen Abrechnungsdaten und Zeitmessungen gespeichert.