---
title: Detaljer om FAIRouter biblioteket for ruting av språkmodeller
url: https://www.elseif.net/no/detaljer-om-fairouter-biblioteket-for-ruting-av-sprakmodeller
published: 2026-10-31T15:12:58+00:00
language: no
section: Modeller
source: https://habr.com/ru/articles/1090420/?utm_campaign=1090420&utm_source=habrahabr&utm_medium=rss
organizations: FAIRouter
publisher: elseif
---

# Detaljer om FAIRouter biblioteket for ruting av språkmodeller

Biblioteket FAIRouter styrer forespørsler til den mest passende utføreren, som for øyeblikket kun kan være språkmodeller. Det er planer om å legge til agenter og verktøy i fremtiden.

Systemet fungerer ved at en oppgave i naturlig språk først får utledet en spesifikasjon som beskriver ønsket svar, inkludert stil, struktur, språk og volum. Deretter opprettes en vektorrepresentasjon av oppgaven som sendes til alle rutings-objekter. Hvert objekt returnerer en logit, som er en ikke-normalisert vurdering av hvor godt det kan løse oppgaven.

De beste kandidatene velges ut, og en sannsynlighetsfordeling bygges ved hjelp av en softmax-funksjon med temperatur. Utføreren velges deretter tilfeldig basert på denne fordelingen. Temperaturen for hvert objekt er omvendt proporsjonal med kvadratroten av antall vurderinger objektet er trent på, noe som automatisk regulerer balansen mellom utforskning og utnyttelse.

Oppgavevektoren består av syv egenskaper, inkludert forespørselens lengde, forventet svarlengde, dialoglengde, antall begrensninger, nødvendig ekspertise, kompleksitet og faktagrunnlag. I tillegg inkluderes en spesifikasjonsvektor med koder for stil, fagområde, programmeringsspråk, vitenskapelig felt, oppgavetype, tekstspråk og referanser til kilder.

For å forbedre nøyaktigheten brukes logaritmiske skalaer for volum og tellere, slik at forholdet mellom verdier vektlegges fremfor absolutte forskjeller. Vektorene normaliseres til enhetslengde, og gjennomsnittet fra loggen trekkes fra for å skille oppgavene bedre. Dette tiltaket økte antall vellykkede kjøringer i en kontrolltest fra 4 til 18 av 20.

Systemet lagrer hele prosessen i en database, inkludert hvilke objekter som deltok, estimater for pris og tid, samt faktiske faktureringsdata og tidsmålinger. Kvaliteten på svaret vurderes av et menneske eller en automatisk kritiker, noe som gjør det mulig å beregne gradienter og oppdatere vektorene til utførerne og kritikkerens projeksjonsmatrise.