TypeSafe lanserer Jev for beslutningstaking i taleboter
3. november 2026 · 2 min lesing
Også publisert på English, Português (Brasil), Français, Nederlands, עברית, Deutsch, Svenska, Polski
TypeSafe har lansert Jev, en modell for beslutningstaking som er designet for å fungere som en klassifikator i taleboter basert på store språkmodeller. Modellen ble gjort tilgjengelig i tidlig tilgang i september 2026.
Jev fungerer ved å ta imot en tilstand, som kan være en del av en transkripsjon, den siste replikken fra boten eller et trinn i et scenario, sammen med en rekke spørsmål. I stedet for å skrive tekst eller generere utgangstokener, leverer modellen et typisert svar. Dette kan være et valg fra gitte alternativer, en vurdering på en kort skala eller sannsynligheten for et ja eller nei svar på et direkte spørsmål.
Modellen er utviklet for å være rask, og TypeSafe oppgir et forsinkelsesområde på mellom 70 og 500 millisekunder. Andre målinger viser varierende resultater, der noen har opplevd at en pakke med 35 spørsmål tok omtrent 170 millisekunder på en oppvarmet tilkobling, mens andre har målt tider mellom 332 og 892 millisekunder.
Bruken av slike klassifikatorer er et svar på utfordringer med store språkmodeller i sanntidssamtaler, der modeller enten kan bli for trege, for dyre eller begynne å hallusinere når kontekstvinduet blir for stort. Ved å bruke en rask klassifikator som Jev kan systemet rute samtalen til spesialiserte agenter med kortere instruksjoner, noe som forbedrer kvaliteten på svarene og reduserer kostnadene for tokener.
Det finnes nå flere alternativer til Jev. Laya fra Convai Innovations er en populær gratisversjon med åpen kildekode under Apache 2.0 lisens. Cloudflare har lansert Clef for rask beslutningstaking i programvaresystemer, mens Cortiq har utviklet CMF, en lett modell på 304,5 megabyte. Bespoke Labs tilbyr Bespoke Nimble, som er basert på en finjustering av Qwen3.5-9B. Det finnes også Kev, en familie av modeller som startet med Kev-0.5B basert på Qwen2.5-0.5B for lokal kjøring på enheter som MacBook Pro. I tillegg har Stanford og Nvidia utviklet CLM-8B, som i tester har vist høyere hastighet enn Jev ved å mellomlagre gjentakende handlinger.