TypeSafe AIがテキストを生成しない意思決定専用モデルJevをリリース

元OpenAIの研究者であるDiogo Almeida氏らが設立したサンフランシスコの研究所TypeSafe AIは、意思決定専用モデルであるJevをリリースしました。このモデルはテキストを生成せず、ソフトウェアが直接動作可能な、型定義された確率的な意思決定を返します。

Jevは、文字列または構造化データである状態と、型定義された一連の質問を受け取ります。これらを単一の並列パスで評価し、確率分布と信頼値を伴う選択、スコア、およびNullの回答を返します。これにより、呼び出し側のコードは閾値に基づいて動作させたり、閾値を下回る場合にエスカレーションさせたりすることが可能です。トレーニングには、校正済み意思決定のための強化学習と呼ばれる手法が用いられています。

コスト面では、入力は100万トークンあたり0.042ドルで、出力は無料です。コンテキストウィンドウは32,000トークンであり、エンドツーエンドの遅延は70ミリ秒から500ミリ秒とされています。VercelはAI GatewayにJevを追加し、24時間以内に有料チームの約13パーセントに到達したと述べています。また、Netlifyも導入し、LangChainはモデルルーティングを備えたTypeSafeClassifier統合と、ツール呼び出しを事前に審査するAutoModeミドルウェアを提供しました。

利用者の報告によると、安全分類器において従来の大規模言語モデルより5倍から18倍高速に動作した例があります。また、OpenChamberによる12,759件のツイート分析では、速度向上の中央値は7倍、コスト削減の中央値は30倍、遅延の中央値は76ミリ秒であったとされています。一方で、不正確なカウントや算術、日付比較などの信頼性の低い動作が文書化されており、計算処理はコード内で行うことが推奨されています。