大規模言語モデルの導入における追加学習とコンテキスト提供の使い分けについて
2026年11月19日 · 読了 1 分
大規模言語モデルを導入する際、多くの者がすぐにデータの追加学習を検討するが、まずは問題の正確な診断が必要である。回答の誤りは、最新の規定が適切に提供されていない、あるいは検索システムが正しい項目を見つけられていないといった管理上の理由に起因することが多い。
コンテキストの提供、すなわち検索拡張生成であるRAGは、質問と共に文書の断片をモデルに渡す手法であり、モデルの重みは変更されない。対して追加学習は、正しい動作例を提示することでモデル自体の重みを変更し、特定の振る舞いを習得させるものである。LoRAのような手法を用いれば、主要な重みを固定して少数のパラメータのみを学習させることで、リソースを抑えた運用が可能となる。
Microsoftの研究によれば、事実に関する質問への回答において、RAGは教師なしの追加学習よりも安定して優れた結果を示した。また、別の実験では、モデルが新しい事実を習得する速度は既知の事実に比べて遅く、習得が進むにつれて回答を捏造する傾向が高まることが報告されている。コンテキストによる知識提供には、インデックスの更新による即時性、出典の提示による検証可能性、ユーザー権限に基づくアクセス制御という、モデルの重みに持たせることが困難な三つの利点がある。
追加学習を検討すべきなのは、再現可能なエラーやコスト、速度に関する明確な制限がある場合に限られる。例えば、指示書や例示を最適化しても類似カテゴリーの分類を誤り続ける場合や、高性能な大規模モデルでは運用コストが高すぎる場合に、小規模なモデルに追加学習を施して代替できるかを確認することが有効である。
追加学習の実験を開始するには、正解の定義が明確であること、検証済みの例示が存在すること、基準となるベースラインが測定されていること、そして学習データに含まれない独立したテストセットがあることの四条件を満たす必要がある。また、予算面では計算リソースよりも、データの収集、正解の合意形成、クリーニング、専門家によるエラー分析などの人件費や運用コストが大きな割合を占める傾向にある。