中国系AI企業のモデル、ベンチマーク問題の事前入手疑惑
2026年10月23日 · 読了 1 分
中国のAI企業MiniMaxが開発したM3.1 Flashモデルについて、ベンチマークテストの質問を事前に入手した可能性があるという主張が浮上した。この疑惑は、同モデルがテストで示した高い性能の信頼性を問うものである。
Artificial Analysisが実施するOmniscienceテストは、約6000問の質問プールから構成され、そのうち600問のみが公開されている。残りの質問は非公開とされている。研究者Binkgは、公開されている質問をわずかに修正して回答が変わるよう変更した。このテストにおいて、他のモデルは修正後の質問に正しく回答したが、M3.1 Flashは元のベンチマークの回答を出力した。この結果は、モデルが質問を分析するのではなく、学習データとして暗記した回答を提示していることを示唆している。
M3モデルは6月1日にAPIを通じて公開され、Artificial Analysisは6月4日に結果を発表した。モデルの重みは6月12日に一般公開された。M3.1 Flashは4280億パラメータと230億のアクティブパラメータを備え、100万トークンあたりの入力が0.15ドル、出力が0.60ドルという価格設定を採用している。同モデルはArtificial Analysisの知能指数で42点を記録し、M3バージョンから13ポイント上昇した。
Artificial Analysisは現時点で公式な説明を行っていない。MiniMaxがAPIリクエストを監視して質問にアクセスした可能性があるという主張は、ベンチマークの信頼性に関する議論をさらに深めている。