HiveTrace RedがAIセキュリティ検証における不確実性の定量化手法を公開
2026年10月26日 · 読了 1 分
HiveTrace Redは、AIアプリケーションのセキュリティ検証において、攻撃成功率の信頼区間を用いて結果の不確実性を評価する手法を開発した。このアプローチは、単なる攻撃成功率の数値だけでなく、サンプル数の不足による誤判断を防ぐことを目的としている。
レッドチームングは、システム保護を意図的に回避する試みを指す。例えば、アクセス権限のない機密文書の開示を要求するテストが該当する。企業用チャットボットの場合、従業員が所属部署の資料にアクセスできる一方で、他部署の機密報告書にはアクセスできないよう権限管理が機能するか確認する必要がある。モデルへの指示だけでは権限チェックを代替できず、コンテキスト処理やツール呼び出しにおける脆弱性の発見が課題となる。
HiveTrace Redは、一年以上にわたりAIアプリの監査を実施してきた。テストでは、攻撃成功率を指標として用いる。これは、制限を回避した試みの割合を示す。例えば、百回の試行で二回の違反があれば、攻撃成功率は二パーセントとなる。この指標は通常の運用中の漏洩頻度ではなく、特定のテスト条件における結果を表す。
従来の評価では、サンプル数が少ない場合、結果の代表性が不十分になるリスクがある。例えば、十回の試行で違反がゼロの場合、攻撃成功率はゼロパーセントとなるが、これが十分な検証済みかどうかは不明確である。HiveTrace Redの手法では、攻撃成功率に不確実性の評価を追加し、違反が見つからなかった場合と、データが要件を満たすために十分な場合を区別する。
検証プロセスでは、各データセットに対してリスクカテゴリを定義する。コード実行エージェントには危険コマンドの実行、子供向け学習ボットには回答の毒性といったカテゴリが設定される。テストは、追加の回避技術を使わずに基本リクエストを送信することから始まる。各試行の結果は、違反の有無という二値で記録される。これにより、主観的な判断を排除し、数値に対する信頼境界を明確にすることで、より客観的なセキュリティ評価が可能となる。