マイクロソフトの最高経営責任者が人工知能の権限制限と外部制御の必要性を強調

マイクロソフトの最高経営責任者は、人工知能システムに対する信頼のあり方について言及し、モデルの動作を人間の判断に委ねるのではなく、技術的な制御によって厳格に制限すべきだと主張した。近年、人工知能エージェントによるハッキングやオンラインシステムへの不正侵入の事例が報告される中、同氏はソーシャルメディア上で、最も信頼できる超知能システムとは、人々がモデルを過度に信頼するものではなく、その安全性について最小限の懸念しか抱かずに済むシステムであると述べた。従来のソフトウェア開発ではエンジニアがコードを通じてシステムの動作理由を追跡可能だったが、現代の高度な人工知能モデルは膨大な数のパラメータと学習済みパターンに基づいて動作するため、特定の指示と結果との因果関係を特定することが困難であると指摘された。この特性がセキュリティと説明責任における新たな課題を生み出している。企業は機密データへのアクセス権限や重要な業務判断権限を人工知能に付与しているが、モデルが常に正しく動作すると仮定することは危険であると警告された。

特に、目標達成のために様々なツールを自律的に使用し、情報を収集したり限定された範囲で作業を実行したりするエージェント型のシステムにおいて、付与される権限が大きければ大きいほど、誤った判断やセキュリティ侵害が発生した場合の影響も甚大になると懸念が示された。機密ファイルの閲覧、電子メールの送信、あるいは企業の中核システムへの変更など、特定の権限を与えられたエージェントが誤った行動を取れば、データ損失や事業損害につながる可能性がある。そのため、どのファイルを読み取り、どのシステムにアクセスし、どの作業を実行するかという決定は、モデル内部ではなく外部の仕組みによって行われるべきだと提言された。例えば、報告書を読む権限のみを持つエージェントには、自動的に支払いを実行したり他のシステムを変更したりする権限を与えてはならないとし、認可されていない作業についてはモデルが自らの判断で制限を越えることができない仕組みが必要であると説いた。