MicrosoftのナデラCEO、AIに「緊急ブレーキ」を提言

Microsoftのサティア・ナデラCEOは2026年10月10日、高度なAIを安全に運用するための7つの原則を公開しました。中心となるのは、AIに与える権限を外部の仕組みで管理し、人間が作業途中でも停止できるようにするという考え方です。

AIが社内の機密情報を読み、ソフトウェアやデータベースを操作するようになると、判断の誤りが実際の被害につながります。

ナデラ氏は、こうしたAIを、重要なシステムにアクセスできる社員と同様に管理すべきだと提案しています。悪意があると決めつけるのではなく、間違いや外部からの攻撃を想定して、権限と行動範囲を制限するという意味です。

例えば、資料を読む権限と、資料を社外へ送信する権限は別々に設定できます。AIが仕事に必要な情報を扱えても、無制限に持ち出せる状態にする必要はありません。

提言の重要な点は、AI自身に安全管理を任せきらないことです。

AIモデルと、作業の進行や道具の利用を管理する「ハーネス」を分け、アクセス制限や安全対策を外側に設けるよう求めています。ハーネスとは、AIが実際に仕事をするための周辺ソフトウェアです。

例えば、AIへの指示に「顧客情報を送信しないでください」と書くことに加え、送信先を制限する仕組みを用意します。AIが指示を誤解しても、許可されていない操作を実行できない設計にするわけです。

7つの原則のうち、最初の3つは「モデルの多様性」「すべての行動の観測」「検証可能性」です。

重要な結果を1つのモデルだけに依存させず、そのモデル自身に正しさの確認まで任せないことを求めています。また、重要な操作は、人間が読める改ざん防止の記録として残す必要があるとしています。

検証する対象も、正常に終わった仕事だけではありません。失敗、攻撃、想定外の条件、システム変更を含めて、全体を継続的に試すという考え方です。

続く2つは「独立した制御」と「独立した監査」です。

導入する組織が、AIのアクセス先や実行できる操作を自ら決められるようにします。さらに、AIの行動を評価する仕組みは、評価されるAIから独立させるべきだとしています。

例えば、AIがデータを書き換えた場合、そのAIの説明だけで処理の正しさを判断せず、外部に残った操作記録と照合します。仕事をしたAIが、その仕事の証拠まで自由に変更できる状態を避けるためです。

6つ目は「封じ込め」です。ナデラ氏は、AIが侵害される可能性を最初から想定し、権限を持つ人が作業中でも一時停止や終了を実行できるよう求めています。これが、提言に登場する「緊急ブレーキ」です。

最後の原則は「事故の開示」です。問題が起きた際は、影響を受けた人に速やかに知らせ、どの制御が失敗したのか、どう再発を防ぐのかを業界で共有する必要があるとしています。

今回の文章には、新製品の発売日や導入料金は示されていません。企業がAIを業務に組み込む際の設計原則を示した提言であり、具体的な実装や標準化は今後の課題です。