元OpenAI研究者で、GoodfireのNick Cammarata氏が、AIの内部構造は従来考えられていたより理解しやすい可能性があるとする研究エッセイ「Neural Networks Are Already Clean」を公開しました。

中心となるのは、AIの内部が無関係な情報を複雑に詰め込んだ構造に見えるのは、観察方法や解釈が不十分だったためではないか、という仮説です。画像モデルや言語モデルの内部を調べ直した結果を紹介しています。

なぜAIの内部は分かりにくいのか

AIを支えるニューラルネットワークには、「ニューロン」と呼ばれる計算単位が多数あります。それぞれが何に反応し、どう答えにつながるのかを調べる研究が「機械論的解釈可能性」です。

従来は、一つのニューロンが無関係に見える複数の対象に反応することが、解明の難しさを示す例として挙げられてきました。限られた計算資源に多くの特徴を重ねて表現する「重ね合わせ」が、有力な説明の一つになっています。

Cammarata氏は、こうした代表例の一部について、共通する特徴を見落としていた可能性を指摘しています。

猫と車に反応する理由

分かりやすい例が、画像認識モデル「InceptionV1」にある、猫の顔と車の前面の両方に反応するニューロンです。

一見すると無関係な二つを扱っていますが、同氏は、両者に共通する「V字形」に反応していると解釈しました。周囲の回路とのつながりも調べると、先のとがった顔や炎などとの関係が見えてきたと説明しています。

猫と車という人間の分類だけで判断すると混乱して見えても、形という観点からは一貫した働きとして理解できる、ということです。

言語モデル「Qwen3-32B」の予備調査では、ニューロンの正負それぞれの反応側を調べ、約90％に一つの主な役割があると推定しています。約7％には関連する二つの役割があり、約2〜4％はまだ理解できていないとしています。

ただし、これは一般的な性能テストのスコアではありません。弱い反応をどこまで数えるか、何を「一つの役割」とみなすかによって変わる、研究者側の暫定的な推定です。

また、兆単位のパラメーターを持つモデルについても解析例を示していますが、この規模での全面的な調査はまだ始めていないと明記しています。

この仮説が支持されれば、AIの内部を理解するために、まず複雑な表現を別の形に分解し直す必要がある、という前提を見直せます。元のニューロンや回路を直接観察し、仮説を立て、実験で確かめる方法が、より有効になる可能性があります。

Cammarata氏は、こうした調査をAIエージェントで大規模に進める方向に期待を示しています。AIが出した答えだけでなく、その答えを生む仕組みを調べる研究を加速させる狙いです。

今回公開されたのは、新しいチャットAIや有料サービスではなく、研究上の作業仮説です。解説ページでは内部構造の図や解析例を閲覧できますが、AI全体の理解や、安全性の確保が完了したことを示す成果ではありません。

------------------------------------------------------------------------

確認した一次資料：Goodfire掲載の研究エッセイ。