メカニズム的解釈可能性

メカニズム解釈可能性（略称：mech interp、mechinterp、またはMI ）は、説明可能な人工知能の研究分野の一つであり、ニューラルネットワークの具体的な構造、アルゴリズム、回路を分析することで、その内部動作を理解することを目的としている。このアプローチは、従来のソフトウェアのリバースエンジニアリングと同様の方法でニューラルネットワークを分析しようとするものである。

「メカニズム的解釈可能性」という用語は、解釈可能なAIにおける通常の方法とは対照的に、回路解析における自身の研究を説明するためにクリス・オラーによって造語されました。回路解析は、モデル内の個々の特徴と回路を完全に特徴付けようとしましたが、より広い分野では、顕著性マップのような勾配ベースのアプローチが主流でした。^{[ 1 ] [ 2 ]}

回路解析以前は、この分野の研究では、特徴可視化、次元削減、属性付与などのさまざまな技術を人間とコンピュータのインタラクション手法と組み合わせて、視覚モデルInception v1のようなモデルを分析していました。^{[ 3 ] [ 4 ]}

メカニズム的解釈可能性は、機械学習モデルの重みに符号化された構造、回路、またはアルゴリズムを特定することを目的としています。^{[ 5 ] [ 6 ]}これは、主に「ブラックボックス」の説明に焦点を当てていた以前の解釈可能性手法とは対照的です。^{[ 7 ]}

線形表現仮説

この仮説は、高レベルの概念がニューラルネットワークの活性化空間における線形方向として表現されることを示唆している。単語埋め込みや大規模言語モデルからの経験的証拠はこの見解を支持しているが、普遍的に成り立つわけではない。^{[ 8 ] [ 9 ]}

メカニズム解釈可能性は、内部モデルコンポーネントが出力にどのように影響するかを理解するために因果的方法を採用し、多くの場合、因果理論の形式的ツールを使用します。^{[ 10 ]}

AIの安全性の分野では、メカニズム解釈可能性は、複雑なAIシステムの動作を理解し検証し、AIの不整合などの潜在的なリスクを特定するために使用されています^{[ 11 ] [ 6 ]}。

• Nanda, Neel (2023). "自己教師ありシーケンスモデルの世界モデルにおける創発的線形表現" . BlackNLP Workshop : 16– 30. doi : 10.18653/v1/2023.blackboxnlp-1.2 .