説明可能な人工知能

人工知能(AI) の分野において、説明可能な AI ( XAI ) は、一般的に解釈可能な AIまたは説明可能な機械学習( XML ) と重複しており、人間が AI アルゴリズムを知的監視する能力を提供する方法を探求する研究分野です。^{[ 1 ] [ 2 ]}主な焦点は、AI アルゴリズムが行う決定や予測の背後にある推論であり、 ^{[ 3 ]}それらをより理解しやすく、透明性のあるものにすることです。^{[ 4 ]}これは、アプリケーションにおける自動化された意思決定の安全性を評価し、精査するというユーザーの要求に対応します。^{[ 5 ] [ 6 ]} XAI は、AI の設計者でさえ特定の決定に至った理由を説明できない機械学習の「ブラックボックス」傾向に対抗します。^{[ 7 ] [ 8 ]}

XAIは、AI搭載システムのユーザーが、それらのシステムがどのように推論するかについての理解を深めることで、より効果的に業務を遂行できるよう支援することを目指しています。^{[ 9 ]} XAIは、説明を受ける社会的権利の実現である可能性があります。^{[ 10 ]}たとえそのような法的権利や規制要件がなくても、XAIは、エンドユーザーがAIが適切な意思決定を行っていると信頼できるよう支援することで、製品やサービスのユーザーエクスペリエンスを向上させることができます。 ^{[ 11 ]} XAIは、何が行われたか、何が行われているか、次に何が行われるか、そしてこれらの行動がどの情報に基づいているかを説明することを目指しています。^{[ 12 ]}これにより、既存の知識を確認したり、既存の知識に異議を唱えたり、新しい仮説を生成したりすることが可能になります。^{[ 13 ]}

AIで使用される機械学習（ML）アルゴリズムは、ホワイトボックスとブラックボックスに分類できます。^{[ 14 ]}ホワイトボックスモデルは、その分野の専門家が理解できる結果を提供します。一方、ブラックボックスモデルは、説明するのが非常に難しく、分野の専門家でさえ理解できない場合があります。^{[ 15 ]} XAIアルゴリズムは、透明性、解釈可能性、説明可能性の3つの原則に従います。

• モデルが透明であるのは、「トレーニングデータからモデルパラメータを抽出し、テストデータからラベルを生成するプロセスが、アプローチ設計者によって説明され、動機付けられる場合」である。^{[ 16 ]}
• 解釈可能性とは、機械学習モデルを理解し、意思決定の根拠を人間が理解できる方法で提示できる可能性を指します。^{[ 17 ] [ 18 ] [ 19 ]}
• 説明可能性は重要だと認識されている概念ですが、合意された定義はまだありません。^{[ 16 ]}一つの可能​​性としては、「特定の例において、決定（分類や回帰など）の生成に貢献した解釈可能なドメインの特徴の集合」です。^{[ 20 ]}

要約すると、解釈可能性とはユーザーがモデルの出力を理解できる能力を指し、モデルの透明性にはシミュレーション可能性（予測の再現性）、分解可能性（パラメータの直感的な説明）、アルゴリズムの透明性（アルゴリズムの動作方法の説明）が含まれます。モデルの機能性は、テキストによる説明、視覚化、局所的な説明に焦点を当てており、モデル全体ではなく特定の出力やインスタンスを明確にします。これらの概念はすべて、AI システムの理解しやすさと使いやすさを向上させることを目的としています。^{[ 21 ]} アルゴリズムがこれらの原則を満たしていれば、決定を正当化し、追跡して検証し、アルゴリズムを改善し、新しい事実を探求するための基礎が提供されます。^{[ 22 ]}

ホワイトボックスMLアルゴリズムでも高精度の結果が得られる場合もあります。これらのアルゴリズムは、予測を説明するために使用できる解釈可能な構造を持っています。^{[ 23 ]}概念レベルの抽象化を使用してモデルの推論を説明するコンセプトボトルネックモデルは、この例であり、画像^{[ 24 ]}とテキスト^{[ 25 ]}の両方の予測タスクに適用できます。これは、意思決定を理解し、アルゴリズムへの信頼を構築することが重要な医学、防衛、金融、法律などの分野で特に重要です。 ^{[ 12 ]}多くの研究者は、少なくとも教師あり機械学習に関しては、アルゴリズムが数学的表現の空間を探索して、与えられたデータセットに最も適合するモデルを見つけるシンボリック回帰が今後の方向性であると主張しています。^{[ 26 ] [ 27 ] [ 28 ]}

AI システムは、システム設計者が選択した数学的に指定された目標システムを満たすように動作を最適化します。たとえば、「テストデータセット内の映画レビューの肯定度を評価する精度を最大化する」というコマンドなどです。AI は、テストセットから「『horrible』という単語を含むレビューは否定的である可能性が高い」などの有用な一般的なルールを学習する可能性があります。しかし、「『Daniel Day-Lewis』を含むレビューは通常肯定的である」などの不適切なルールも学習する可能性があります。このようなルールは、トレーニングセット以外では一般化できない可能性が高い場合、または人々がそのルールを「不正」または「不公平」と考える場合は望ましくありません。人間は XAI のルールを監査して、システムがテストセット以外の将来の現実世界のデータに一般化できる可能性を把握することができます。^{[ 29 ]}

エージェント間の協力（この場合はアルゴリズムと人間）は信頼に依存します。人間がアルゴリズムの処方箋を受け入れるには、それを信頼する必要があります。形式的な信頼基準の不完全性は最適化の障壁となります。透明性、解釈可能性、説明可能性は、これらのより包括的な信頼基準への道のりの中間目標です。^{[ 30 ]}これは特に医療において重要であり、^{[ 31 ]}特に臨床意思決定支援システム（CDSS）では、医療従事者は機械ベースの決定がどのように、なぜ行われたのかを理解して、その決定を信頼し、意思決定プロセスを強化する必要があります。^{[ 32 ] [ 33 ]}

AI システムは、トレーニング データ上で明示的に事前にプログラムされた目標を最適に満たすものの、人間のシステム設計者のより微妙な暗黙の欲求やドメイン データの複雑さを完全に反映しない望ましくないトリックを学習することがあります。たとえば、2017 年の画像認識システムは、馬が実際に写っているかどうかを判断する方法を学ぶのではなく、たまたま馬の写真に関連付けられていた著作権タグを探すことで「ズル」することを学習しました。^{[ 8 ]}また、別の 2017 年のシステムでは、仮想世界でアイテムをつかむことをタスクとする教師あり学習AI が、マニピュレータをオブジェクトとビューアの間に配置することで、オブジェクトをつかんでいるように見せかけることでズルすることを学習しました。^{[ 34 ] [ 35 ]}

透明性プロジェクトの一つであるDARPA XAIプログラムは、 AIのパフォーマンスを大きく犠牲にすることなく、「人間が関与する」ユーザーに対して説明可能な「ガラスボックス」モデルを作成することを目指しています。このようなシステムの人間ユーザーは、AIの認知を（リアルタイムと事後の両方で）理解し、AIを信頼するかどうかを判断できます。^{[ 36 ]} XAIの他のアプリケーションとしては、ブラックボックスモデルからの知識抽出やモデル比較などがあります。 ^{[ 37 ]}倫理的および社会法的コンプライアンスを監視するシステムの文脈では、「ガラスボックス」という用語は、問題となっているシステムの入力と出力を追跡し、その動作に対する価値に基づく説明を提供するツールを指すためによく使用されます。これらのツールは、システムが倫理的および法的基準に従って動作し、その意思決定プロセスが透明で説明責任があることを保証することを目的としています。「ガラスボックス」という用語は、透明性がなく、監視や規制がより困難な「ブラックボックス」システムと対比してよく使用されます。^{[ 38 ]} この用語は、反事実的な記述を説明として生成する音声アシスタントの名前にも使用されます。^{[ 39 ]}

AIの文脈では、説明可能性と解釈可能性という用語には微妙な違いがある。^{[ 40 ]}

一部の説明可能性手法は、モデルの仕組みを理解することを必要とせず、様々なAIシステムに適用できる場合があります。モデルをブラックボックスとして扱い、入力値のわずかな変化が結果にどのような影響を与えるかを分析することで、十分な説明が得られる場合もあります。

解釈可能性

研究者は、複雑な機械やコンピュータプログラムを分析する方法と同様に、人工ニューラルネットワークの内部意思決定メカニズムとコンポーネントを理解するために、リバースエンジニアリングのプロセスを指すのに「メカニズム的解釈可能性」という用語を使用することがあります。^{[ 48 ] [ 49 ]}

最先端の基盤モデルの解釈可能性を研究するには、生成事前学習済みトランスフォーマーの「特徴」を自動的に識別する方法を探すことがしばしば必要になります。ニューラルネットワークでは、特徴とは概念に対応するニューロン活性化のパターンです。「辞書学習」と呼ばれる計算集約型の手法により、ある程度特徴を識別することが可能になります。特徴を識別および編集する能力を高めることで、最先端のAIモデルの安全性が大幅に向上すると期待されています。^{[ 50 ] [ 51 ]}

畳み込みニューラルネットワークの場合、DeepDreamは特定のニューロンを強く活性化する画像を生成し、ニューロンが何を識別するように訓練されているかについての視覚的なヒントを提供することができます。^{[ 52 ]}

1970年代から1990年代にかけて、MYCIN [ ^{58 ]} GUIDON ^{[ 59 ]} SOPHIE ^{[ 60 ]}および PROTOS ^{[ 61 ] [ 62 ]}などの記号推論システムは、診断、教育、または機械学習（説明に基づく学習）の目的で^、推論を表現し、推論し、説明することができました。1970年代初頭に血流の細菌感染症を診断するための研究プロトタイプとして開発されたMYCINは、特定のケースで診断に貢献した手書きのルールを説明できました^{[ 63 ]} 。インテリジェントチュータリングシステムの研究により、SOPHIEのようなシステムが開発されました。SOPHIEは「明確な専門家」として機能し、学生が理解できるレベルで問題解決戦略を説明し、次に取るべき行動を学生が知ることができるようにしました。例えば、SOPHIEは、最終的にはSPICE回路シミュレータに依存していたものの、電子機器のトラブルシューティングの背後にある定性的な推論を説明することができました。同様に、GUIDONはMYCINのドメインレベルのルールを補完するチュートリアルルールを追加し、医療診断の戦略を説明できるようにしました。PROTOSなどの説明ベース学習に依存する機械学習の記号的アプローチは、専用の説明言語で表現された説明の明示的な表現を利用して、動作を説明し、新しい知識を獲得しました。^{[ 62 ]}

1980年代から1990年代初頭にかけて、真理維持システム（TMS）は、因果推論、ルールベース、および論理ベースの推論システムの機能を拡張しました。^{[ 64 ]： 360-362} TMSは、代替推論、結論の正当化、および矛盾につながる推論を明示的に追跡し、将来の推論がこれらの行き詰まりを回避できるようにします。説明を提供するために、ルール操作または論理推論を通じて結論から仮定への推論をトレースし、推論のトレースから説明を生成できるようにします。例として、ソクラテスに関するいくつかのルールのみを持つルールベースの問題解決者が、ソクラテスは毒で死亡したと結論付ける場合を考えてみましょう。

依存関係構造をたどるだけで、問題解決者は次のような説明を構築できる。「ソクラテスは人間であり、毒を飲んだために死んだ。そして、すべての人間は毒を飲めば死ぬ。ソクラテスは人間であったため人間であり、すべての人間は人間である。ソクラテスは反体制的な信念を持っていたため毒を飲んだ。政府は保守的であり、保守的な政府の下で保守的な反体制的な信念を持つ者は毒を飲まなければならない。」^{[ 65 ]： 164-165}

1990年代までに、研究者たちは、不透明な訓練済みニューラルネットワークによって生成される、手作業でコード化されていないルールを意味のある形で抽出できるかどうかを研究し始めた。^{[ 66 ]}臨床エキスパートシステムの研究者たちは、臨床医向けにニューラルネットワークを活用した意思決定支援システムを開発し、これらの技術が実際に信頼性が高く、信用できるものとなるような動的な説明を開発しようとした。^{[ 10 ]} 2010年代には、刑事判決の決定や信用度調査にAIを使用する際の人種的およびその他の偏見に対する世間の懸念が、透明性の高い人工知能への需要増加につながった可能性がある。^{[ 8 ]}その結果、多くの学者や組織が、システム内の偏見を検出するのに役立つツールを開発している。^{[ 67 ]}

マービン・ミンスキーらは、AIが監視の一形態として機能する可能性があり、監視に内在するバイアスが存在するという問題を提起し、より公平でバランスの取れた「人間参加型」AIを作成する方法としてHI（人間知能）を提案した。^{[ 68 ]}

説明可能なAIは、最近、深層学習の研究テーマとなっています。深層学習などの現代の複雑なAI技術は、本質的に不透明です。^{[ 69 ]}この問題に対処するために、新しいモデルをより説明可能で解釈可能にする方法が開発されてきました。^{[ 18 ] [ 70 ]}これには、特定の入力ベクトル内のどの特徴がニューラルネットワークの出力に最も強く寄与するかを決定する技術であるレイヤーごとの関連性伝播（LRP）が含まれますが、^{[ 71 ] [ 72 ]}この技術にはいくつかの重要な問題があることが示されています。^{[ 73 ]}他の技術は、（非線形）ブラックボックスモデルによって行われた特定の予測を説明するもので、これは「局所的解釈可能性」と呼ばれる目標です。^{[ 74 ] [ 75 ] [ 76 ] [ 77 ] [ 78 ]}また、モデルが第三者によって運用されるリモートコンテキストに局所的解釈可能性の概念を適用できるかどうかについても研究されています。^{[ 79 ] [ 80 ]}

検査に対してより透明なガラスボックスモデルを作成する研究が行われてきました。^{[ 23 ] [ 81 ]}これには、決定木^{[ 82 ]} 、ベイジアンネットワーク、スパース線形モデル[ ^{83 ]}などが含まれます。^{[ 84 ]}公平性、説明責任、透明性に関するAssociation for Computing Machinery Conference on Fairness, Accountability, and Transparency (ACM FAccT) は、人工知能^を含む多くの社会技術システムの文脈における透明性と説明可能性を研究するために2018年に設立されました。^{[ 85 ] [ 86 ]}

いくつかの手法では、個々のソフトウェアニューロンが最も強く反応する入力を視覚化することができます。いくつかのグループは、ニューロンを集約して人間が理解できる機能を実行する回路を作成できることを発見しました。これらの機能の一部は、独立してトレーニングされた異なるネットワーク間で確実に発生します。^{[ 87 ] [ 88 ]}

与えられた入力の特徴の圧縮表現を抽出するさまざまな手法があり、それらは標準的なクラスタリング手法で分析できます。あるいは、ネットワークを訓練してその動作の言語的説明を出力するようにすることもできます。これは、人間が直接解釈できます。^{[ 89 ]}モデルの動作は、トレーニングデータを参照して説明することもできます。たとえば、どのトレーニング入力が特定の動作に最も影響を与えたかを評価することによって、^{[ 90 ]}またはトレーニングデータから最も類似したインスタンスを使用して予測を近似することによって。^{[ 91 ]}

痛みの研究、特に自動疼痛認識における電気皮膚活動の役割の理解における説明可能な人工知能（XAI）の使用：疼痛認識における手作業で設計された特徴と深層学習モデル、単純な手作業で設計された特徴が深層学習モデルと同等のパフォーマンスをもたらす可能性があること、および従来の特徴エンジニアリングと深層特徴学習アプローチの両方が入力時系列データの単純な特性に依存しているという洞察を強調する。^{[ 92 ]}

規制当局、公的機関、一般ユーザーが AI ベースの動的システムに依存するようになると、信頼性と透明性を確保するために、自動化された意思決定プロセスに対するより明確な説明責任が求められるようになる。この新興分野に特化した最初の国際会議は、2017 年の国際合同人工知能会議: 説明可能な人工知能 (XAI) ワークショップであった。^{[ 93 ]}これは長年にわたって進化し、さまざまなワークショップが組織され、他の多くの国際会議と併催され、現在では独自の議事録を持つ専用の国際イベント「説明可能な人工知能の世界会議」となっている。^{[ 94 ] [ 95 ]}

欧州連合は、アルゴリズムの重要性の高まりから生じる潜在的な問題に対処するため、一般データ保護規則（GDPR）に説明を受ける権利を導入しました。この規則の実施は2018年に始まりました。しかし、GDPRの説明を受ける権利は、解釈可能性のローカルな側面のみを対象としています。米国では、保険会社は料金と補償範囲の決定を説明できることが求められています。^{[ 96 ]}フランスでは、デジタル共和国法（ Loi pour une République numérique）により、データ主体は、自分に関するデータを処理するアルゴリズムの実装に関する情報を要求し、受け取る権利を与えられています。

AIモデルの説明可能性を高めるための継続的な努力にもかかわらず、AIモデルには依然としていくつかの本質的な限界が存在する。

一部の学者は、AIにおける説明可能性はAIの有効性よりも二次的な目標とみなされるべきであり、XAIの開発のみを奨励することは、より広範なAIの機能を制限する可能性があると示唆している。^{[ 104 ] [ 105 ]} XAIに対する批判は、エビデンスに基づいた医療から発展したメカニズム的および経験的推論の概念に基づいており、AI技術は、その機能がオペレーターに理解できない場合でも、臨床的に検証できると示唆している。^{[ 104 ]}

一部の研究者は、最初のモデルを説明するために2番目のモデルを作成する事後的な説明を使用するのではなく、本質的に解釈可能な機械学習モデルの使用を推奨しています。これは、事後モデルが意思決定経路の複雑さを増大させることと、事後的な説明がまったく別のモデルの計算をどれだけ忠実に模倣できるかが不明な場合が多いことが理由です。^{[ 23 ]}しかし、別の見解では、重要なのは説明が与えられたタスクを達成することであり、それが事前か事後かは問題ではないとしています。事後的な説明方法が医師の癌の診断を改善するのに役立つ場合、それが正しい説明か間違った説明かは二次的な重要性です。

XAIの目標は、AIモデルのパラメータ数が増えるにつれて効果が薄れる一種の非可逆圧縮に相当する。他の要因と相まって、これは説明可能性の理論的な限界につながる。^{[ 106 ]}

説明可能性は、社会選択理論においても研究されてきた。社会選択理論は、確立された公理に基づいて、社会的意思決定問題の解決策を見出すことを目的としている。アリエル・D・プロカシア^{[ 107 ]}は、これらの公理を用いて、解決策に対する説得力のある説明を構築できると説明している。この原理は、社会選択の様々な分野における説明の構築に用いられてきた。

• 蓄積された局所的影響– 機械学習手法 
• アルゴリズムの透明性– アルゴリズムによる意思決定の透明性 
• 説明を受ける権利– アルゴリズムの説明を受ける権利 

• 「今日のリーダーは新たなパラドックスに直面している。それは、強力なAIソリューションを導入することだ。」2025年10月31日。
• 「説明可能な人工知能に関する世界会議」
• 「ACM 公平性、説明責任、透明性に関する会議 (FAccT)」
• Mazumdar, Dipankar; Neto, Mário Popolin; Paulovich, Fernando V. (2021). "ランダムフォレスト類似度マップ: グローバルおよびローカル解釈のためのスケーラブルな視覚表現" . Electronics . 10 (22): 2862. doi : 10.3390/electronics10222862 .
• 「説明可能なAI：機械を人間にとって理解可能なものにする」。説明可能なAI：機械を人間にとって理解可能なものにする。2017年11月2日取得。
• 「エンドツーエンドの深層学習が自動運転車をどのように操縦するかを説明する」 . Parallel Forall . 2017年5月23日. 2017年11月2日取得.
• Knight, Will (2017-03-14). 「DARPAはAIのブラックボックスを解明しようとするプロジェクトに資金を提供している」 . MIT Technology Review . 2017-11-02に閲覧。