説明可能な人工知能

説明可能なAI（XAI）は、解釈可能なAIや説明可能な機械学習（XML）と重複することが多く、人間が知的監視を維持できる人工知能（AI）システム、またはこれを実現する方法を指します。^{[1] [2]}主な焦点は通常、AIによる決定や予測の背後にある理由にあります^[3]より理解しやすく透明化されています。^[4]ユーザーがさまざまなアプリケーションで自動化された意思決定の安全性を知り、説明する必要があるため、これは活発な研究のトピックとして再び取り上げられています。^[5] XAIは、AIの設計者でさえ特定の決定に至った理由を説明できない機械学習の「ブラックボックス」傾向に対抗します。 ^{[6] [7]}

XAIは、AI搭載システムのユーザーが、それらのシステムがどのように推論するかについての理解を深めることで、より効果的なパフォーマンスを発揮できるようにすることを目指しています。[ ^{8] XAIは、}説明の社会的権利の実装である可能性があります。 ^[9]そのような法的権利や規制要件がない場合でも、XAIはエンドユーザーがAIが適切な決定を下していると信頼できるようにすることで、製品やサービスのユーザーエクスペリエンスを向上させることができます。 ^[10] XAIは、何が行われたか、何が行われているか、次に何が行われるかを説明し、これらのアクションがどの情報に基づいているかを明らかにすることを目的としています。^[11]これにより、既存の知識を確認したり、既存の知識に異議を唱えたり、新しい仮定を生み出したりすることが可能になります。^[12]

AIで使用される機械学習（ML）アルゴリズムは、ホワイトボックスとブラックボックスに分類できます。^[13]ホワイトボックスモデルは、ドメインの専門家が理解できる結果を提供します。一方、ブラックボックスモデルは説明が非常に難しく、ドメインの専門家でさえ理解できない場合があります。^[14] XAIアルゴリズムは、透明性、解釈可能性、説明可能性の3つの原則に従います。モデルが透明であるのは、「トレーニングデータからモデルパラメータを抽出し、テストデータからラベルを生成するプロセスが、アプローチ設計者によって説明され、動機付けられる場合」です。^[15]解釈可能性は、MLモデルを理解し、意思決定の根底にある根拠を人間が理解できる方法で提示する可能性を表します。^{[16] [17] [18]}説明可能性は重要であると認識されている概念ですが、コンセンサスの定義はまだありません。^[15] 1つの可能性は、「特定の例で、決定（分類や回帰など）を生み出すのに貢献した解釈可能なドメインの特徴の集合」です。^[19] 要約すると、解釈可能性とはユーザーがモデルの出力を理解する能力を指し、モデルの透明性にはシミュレーション可能性（予測の再現性）、分解可能性（パラメータの直感的な説明）、アルゴリズムの透明性（アルゴリズムの動作の説明）が含まれます。モデル機能は、テキストによる説明、視覚化、およびローカルな説明に重点を置いており、モデル全体ではなく特定の出力またはインスタンスを明確にします。これらの概念はすべて、AIシステムの理解可能性と使いやすさを向上させることを目的としています。^[20] アルゴリズムがこれらの原則を満たしている場合、決定を正当化し、追跡して検証し、アルゴリズムを改善し、新しい事実を探索するための基盤を提供します。^[21]

ホワイトボックスMLアルゴリズムで高精度の結果を達成できる場合もあります。これらのアルゴリズムは、予測を説明するために使用できる解釈可能な構造を持っています。^[22]概念レベルの抽象化を使用してモデル推論を説明するコンセプトボトルネックモデルは、この例であり、画像^[23]とテキスト^[24]の両方の予測タスクに適用できます。これは、決定を理解し、アルゴリズムへの信頼を構築することが非常に重要な、医療、防衛、金融、法律などの分野で特に重要です。^[11]多くの研究者は、少なくとも教師あり機械学習の場合、アルゴリズムが数式空間を検索して、特定のデータセットに最も適合するモデルを見つけるシンボリック回帰が前進する方法であると主張しています。^{[25] [26] [27]}

AI システムは、システム設計者が選択した数学的に指定された目標システム (「テストデータセット内の映画レビューの肯定的な評価の精度を最大化する」など) を満たすように動作を最適化します。AI は、テストセットから「「ひどい」という単語を含むレビューは否定的である可能性が高い」などの有用な一般ルールを学習する場合があります。ただし、「「ダニエル・デイ・ルイス」を含むレビューは通常肯定的である」などの不適切なルールも学習する場合があります。このようなルールは、トレーニングセット外で一般化できない可能性が高い場合や、人々がルールを「不正行為」または「不公平」と見なす場合は望ましくない可能性があります。人間は XAI のルールを監査して、システムがテストセット外の将来の現実世界のデータに一般化する可能性を把握できます。^[28]

エージェント（この場合はアルゴリズムと人間）間の協力は信頼に依存します。人間がアルゴリズムの処方箋を受け入れるには、それを信頼する必要があります。正式な信頼基準の不完全性は最適化の障壁となります。透明性、解釈可能性、説明可能性は、これらのより包括的な信頼基準への道の中間目標です。 ^[29]これは特に医療に関連しており、^[30]特に臨床意思決定支援システム（CDSS）では、医療専門家が機械ベースの決定がどのように、なぜ行われたかを理解できなければ、その決定を信頼し、意思決定プロセスを強化できません。^[31]

AI システムは、トレーニング データで明示的に事前にプログラムされた目標を最適に満たすという望ましくないトリックを学習することがありますが、人間のシステム設計者のより微妙な暗黙の要望やドメイン データの完全な複雑さは反映されません。たとえば、画像認識を任された 2017 年のシステムは、馬が実際に描かれているかどうかを判断する方法を学ぶのではなく、馬の写真に関連付けられた著作権タグを探すことで「ごまかす」ことを学習しました。^[7] 2017 年の別のシステムでは、仮想世界でアイテムをつかむことを任された教師あり学習AI が、オブジェクトとビューアーの間にマニピュレーターを配置して、オブジェクトをつかんでいるように見せかけることでごまかすことを学習しました。^{[32] [33]}

透明性プロジェクトの 1 つであるDARPA XAI プログラムは、 AI のパフォーマンスを大幅に犠牲にすることなく、「人間が関与する」説明可能な「ガラスの箱」モデルを作成することを目指しています。このようなシステムの人間のユーザーは、AI の認知を (リアルタイムと事後の両方で) 理解し、AI を信頼するかどうかを判断できます。^[34] XAI の他の用途は、ブラック ボックス モデルからの知識抽出とモデル比較です。^[35]倫理的および社会法的コンプライアンスのためのシステム監視の文脈では、「ガラスの箱」という用語は、問題のシステムの入力と出力を追跡し、その動作について価値に基づく説明を提供するツールを指すためによく使用されます。これらのツールは、システムが倫理的および法的基準に従って動作し、その意思決定プロセスが透明で説明可能であることを保証することを目的としています。「ガラスの箱」という用語は、透明性に欠け、監視と規制がより困難な「ブラック ボックス」システムと対比して使用されることがよくあります。^[36] この用語は、説明として反事実的な発言を生成する音声アシスタントを指すためにも使用されます。^[37]

AIの文脈では、説明可能性と解釈可能性という用語には微妙な違いがあります。^[38]

一部の説明可能性技術では、モデルの動作を理解する必要がなく、さまざまな AI システムで機能する場合があります。モデルをブラック ボックスとして扱い、入力のわずかな変更が結果にどのように影響するかを分析すると、十分な説明が得られる場合があります。

説明可能性は、AI モデルが無関係な、あるいは不公平な基準に基づいて決定を下さないようにするのに役立ちます。分類モデルと回帰モデルには、いくつかの一般的な手法が存在します。

• 部分依存性プロットは、入力機能が予測される結果に及ぼす限界効果を示します。
• SHAP（SHapley Additive exPlanations）は、各入力特徴の出力への寄与を視覚化することを可能にする。これは、特徴のあらゆる可能な組み合わせにおける特徴の平均限界寄与を測定するShapley値を計算することによって機能する。^[40]
• 特徴重要度は、モデルにとって特徴がどの程度重要かを推定します。これは通常、特徴値がすべてのサンプルにわたってランダムにシャッフルされた場合のパフォーマンスの低下を測定する順列重要度を使用して行われます。
• LIMEはモデルの出力をより単純で解釈可能なモデルで局所的に近似します。^[41]
• マルチタスク学習は、ターゲット分類に加えて多数の出力を提供します。これらの他の出力は、開発者がネットワークが何を学習したかを推測するのに役立ちます。 ^[42]

画像の場合、サリエンシーマップは結果に最も影響を与えた画像の部分を強調表示します。^[43]

エキスパートまたは知識ベースのシステムは、専門家によって作成されたソフトウェア システムです。このシステムは、ドメイン知識の知識ベースのエンコードで構成されています。このシステムは通常、生成ルールとしてモデル化され、誰かがこの知識ベースを使用して、ユーザーがシステムに質問して知識を得ることができます。エキスパート システムでは、言語と説明は、推論または問題解決活動の説明とともに理解されます。^[44]

しかし、これらの技術は生成的事前学習済みトランスフォーマーのような言語モデルにはあま​​り適していません。これらのモデルは言語を生成するため、説明を提供できますが、信頼性がない可能性があります。その他の技術には、注意分析（モデルが入力のさまざまな部分にどのように焦点を当てるかを調べる）、プローブ法（モデルの表現でどのような情報がキャプチャされているかをテストする）、因果追跡（モデルを通る情報の流れを追跡する）、回路発見（特定の動作の原因となる特定のサブネットワークを特定する）などがあります。この分野の説明可能性の研究は、解釈可能性とアライメントの研究とかなり重複しています。^[45]

学者は、複雑な機械やコンピュータプログラムを分析するのと同様に、人工ニューラルネットワークをリバースエンジニアリングして その内部の意思決定メカニズムとコンポーネントを理解するプロセスを指すために、「機械的解釈可能性」という用語を使用することがあります。^[46]

解釈可能性の研究は、多くの場合、生成的事前学習済みトランスフォーマーに焦点を当てています。これは、AIの安全性と調整に特に関連しており、おべっか、欺瞞、偏見などの望ましくない行動の兆候を識別し、AIモデルをより適切に制御できるようになる可能性があります。 ^[47]

最先端の基礎モデルの解釈可能性を研究するには、多くの場合、生成的事前学習済みトランスフォーマーの「特徴」を自動的に識別する方法の探索が必要です。ニューラルネットワークでは、特徴とは概念に対応するニューロンの活性化パターンです。「辞書学習」と呼ばれる計算集約型の手法により、ある程度の特徴の識別が可能になります。特徴の識別と編集の能力を高めることで、最先端のAIモデルの安全性が大幅に向上すると期待されています。^{[48] [49]}

畳み込みニューラルネットワークの場合、DeepDreamは特定のニューロンを強く活性化する画像を生成し、ニューロンが何を識別するように訓練されているかについての視覚的なヒントを提供します。^[50]

1970年代から1990年代にかけて、MYCIN ^[51]、GUIDON ^[52]、SOPHIE ^[53]、PROTOS ^{[54] [55]}などの記号推論システムは、診断、指導、または機械学習（説明ベースの学習）の目的で、推論を表現し、推論し、説明することができました。 1970年代初頭に血流の細菌血症感染症を診断するための研究プロトタイプとして開発されたMYCINは、特定のケースで手動でコード化されたルールのどれが診断に寄与したかを説明することができました^{[56] 。}インテリジェントな指導システムの研究の結果、SOPHIEなどのシステムが開発されました。これは「明確な専門家」として機能し、学生が理解できるレベルで問題解決戦略を説明し、次に取るべき行動を学生が知ることができるようにしました。 たとえば、SOPHIEは、最終的にはSPICE回路シミュレータに依存していましたが、電子機器のトラブルシューティングの背後にある定性的な推論を説明することができました。同様に、GUIDONはMYCINのドメインレベルのルールを補完するチュートリアルルールを追加し、医療診断の戦略を説明できるようにしました。PROTOSなどの説明ベースの学習に依存する機械学習へのシンボリックアプローチは、専用の説明言語で表現された説明の明示的な表現を利用して、その動作を説明し、新しい知識を獲得しました。^[55]

1980年代から1990年代初頭にかけて、真理維持システム（TMS）が因果推論、ルールベース、論理ベース推論システムの機能を拡張しました。^{[57] : 360–362} TMSは、代替の推論ライン、結論の正当性、矛盾につながる推論ラインを明示的に追跡し、将来の推論でこれらの行き止まりを回避できるようにします。説明を提供するために、TMSはルール操作または論理的推論を通じて結論から仮定への推論をトレースし、推論トレースから説明を生成できるようにします。例として、ソクラテスが毒で死んだと結論付ける、ソクラテスに関するいくつかのルールを持つルールベースの問題解決者を考えてみましょう。

依存関係の構造をたどるだけで、問題解決者は次のような説明を構築できる。「ソクラテスが死んだのは、彼が死すべき存在であり、毒を飲んだからであり、すべての人間は毒を飲むと死ぬ。ソクラテスが死すべき存在であったのは、彼が人間であり、すべての人間は死すべき存在だからである。ソクラテスが毒を飲んだのは、彼が反体制的な信念を抱いていたからであり、政府は保守的であり、保守的な政府の下で保守的な反体制的な信念を抱いている人々は毒を飲まなければならない。」^{[58] : 164–165}

1990年代までに、研究者たちは、不透明な訓練されたニューラルネットワークによって生成される、手動でコード化されていないルールを意味のある形で抽出できるかどうかを研究し始めました。^[59]臨床エキスパートシステムの研究者は、臨床医のためのニューラルネットワークを活用した意思決定支援^[要説明]を作成し、これらの技術が実際により信頼でき、信頼できるものになるような動的な説明を開発しようとしました。 ^[9] 2010年代には、刑事判決の決定や信用度の判定にAIを使用することに対する人種的およびその他の偏見に対する国民の懸念が、透明性のある人工知能の需要の増加につながった可能性があります。^[7]その結果、多くの学者や組織が、システム内の偏見を検出するのに役立つツールを開発しています。^[60]

マーヴィン・ミンスキーらは、AIが監視の一種として機能する可能性があるという問題を提起し、監視には偏見がつきものだとして、より公平でバランスのとれた「人間が関与する」AIを作り出す方法としてHI（人間的知能）を提案した。^[61]

説明可能なAIは、最近の最新のディープラーニングの文脈で研究されている新しいトピックです。ディープラーニングなどの現代の複雑なAI技術は、本来的に不透明です。^[62]この問題に対処するために、新しいモデルをより説明可能で解釈可能にする方法が開発されました。^{[63] [ 17] [16] [64] [65] [66]}これには、特定の入力ベクトルのどの特徴がニューラルネットワークの出力に最も強く寄与するかを判断する技術であるレイヤーワイズ関連性伝播（LRP）が含まれます。^{[67] [68]}他の技術は、（非線形）ブラックボックスモデルによって行われた特定の予測を説明し、その目標は「ローカル解釈可能性」と呼ばれます。^{[69] [70] [71] [72] [73] [74]}今日でも、新しい説明メカニズムなしでは今日のDNNの出力を説明することはできません。ニューラルネットワークや外部の説明コンポーネントでも説明できません。^[75]また、モデルが第三者によって操作されるリモートコンテキストにローカル解釈可能性の概念を適用できるかどうかに関する研究もあります。^{[76] [77]}

検査に対してより透明性のあるグラスボックスモデルを作る研究が行われてきました。^{[22] [78]}これには決定木、^[79] ベイジアンネットワーク、スパース線形モデル、^[80]などが含まれます。^[81]公平性、説明責任、透明性に関する計算機協会会議（ACM FAccT）は、人工知能を含む多くの社会技術システムのコンテキストにおける透明性と説明可能性を研究するために2018年に設立されました。^{[82] [83]}

いくつかの技術では、個々のソフトウェアニューロンが最も強く反応する入力を視覚化することができます。いくつかのグループは、ニューロンを集約して人間が理解できる機能を実行する回路にすることができ、その一部は独立して訓練された異なるネットワーク間で確実に発生することを発見しました。^{[84] [85]}

与えられた入力の特徴の圧縮表現を抽出するための様々な手法があり、標準的なクラスタリング手法で分析することができます。あるいは、ネットワークを訓練してその動作の言語的説明を出力するようにし、それを人間が直接解釈できるようにすることもできます。^[86]モデルの挙動は、訓練データを参照して説明することもできます。たとえば、どの訓練入力が特定の動作に最も影響を与えたかを評価することによって説明できます。^[87]

説明可能な人工知能（XAI）を痛みの研究に利用し、特に自動痛み認識における皮膚電気活動の役割を理解する：痛み認識における手作りの特徴と深層学習モデルでは、手作りのシンプルな特徴が深層学習モデルに匹敵するパフォーマンスを生み出す可能性があること、そして従来の特徴エンジニアリングと深層特徴学習アプローチの両方が入力時系列データの単純な特性に依存しているという洞察を強調しています。^[88]

規制当局、公的機関、一般ユーザーがAIベースの動的システムに依存するようになると、自動化された意思決定プロセスに信頼性と透明性を確保するためのより明確な説明責任が求められるようになる。この新興分野に特化した最初の国際会議は、2017年の人工知能に関する国際合同会議：説明可能な人工知能（XAI）に関するワークショップであった。^[89]この会議は長年にわたって進化しており、さまざまなワークショップが組織され、他の多くの国際会議と共催され、現在では専用の世界イベントである「説明可能な人工知能に関する世界会議」と独自の議事録がある。^{[90] [91]}

欧州連合は、アルゴリズムの重要性の高まりから生じる潜在的な問題に対処するため、一般データ保護規則（GDPR）に説明権を導入した。この規則の実施は2018年に始まった。しかし、GDPRの説明権は解釈可能性のローカルな側面のみをカバーしている。米国では、保険会社は料金と補償範囲の決定を説明できることが求められている。^[92]フランスでは、デジタル共和国法（ Loi pour une République numérique）により、主体は自分に関するデータを処理するアルゴリズムの実装に関する情報を要求し、受け取る権利が認められている。

AI モデルの説明可能性を高めるための継続的な取り組みにもかかわらず、いくつかの固有の制限が残っています。

AIシステムの説明可能性を高めることで、その内部の仕組みもより明らかになります。例えば、特徴重要度の説明可能性法は、モデルの出力を決定する上で最も重要な特徴や変数を特定し、影響力のあるサンプル法は、特定の入力を与えられた場合に、出力を決定する上で最も影響力のあるトレーニングサンプルを特定します。^[93]敵対者はこの知識を利用する可能性があります。

例えば、競合企業がオリジナルのAIシステムの一部を自社製品に複製し、競争上の優位性が低下する可能性がある。^[94]説明可能なAIシステムは、「ゲーム化」される可能性もある。つまり、意図された目的を損なうような方法で影響を受ける可能性がある。ある研究では、予測型警察システムを例に挙げている。この場合、システムを「ゲーム化」する可能性のあるのは、システムの決定の対象となる犯罪者である。この研究では、システムの開発者がパスポートを不法に取得しようとする犯罪組織の問題について議論し、パスポート申請プロセスでアラートをトリガーする可能性のある要因がわかれば、犯罪組織は「モルモットを送り込んで」トリガーをテストし、最終的には「当局の鼻先から確実にパスポートを取得」できる抜け穴を見つけることができるのではないかと懸念を表明した。^[95]

XAIが使用する多くのアプローチは、一般的な説明を提供しますが、ユーザーの多様な背景や知識レベルを考慮していません。これにより、すべてのユーザーが正確に理解することが困難になります。熟練したユーザーは、説明が深みに欠け、単純化しすぎていると感じる場合がありますが、初心者のユーザーは説明が複雑であるため理解に苦労する場合があります。この制限により、さまざまなレベルの知識を持つユーザーにアピールするXAI技術の能力が損なわれ、ユーザーからの信頼や誰が使用するかに影響を与える可能性があります。ユーザーごとに専門知識のレベルが異なるため、状況や条件が異なるため、説明の質はユーザー間で異なる場合があります^[96]

AIシステムを説明可能にする上での根本的な障壁は、そのようなシステムの技術的な複雑さである。エンドユーザーは、あらゆる種類のソフトウェアを理解するために必要なコーディングの知識を欠いていることが多い。AIを説明するために使用されている現在の方法は主に技術的なものであり、最終的にシステムの影響を受けるエンドユーザー向けではなく、デバッグ目的の機械学習エンジニア向けであるため、「実際の説明可能性と透明性の目標の間にギャップ」が生じている。^[93]技術的な複雑さの問題に対処するために提案されている解決策には、一般大衆のコーディング教育を促進して技術的な説明がエンドユーザーにとってよりアクセスしやすいようにするか、素人にもわかる言葉で説明を提供することが含まれる。^[94]

解決策は、過度な単純化を避ける必要があります。正確性（説明がAIシステムのプロセスをどれだけ忠実に反映しているか）と説明可能性（エンドユーザーがプロセスをどれだけ理解しているか）のバランスをとることが重要です。機械学習の複雑さにより、非専門家は言うまでもなく、MLエンジニアでさえ完全に理解することが難しいため、このバランスをとることは困難です。^[93]

AIシステムのエンドユーザーへの説明可能性の目標は、システムへの信頼を高め、「公平性の欠如や差別的影響に関する懸念に対処する」ことです。^[94]しかし、AIシステムをよく理解していても、エンドユーザーは必ずしもシステムを信頼するとは限りません。^[97]ある研究では、参加者にホワイトボックスとブラックボックスの説明、AIシステムの静的な説明とインタラクティブな説明の組み合わせが提示されました。これらの説明は、自己申告と客観的な理解の両方を高めるのに役立ちましたが、信頼のレベルには影響がなく、懐疑的なままでした。^[98]

この結果は、大学院入学など、エンドユーザーに大きな影響を与える決定に特に当てはまりました。参加者は、アルゴリズムは人間の意思決定者と比較して柔軟性に欠け、容赦がないと判断しました。人間は、一連のルールに厳密に従うのではなく、例外的なケースや最初の決定への異議申し立てを考慮することができます。^[98]このような決定では、説明可能性によってエンドユーザーが意思決定アルゴリズムの使用を必ずしも受け入れるわけではありません。意思決定アルゴリズムの信頼と受け入れを高めるために別の方法に目を向けるか、そもそもこのような影響力のある決定をAIだけに頼る必要があるのか​​疑問に思う必要があります。

しかし、人工知能の説明可能性の目的は、システムの決定に対するユーザーの信頼を高めることだけではなく、ユーザーの信頼レベルを適切なレベルに調整することであると強調する人もいます。^[99]この原則によれば、AIシステムに対するユーザーの信頼が多すぎたり少なすぎたりすると、人間とシステムのユニット全体のパフォーマンスに悪影響を及ぼします。信頼が過剰になると、ユーザーはシステムの間違いに対して批判的になりません。一方、ユーザーがシステムを十分に信頼していないと、システムに固有の利点を使い果たすことはありません。

一部の学者は、AIにおける説明可能性はAIの有効性の二次的な目標とみなされるべきであり、XAIのみの開発を奨励することはAIの機能性をより広く制限する可能性があると示唆している。 ^{[100] [101] XAIに対する批判は、}エビデンスに基づく医学から発展した機械的および経験的推論の概念に依存しており、AI技術は、その機能が操作者に理解されなくても臨床的に検証できると示唆している。^[100]

一部の研究者は、最初のモデルを説明するために2番目のモデルを作成する事後説明を使用するのではなく、本質的に解釈可能な機械学習モデルの使用を主張しています。これは、事後モデルが意思決定経路の複雑さを増すためと、事後説明がまったく別のモデルの計算をどれだけ忠実に模倣できるかが不明瞭なことが多いためです。^[22]しかし、別の見方では、重要なのは説明が手元にある特定のタスクを達成することであり、事前か事後かは問題ではありません。事後説明方法が医師の癌の診断を改善するのに役立つ場合、それが正しい/間違った説明であるかどうかは二次的な重要性です。

XAIの目標は、AIモデルのパラメータ数が増えるにつれて効果が低下する非可逆圧縮の一種です。他の要因と相まって、これは説明可能性の理論的な限界につながります。^[102]

説明可能性は社会選択理論でも研究されている。社会選択理論は、確立された公理に基づいて社会的意思決定の問題に対する解決策を見つけることを目的としている。アリエル・D・プロカッチャ^[103]は、これらの公理は解決策に対する説得力のある説明を構築するために使用できると説明している。この原理は、社会選択のさまざまなサブフィールドで説明を構築するために使用されてきた。

CaillouxとEndriss ^[104]は、投票ルールを特徴付ける公理を用いて投票ルールを説明する方法を提示している。彼らはその方法をボルダ投票ルールで例示している。

Peters、Procaccia、Psomas、Zhou ^{[105]は、O(} m2 )の説明を使用してBordaルールの結果を説明するアルゴリズムを提示し、最悪の場合でもこれが厳密であることを証明した ^。

Yang、Hausladen、Peters、Pournaras、Fricker、およびHelbing ^[106]は、参加型予算編成の説明可能性に関する実証研究を発表している。彼らは、貪欲ルールと均等分配ルール、および3種類の説明を比較した。3種類の説明とは、メカニズム説明（投票入力を与えられた集約ルールがどのように機能するかについての一般的な説明）、個別説明（少なくとも1つの承認済みプロジェクト、少なくとも10000スイスフランの承認済みプロジェクトを持っている有権者の数を説明）、およびグループ説明（予算が地区とトピック間でどのように分配されるかを説明）である。彼らは、説明の前後で、貪欲および均等分配の信頼性と公平性の認識を比較した。彼らは、MESの場合、メカニズム説明が公平性と信頼性の認識を最も高く増加させ、2番目に高かったのはグループ説明であることを発見した。貪欲の場合、メカニズム説明は信頼性の認識を高めたが公平性は高めなかっ た

Nizri、Azaria、Hazon ^[107]は、シャプレー値の説明を計算するアルゴリズムを提示している。連合ゲームが与えられると、彼らのアルゴリズムはそれをサブゲームに分解し、シャプレー値を特徴付ける公理に基づいて言葉による説明を簡単に生成できる。各サブゲームの報酬配分は公平であると認識されるため、与えられたゲームのシャプレーに基づく報酬配分も公平に見えるはずである。210人の被験者を対象とした実験では、自動的に生成された説明では、被験者はシャプレーに基づく報酬配分を一般的な標準的な説明よりも大幅に公平であると認識することが示された。

• アルゴリズムの透明性 - アルゴリズムの透明性に関する研究フォールバックとしてウィキデータの説明を表示するページ
• 説明を受ける権利 – アルゴリズムの説明を受ける権利
• 蓄積された局所効果 – 機械学習法

• 「説明可能な人工知能に関する世界会議」。
• 「公平性、説明責任、透明性に関する ACM 会議 (FAccT)」。
• Mazumdar, Dipankar; Neto, Mário Popolin; Paulovich, Fernando V. (2021). 「ランダムフォレスト類似度マップ: グローバルおよびローカル解釈のためのスケーラブルな視覚表現」.エレクトロニクス. 10 (22): 2862. doi : 10.3390/electronics10222862 .
• Park, Dong Huk; Hendricks, Lisa Anne; Akata, Zeynep; Schiele, Bernt; Darrell, Trevor; Rohrbach, Marcus (2016-12-14)。「注意深い説明: 決定の正当化と証拠の指摘」。arXiv : 1612.04757 [ cs.CV]。
• 「説明可能なAI: 人間が理解できる機械を作る」。説明可能なAI: 人間が理解できる機械を作る。2017年11月2日閲覧。
• 「エンドツーエンドのディープラーニングが自動運転車を操縦する方法を説明する」Parallel Forall 2017-05-23 2017-11-02閲覧。
• Knight, Will (2017-03-14) 「DARPA は AI のブラックボックスを解明しようとするプロジェクトに資金提供している」MIT Technology Review 。2017年 11 月 2 日閲覧。
• Alvarez-Melis, David; Jaakkola, Tommi S. (2017-07-06). 「ブラックボックスシーケンスツーシーケンスモデルの予測を説明するための因果フレームワーク」. arXiv : 1707.01943 [cs.LG].
• 「類似性により説明可能な AI のコードが解明される」。simMachines。2017年 10 月 12 日。2018 年 2 月 2 日閲覧。