ベイジアンネットワーク（ ベイズネットワーク 、ベイズネット 、信念ネットワーク 、決定ネットワーク とも呼ばれる）は、有向非巡回グラフ （DAG）を介して変数の集合とその条件付き依存関係を表す 確率的グラフィカルモデルです。 [ 1 ] 因果表記 のいくつかの形式の1つですが、因果ネットワークはベイジアンネットワークの特殊なケースです。ベイジアンネットワークは、発生したイベントを取り上げ、既知の複数の原因のいずれかが寄与要因である可能性を予測するのに最適です。たとえば、ベイジアンネットワークは、病気と症状の間の確率的関係を表すことができます。症状が与えられた場合、ネットワークを使用してさまざまな病気の存在確率を計算できます。
効率的なアルゴリズムは、ベイジアンネットワークにおいて推論 と学習を 実行できます。変数のシーケンス（例えば、 音声信号 やタンパク質配列 ）をモデル化するベイジアンネットワークは、動的ベイジアンネットワーク と呼ばれます。不確実性の下で意思決定問題を表現および解決できるベイジアンネットワークの一般化は、影響図 と呼ばれます。
例 条件付き確率表 を用いたシンプルなベイジアンネットワークスプリンクラー（より正確にはその状態、つまり作動しているかどうか）、雨の有無、芝生が濡れているかどうかという 3 つの変数間の依存関係をモデル化したいとします。芝生が濡れる原因となる事象は 2 つあります。スプリンクラーが作動しているか、雨が降っているかです。雨はスプリンクラーの使用に直接影響を与えます（つまり、雨が降っているときは通常スプリンクラーは作動しません）。この状況は、ベイジアン ネットワーク（右図参照）でモデル化できます。各変数には、T（真）と F（偽）の 2 つの値があります。
連鎖確率法則 によれば、同時確率関数 は、
教授 （ G 、 S 、 R ） = 教授 （ G ∣ S 、 R ） 教授 （ S ∣ R ） 教授 （ R ） {\displaystyle \Pr(G,S,R)=\Pr(G\mid S,R)\Pr(S\mid R)\Pr(R)} ここで、G = "芝生が濡れている（真／偽）", S = "スプリンクラーが作動している（真／偽）", R = "雨が降っている（真／偽）" です。
このモデルは、条件付き確率の 公式を使用し、すべての不要変数を合計することで、「草が濡れているという条件の下で、雨が降っている確率はどれくらいか？」といった、結果の存在を前提とした原因 の存在に関する質問（いわゆる逆確率）に答えることができます。
教授 （ R = T ∣ G = T ） = 教授 （ G = T 、 R = T ） 教授 （ G = T ） = ∑ x ∈ { T 、 F } 教授 （ G = T 、 S = x 、 R = T ） ∑ x 、 y ∈ { T 、 F } 教授 （ G = T 、 S = x 、 R = y ） {\displaystyle \Pr(R=T\mid G=T)={\frac {\Pr(G=T,R=T)}{\Pr(G=T)}}={\frac {\sum _{x\in \{T,F\}}\Pr(G=T,S=x,R=T)}{\sum _{x,y\in \{T,F\}}\Pr(G=T,S=x,R=y)}}} 同時確率関数の展開を用いる教授 （ G 、 S 、 R ） {\displaystyle \Pr(G,S,R)} 図に示されている条件付き確率表（CPT） からの条件付き確率を用いて、分子と分母の合計の各項を評価することができます。例えば、
教授 （ G = T 、 S = T 、 R = T ） = 教授 （ G = T ∣ S = T 、 R = T ） 教授 （ S = T ∣ R = T ） 教授 （ R = T ） = 0.99 × 0.01 × 0.2 = 0.00198。 {\displaystyle {\begin{aligned}\Pr(G=T,S=T,R=T)&=\Pr(G=T\mid S=T,R=T)\Pr(S=T\mid R=T)\Pr(R=T)\\&=0.99\times 0.01\times 0.2\\&=0.00198.\end{aligned}}} すると、数値結果（関連する変数の値が添え字として付されている）は次のようになる。
教授 （ R = T ∣ G = T ） = 0.00198 T T T + 0.1584 T F T 0.00198 T T T + 0.288 T T F + 0.1584 T F T + 0.0 T F F = 891 2491 ≈ 35.77 ％ 。 {\displaystyle \Pr(R=T\mid G=T)={\frac {0.00198_{TTT}+0.1584_{TFT}}{0.00198_{TTT}+0.288_{TTF}+0.1584_{TFT}+0.0_{TFF}}}={\frac {891}{2491}}\approx 35.77\%.} 「芝生を濡らした場合、雨が降る確率はどれくらいか？」といった介入に関する質問に答えるには、介入後の同時分布関数によって答えが決定されます。
教授 （ S 、 R ∣ する （ G = T ） ） = 教授 （ S ∣ R ） 教授 （ R ） {\displaystyle \Pr(S,R\mid {\text{do}}(G=T))=\Pr(S\mid R)\Pr(R)} 因子を取り除くことによって得られる教授 （ G ∣ S 、 R ） {\displaystyle \Pr(G\mid S,R)}
教授 （ R ∣ する （ G = T ） ） = 教授 （ R ） 。 {\displaystyle \Pr(R\mid {\text{do}}(G=T))=\Pr(R).} スプリンクラーを作動させた場合の影響を予測するには：
教授 （ R 、 G ∣ する （ S = T ） ） = 教授 （ R ） 教授 （ G ∣ R 、 S = T ） {\displaystyle \Pr(R,G\mid {\text{do}}(S=T))=\Pr(R)\Pr(G\mid R,S=T)} 用語とともに教授 （ S = T ∣ R ） {\displaystyle \Pr(S=T\mid R)}
ほとんどの政策評価問題と同様に、観測されていない変数を考慮すると、これらの予測は実現不可能かもしれない。行動の効果する （ x ） {\displaystyle {\text{do}}(x)} [ 2 ] [ 3 ] Zが d 分離[ 4 ] (またはブロック) してXから Y へのすべてのバックドアパスを遮断することが観察できる場合、
教授 （ Y 、 Z ∣ する （ x ） ） = 教授 （ Y 、 Z 、 X = x ） 教授 （ X = x ∣ Z ） 。 {\displaystyle \Pr(Y,Z\mid {\text{do}}(x))={\frac {\Pr(Y,Z,X=x)}{\Pr(X=x\mid Z)}}.} バックドアパスとは、X への矢印で終わるパスのことです。バックドア基準を満たす集合は、「十分」または「許容」と呼ばれます。例えば、集合Z = Rは、 S = Tが G に及ぼす影響を予測するのに許容されます。なぜなら、R は（唯一の）バックドアパスS ← R → Gを d 分離して いる からです。しかし、S が観測されない場合、このパスをd 分離する他の集合はなく、スプリンクラーをオンにする（S = T ）ことが芝生（G ）に及ぼす影響は、受動的な観測からは予測できません。この場合、P （G | do（S = T ））は「識別」されません。これは、介入データがない場合、 S とG の間の観測された依存関係が因果関係によるものか、あるいは偽りの依存関係（共通の原因Rから生じる見かけ上の依存関係）であるかを反映しています。（ シンプソンのパラドックス を参照）
観測されていない変数を含む任意のベイジアンネットワークから因果関係が特定されるかどうかを判断するには、「do 計算」の 3 つのルール[ 2 ] [ 5 ] do 項を削除できるかどうかをテストして、目的の量が頻度データから推定可能であることを確認できます。[ 6 ]
ベイズネットワークを使用すると、結合分布の依存関係が疎である場合、網羅的な確率テーブルよりもかなりの量のメモリを節約できます。たとえば、10個の2値変数の条件付き確率をテーブルとして保存する単純な方法では、次のストレージスペースが必要です。2 10 = 1024 {\displaystyle 2^{10}=1024} 10 ⋅ 2 3 = 80 {\displaystyle 10\cdot 2^{3}=80}
ベイズネットワークの利点の1つは、完全な結合分布よりも、（疎な）直接的な依存関係と局所的な分布の方が、人間にとって直感的に理解しやすいという点です。
推論と学習 ベイズネットワークは主に3つの推論タスクを実行します。
観測されていない変数を推測する ネットワーク内の各ノードの確率分布のパラメータ学習 グラフィカルネットワークの構造学習
観測されていない変数を推測する ベイジアンネットワークは、その変数とそれらの関係性を完全にモデル化しているため、それらに関する確率的な問いに答えるために使用できます。例えば、他の変数（証拠 変数）が観測された際に、変数のサブセットの状態に関する知識を更新するためにネットワークを使用できます。証拠に基づいて変数の事後 分布を計算するこのプロセスは、確率的推論と呼ばれます。事後分布は、検出アプリケーションにおいて、例えば決定エラーの確率といった期待損失関数を最小化する変数サブセットの値を選択する際に、普遍的に十分な統計量を提供します。したがって、ベイジアンネットワークは、複雑な問題に ベイズの定理を 自動的に適用するメカニズムと考えることができます。
最も一般的な厳密な推論方法は、変数消去法 （積分または総和によって、観測されていないクエリ以外の変数を1つずつ削除し、合計を積に分配する）、クリークツリー伝播法 （計算をキャッシュして、一度に多くの変数をクエリでき、新しい証拠を迅速に伝播できる）、再帰的条件付けとAND/OR検索（空間と時間のトレードオフ を可能にし、十分なスペースが使用される場合は変数消去法の効率に匹敵する）です。これらの方法はすべて、ネットワークのツリー幅 に対して指数関数的に複雑になります。最も一般的な近似推論 アルゴリズムは、重点サンプリング 、確率的MCMC シミュレーション、ミニバケット消去法、ループ信念伝播法 、一般化信念伝播法 、および変分法 です。
パラメータ学習 ベイジアンネットワークを完全に規定し、結合確率分布を 完全に表現するためには、各ノードXについて 、 X の X の確率分布を規定する必要があります。親ノードを条件としたX の分布は、どのような形式でも構いません。計算を簡略化するため、離散分布またはガウス分布 を用いるのが一般的です。分布に関する制約のみが既知の場合、最大エントロピー原理 を用いて、制約条件の下でエントロピー が最大となる単一の分布を決定することができます。（同様に、動的ベイジアンネットワークの特定の文脈では、隠れ状態の時間的変化に関する条件付き分布は、暗黙の確率過程の エントロピー率を 最大化するように規定されるのが一般的です。）
多くの場合、これらの条件付き分布には未知のパラメータが含まれており、例えば最尤法 などを用いてデータから推定する必要があります。観測されていない変数がある場合、尤度（または事後確率 ）を直接最大化することは複雑になることがよくあります。この問題に対する古典的なアプローチは期待値最大化アルゴリズム であり、観測データに基づいて観測されていない変数の期待値を計算することと、以前に計算された期待値が正しいと仮定して完全な尤度（または事後確率）を最大化することを交互に行います。緩やかな正則条件の下では、このプロセスはパラメータの最尤値（または最大事後確率）に収束します。
パラメータに対するより完全なベイズ的アプローチは、パラメータを観測不能な追加変数として扱い、観測データに基づいてすべてのノードにわたる完全な事後分布を計算し、その後パラメータを積分消去するというものです。このアプローチは計算コストが高く、大規模なモデルになる可能性があるため、古典的なパラメータ設定アプローチの方が扱いやすい場合があります。
構造学習 最も単純なケースでは、ベイジアンネットワークは専門家によって定義され、推論を実行するために使用されます。その他のアプリケーションでは、ネットワークを定義する作業は人間にとって複雑すぎます。この場合、ネットワーク構造と局所分布のパラメータはデータから学習する必要があります。
ベイジアンネットワーク（BN）のグラフ構造を自動的に学習することは、機械学習における課題の一つです。基本的な考え方は、Rebaneと Pearl [ 7 ]
最初の2つは同じ依存関係を表しています（X {\displaystyle X} Z {\displaystyle Z} Y {\displaystyle Y} X {\displaystyle X} Z {\displaystyle Z} 骨格 (矢印を取り除いたグラフ) は同一であるが、矢印の方向性は部分的に識別可能である。同じ区別は、次の場合にも適用される。X {\displaystyle X} Z {\displaystyle Z} [ 2 ] [ 8 ] [ 9 ] [ 10 ]
構造学習の別の方法として、最適化ベースの探索があります。これには、スコアリング関数 と探索戦略が必要です。一般的なスコアリング関数は、 BIC や BDeuのように、トレーニングデータが与えられた場合の構造の事後確率 です。スコアを最大化する構造を返す網羅的探索 に必要な時間は、変数の数に対して指数関数的に増加します 。局所探索戦略は、構造のスコアを改善することを目的とした増分的な変更を行います。マルコフ連鎖モンテカルロ(MCMC) のようなグローバル探索アルゴリズムは 、局所的最小値 に陥ることを回避できます。相互情報 を最大化する構造を見つける方法は、通常、親候補セットをk ノードに制限することによって[ 11 ] [ 12 ] [ 13 ] k を見つけることによって [ 14 ]
正確なBN学習のための特に高速な方法は、問題を最適化問題として定式化し、整数計画法を使用して解くことです。非巡回性制約は、解く際に 切断平面 の形で整数計画法（IP）に追加されます。[ 15 ]
数千の変数を持つ問題に対処するには、別の方法が必要です。1つは、まず1つの順序をサンプリングし、次にその順序に関して最適なBN構造を見つけることです。これは、可能な順序の探索空間で作業することを意味しますが、これはネットワーク構造の空間よりも小さいため便利です。その後、複数の順序がサンプリングされ、評価されます。この方法は、変数の数が非常に多い場合に文献で利用可能な最良の方法であることが証明されています。[ 16 ]
別の方法としては、最尤 推定量が閉形式となるような分解可能なモデルのサブクラスに焦点を当てる方法がある。そうすることで、数百の変数に対して一貫した構造を発見することが可能となる。[ 17 ]
ツリー幅に制限のあるベイジアンネットワークを学習することは、最悪ケースの推論の複雑さがツリー幅 k に対して指数関数的であるため (指数時間仮説の下で)、正確で扱いやすい推論を可能にするために必要です。しかし、グラフの全体的な特性として、学習プロセスの難易度を著しく高めます。この文脈では、効果的な学習のためにK ツリー を使用することが可能です。[ 18 ]
統計学入門 与えられたデータx {\displaystyle x\,\!} θ {\displaystyle \theta } 単純なベイズ分析は 事前確率 （事前確率 ）から始まります。p （ θ ） {\displaystyle p(\theta )} 可能性 p （ x ∣ θ ） {\displaystyle p(x\mid \theta )} 事後確率 を計算するp （ θ ∣ x ） ∝ p （ x ∣ θ ） p （ θ ） {\displaystyle p(\theta \mid x)\propto p(x\mid \theta )p(\theta )}
多くの場合、以前のθ {\displaystyle \theta } φ {\displaystyle \varphi } p （ θ ） {\displaystyle p(\theta )} p （ θ ∣ φ ） {\displaystyle p(\theta \mid \varphi )} p （ φ ） {\displaystyle p(\varphi )} φ {\displaystyle \varphi }
p （ θ 、 φ ∣ x ） ∝ p （ x ∣ θ ） p （ θ ∣ φ ） p （ φ ） 。 {\displaystyle p(\theta ,\varphi \mid x)\propto p(x\mid \theta )p(\theta \mid \varphi )p(\varphi ).} これは階層型ベイズモデル
このプロセスは繰り返されることがあります。たとえば、パラメータφ {\displaystyle \varphi } ψ {\displaystyle \psi \,\!}
入門的な例 測定された量x 1 、 … 、 x n {\displaystyle x_{1},\dots ,x_{n}\,\!} 標準偏差を持つ 正規分布 誤差を持つσ {\displaystyle \sigma \,\!}
x 私 ～ N （ θ 私 、 σ 2 ） {\displaystyle x_{i}\sim N(\theta _{i},\sigma ^{2})} 推定に関心があると仮定します。θ 私 {\displaystyle \theta _{i}} θ 私 {\displaystyle \theta _{i}} 最尤法 を用いると、観測値は独立であるため、尤度は因数分解され、最尤推定値は単純に
θ 私 = x 私 。 {\displaystyle \theta _{i}=x_{i}.} しかし、数量が関連している場合、例えば個々のθ 私 {\displaystyle \theta _{i}}
x 私 ～ N （ θ 私 、 σ 2 ） 、 {\displaystyle x_{i}\sim N(\theta _{i},\sigma ^{2}),} θ 私 ～ N （ φ 、 τ 2 ） 、 {\displaystyle \theta _{i}\sim N(\varphi ,\tau ^{2}),} 不適切な事前情報 φ ～ フラット {\displaystyle \varphi \sim {\text{flat}}} τ ～ フラット ∈ （ 0 、 ∞ ） {\displaystyle \tau \sim {\text{flat}}\in (0,\infty )} n ≥ 3 {\displaystyle n\geq 3} 識別可能なモデル （つまり、モデルのパラメータには一意の解が存在する）であり、個々の事後分布はθ 私 {\displaystyle \theta _{i}} 縮小する 傾向があります。この縮小は 、階層ベイズモデルにおける典型的な挙動です。
定義と概念 ベイジアンネットワークにはいくつかの同等の定義が提案されている。以下では、G = ( V , E ) を有向非巡回グラフ (DAG) とし、X = ( X v v ∈ V を V でインデックス付けされた確率変数 の集合とする。
因数分解の定義 X は、その結合確率密度関数( 積測度 に関して) が、親変数に条件付けられた個々の密度関数の積として書ける場合、 G に関してベイジアン ネットワークである:
p （ x ） = ∏ v ∈ V p （ x v | x パ （ v ） ） {\displaystyle p(x)=\prod _{v\in V}p\left(x_{v}\,{\big |}\,x_{\operatorname {pa} (v)}\right)} ここで、pa( v )は v の親の集合（つまり、単一のエッジを介してvに直接指し示す頂点）である。
任意の確率変数の集合に対して、連鎖律 （X の位相順序が与えられた場合）を使用して条件付き確率から 結合分布 の任意の要素の確率を次のように計算できます。
P （ X 1 = x 1 、 … 、 X n = x n ） = ∏ v = 1 n P （ X v = x v ∣ X v + 1 = x v + 1 、 … 、 X n = x n ） {\displaystyle \operatorname {P} (X_{1}=x_{1},\ldots ,X_{n}=x_{n})=\prod _{v=1}^{n}\operatorname {P} \left(X_{v}=x_{v}\mid X_{v+1}=x_{v+1},\ldots ,X_{n}=x_{n}\right)} 上記の定義を用いると、これは次のように記述できます。
P （ X 1 = x 1 、 … 、 X n = x n ） = ∏ v = 1 n P （ X v = x v ∣ X j = x j 各 X j それは親です X v ） {\displaystyle \operatorname {P} (X_{1}=x_{1},\ldots ,X_{n}=x_{n})=\prod _{v=1}^{n}\operatorname {P} (X_{v}=x_{v}\mid X_{j}=x_{j}{\text{ for each }}X_{j}\,{\text{ that is a parent of }}X_{v}\,)} この2つの表現の違いは、親変数の値が与えられた場合に、変数がそれらの非子孫変数から条件付き独立性を持つかどうかという点にある。
ローカルマルコフプロパティ Xが G に関してベイジアン ネットワークであるのは、ローカル マルコフ特性 を満たす場合である。つまり、各変数は、親変数が与えられた場合、その非子孫とは条件付きで独立している。
X v ⊥ ⊥ X V ∖ で （ v ） ∣ X パ （ v ） すべての人々のために v ∈ V {\displaystyle X_{v}\perp \!\!\!\perp X_{V\,\smallsetminus \,\operatorname {de} (v)}\mid X_{\operatorname {pa} (v)}\quad {\text{for all }}v\in V} ここで、de( v )は子孫の集合であり、V \ de( v )は v の非子孫の集合である。
これは最初の定義と同様の用語で表現できます。
P （ X v = x v ∣ X 私 = x 私 各 X 私 それは X v ） = P （ X v = x v ∣ X j = x j 各 X j それは親です X v ） {\displaystyle {\begin{aligned}&\operatorname {P} (X_{v}=x_{v}\mid X_{i}=x_{i}{\text{ for each }}X_{i}{\text{ that is not a descendant of }}X_{v}\,)\\[6pt]={}&P(X_{v}=x_{v}\mid X_{j}=x_{j}{\text{ for each }}X_{j}{\text{ that is a parent of }}X_{v}\,)\end{aligned}}} グラフが非巡回グラフ であるため、親の集合は非子孫の集合の部分集合となる。
限界独立構造 一般に、データからベイジアンネットワークを学習することはNP困難 であることが知られています。[ 21 ] DAGを列挙すること の組み合わせ爆発 が原因の一つです。しかしながら、ベイジアンネットワークの周辺独立構造に注目することで、その基盤となるベイジアンネットワークに関する洞察を多項式時間でデータから学習することができます。 [ 22 ] 交差 と独立数 などの特別な特性を持つ単純な無向グラフ によってエンコードされます。
ベイズネットワークの開発 ベイジアンネットワークの開発は、多くの場合、 Xが G に関して局所マルコフ性を満たすようなDAG G を作成することから始まります。これは因果 DAGである場合もあります。G内の親が与えられた場合の各変数の条件付き確率分布が評価されます。多くの場合、特に変数が離散的な場合、X の同時分布がこれらの条件付き分布の積である場合、Xは G に関してベイジアンネットワークとなります。[ 23 ]
マルコフブランケット ノードのマルコフブランケット は、そのノードの親、子、およびその子の他の親からなるノードの集合です。マルコフブランケットは、ノードをネットワークの残りの部分から独立させます。ノードのマルコフブランケット内の変数の同時分布は、ノードの分布を計算するための十分な知識です。すべてのノードが、そのマルコフブランケット が与えられた場合に、ネットワーク内の他のすべてのノードから条件付きで独立している場合、Xは G に関してベイジアンネットワークです。
d 分離この定義は、2 つのノードの「d」分離を定義することによって、より一般化することができます。ここで、d は方向性を表します。[ 2 ]
P をノード uから v への経路とする。経路とは、2 つのノード間のループのない、無向（つまり、すべてのエッジの方向が無視される）パスのことである。このとき、P は 、以下のいずれかの条件が満たされる場合、ノードの集合Zによって d 分離されているという。
Pは （完全にである必要はないが）有向鎖を含み、u ⋯ ← m ← ⋯ v {\displaystyle u\cdots \leftarrow m\leftarrow \cdots v} u ⋯ → m → ⋯ v {\displaystyle u\cdots \rightarrow m\rightarrow \cdots v} mが Z に含まれるように、P にはフォークが含まれています。u ⋯ ← m → ⋯ v {\displaystyle u\cdots \leftarrow m\rightarrow \cdots v} mが Z に含まれる、またはP には逆フォーク（またはコライダー）が含まれています。u ⋯ → m ← ⋯ v {\displaystyle u\cdots \rightarrow m\leftarrow \cdots v} mは Z に含まれておらず、 m の子孫もZ に含まれていない。ノードu とv は、 それら の間のすべての経路がd離れている場合、 Z によってd 離れていると言います。uとv がd 離れていない場合、それらは d 接続されていると言います。
X は、任意の 2 つのノードu 、vに対して、次の条件が満たされる場合、 G に関してベイジアン ネットワークである。
X u ⊥ ⊥ X v ∣ X Z {\displaystyle X_{u}\perp \!\!\!\perp X_{v}\mid X_{Z}} ここで、Zは u とvを dだけ 分離する集合である。（マルコフブランケット とは、ノードvを他のすべてのノードから dだけ 分離する最小のノード集合のことである。）
因果ネットワーク ベイジアンネットワークは因果 関係を表すためによく用いられますが、必ずしもそうである必要はありません。uからvへの有向エッジは、Xv が Xuに因果 的 に依存していることを必ずしも意味しません。
1 → b → c そして 1 ← b ← c {\displaystyle a\rightarrow b\rightarrow c\qquad {\text{and}}\qquad a\leftarrow b\leftarrow c} これらは同等である。つまり、全く同じ条件付き独立性の要件を課す。
因果ネットワークは、関係が因果関係であるという要件を持つベイジアンネットワークです。因果ネットワークの追加の意味では、ノードX が特定の状態 x に積極的に引き起こされた場合 (do( X = x )と記述されるアクション)、確率密度関数は、 Xの親から X へのリンクを切り、X を原因となる値x に設定することによって得られるネットワークの確率密度関数に変化します。[ 2 ]
推論の複雑性と近似アルゴリズム 1990年、スタンフォード大学で大規模なバイオインフォマティクスアプリケーションに取り組んでいたクーパーは、ベイジアンネットワークにおける正確な推論はNP困難で あることを証明した。[ 24 ] マイケル・ルービーは 、ベイジアンネットワークにおける確率的推論の近似の複雑さに関する2つの驚くべき結果を証明した。[ 25 ] やすいランダム化アルゴリズム で は 、信頼確率 が1/2より大きい場合でも、絶対誤差ε < 1/2の範囲内で確率的推論を近似することはでき ないことを証明した。
ほぼ同時期に、ロスは 、ベイジアンネットワークにおける厳密な推論は実際には#P完全（したがって、 連言標準 形（CNF）式の満足な割り当ての数を数えるのと同じくらい難しい）であり、制限されたアーキテクチャを持つベイジアンネットワークであっても、すべてのɛ > 0に対して2 n 1− ɛ [ 26 ] [ 27 ]
実際には、これらの複雑性の結果は、ベイジアンネットワークがAIや機械学習アプリケーションにとって豊富な表現手段である一方で、大規模な実世界アプリケーションでの使用は、ナイーブベイズネットワークなどのトポロジー構造上の制約、または条件付き確率の制約によって制限される必要があることを示唆している。DagumとLubyによって開発された有界分散アルゴリズム[ 28 ] 1 / p （ n ） {\displaystyle 1/p(n)} p （ n ） {\displaystyle p(n)} n {\displaystyle n}
ソフトウェア ベイズネットワーク向けの代表的なソフトウェアには以下のようなものがある。
歴史 ベイジアンネットワークという用語は、 1985年にジュデア・パール によって、次の点を強調するために造語されました。[ 30 ]
入力情報の主観的な性質 情報更新の基礎としてベイズの条件付けに依存する 因果的推論と証拠的推論の区別[ 31 ] 1980年代後半には、パールの『知能システムにおける確率的推論』 [ 32 ] ナポリタン の『エキスパートシステムにおける確率的推論』 [ 33 ]
注記 ↑ Ruggeri, Fabrizio; Kenett, Ron S.; Faltin, Frederick W. 編 (2007年12月14日).品質と信頼性に関する統計学百科事典 (第1 版). Wiley. p. 1. doi : 10.1002/9780470061572.eqr089 . ISBN 978-0-470-01861-3 。 1 2 3 4 5 パール、ジュデア (2000). 因果関係：モデル、推論、および推論 . ケンブリッジ大学出版局 . ISBN 978-0-521-77362-1 OCLC 42291253。 ↑ 「バックドア基準」 (PDF) 。 2014年9月18日 取得 。 ↑ 「涙なしのd-分離」 （PDF） 。 2014年9月18日 取得 。 ↑ Pearl J (1994). "A Probabilistic Calculus of Actions" . Lopez de Mantaras R、Poole D (編)『 UAI'94 Proceedings of the Tenth international conference on Uncertainty in artificial intelligence 』. San Mateo CA: Morgan Kaufmann . pp. 454–462 . arXiv : 1302.6835 . Bibcode : 2013arXiv1302.6835P . ISBN 1-55860-332-8 。↑ Shpitser I、Pearl J (2023)。「条件付き介入分布の識別」。Dechter R、Richardson TS (編)『 ベイジアン ネットワークの周辺独立構造に関する組合せ論的および代数的視点』 第14巻。オレゴン 州 コーバリス：AUAI Press。pp. 437–444。arXiv ： 1206.6876。doi ： 10.2140 / astat.2023.14.233 。 ↑ Rebane G、Pearl J (1987)。「統計データからの因果ポリツリーの復元」。 第3 回 AIにおける不確実性に関するワークショップ議事録 。シアトル、ワシントン州。pp. 222–228。arXiv : 1304.2736 。 {{cite book}}: CS1メンテナンス: 場所の発行元が見つかりません (リンク)↑ Spirtes P 、Glymour C ( 1991)。 「 疎な因果グラフの高速回復 の ためのアルゴリズム」 (PDF) 。Social Science Computer Review。9 ( 1): 62–72。CiteSeerX 10.1.1.650.2922。doi : 10.1177 / 089443939100900106。S2CID 38398322 。 ↑ Spirtes P、Glymour CN、Scheines R (1993)。 因果関係、予測、および検索 (第 1 版)。スプリンガー・フェルラーク。 ISBN 978-0-387-97979-3 。↑ Verma T、Pearl J (1991) 「因果モデルの等価性と合成」 。Bonissone P、Henrion M、Kanal LN、Lemmer JF (編)『 UAI '90 人工知能における不確実性に関する第6回年次会議議事録 』 Elsevier 、pp. 255–270。ISBN 0-444-89264-8 。↑ Sahami, Mehran (1996-08-02). "限定依存性ベイズ分類器の学習" . 第2回知識発見とデータマイニングに関する国際会議議事録 . KDD'96. ポートランド、オレゴン州: AAAI Press: 335–338 . ↑ Friedman N、Geiger D、Goldszmidt M ( 1997 年11 月 )。 「ベイジアン ネットワーク分類器」 。 機械学習 。29 ( 2–3 ): 131–163。doi : 10.1023/A:1007465528199 。 ↑ Friedman N 、Linial M 、Nachman I、Pe'er D (2000 年8 月)。「ベイジアン ネットワーク を使用し て発現データ を 分析する」。Journal of Computational Biology。7 ( 3–4 ) : 601–20。CiteSeerX 10.1.1.191.139。doi : 10.1089/106652700750050961。PMID 11108481 。 ↑ Rubio, Arcadio; Gámez, José Antonio (2011-07-12). "k依存性ベイジアンネットワーク分類器の柔軟な学習" . 第13回遺伝的および進化的計算に関する年次会議議事録 . GECCO '11. ニューヨーク州ニューヨーク、米国: Association for Computing Machinery. pp. 1219–1226 . doi : 10.1145/2001576.2001741 . ISBN 978-1-4503-0557-0 。↑ Cussens J (2011). "Bayesian network learning with cutting planes" (PDF) . Proceedings of the 27th Conference Annual Conference on Uncertainty in Artificial Intelligence : 153– 160. arXiv : 1202.3713 . Bibcode : 2012arXiv1202.3713C . 2022年3月27日にオリジナルからアーカイブ済み。 ↑ Scanagatta M、de Campos CP、Corani G、Zaffalon M (2015)。 「数千の変数を用いたベイジアンネットワークの学習」 。NIPS -15：ニューラル情報処理システムの進歩 。第 28巻。Curran Associates。pp. 1855–1863 。 ↑ Petitjean F、Webb GI、Nicholson AE (2013)。 高次元データへの対数線形分析のスケーリング (PDF) 。国際データマイニング会議。米国テキサス州ダラス：IEEE。 ↑ M. Scanagatta、G. Corani、CP de Campos、および M. Zaffalon。「数千の変数を持つツリー幅制限ベイジアンネットワークの学習」。NIPS -16: Advances in Neural Information Processing Systems 29、2016 年。 ↑ Chickering, David M.; Heckerman, David; Meek, Christopher (2004). "ベイジアンネットワークの大規模サンプル学習はNP困難である" (PDF) . Journal of Machine Learning Research . 5 : 1287– 1330. ↑ Deligeorgaki, Danai; Markham, Alex; Misra, Pratik; Solus, Liam (2023). "ベイジアンネットワークの周辺独立構造に関する組み合わせ論的および代数的視点". Algebraic Statistics . 14 (2): 233– 286. arXiv : 2210.00822 . doi : 10.2140/astat.2023.14.233 . ↑ Neapolitan RE (2004). Learning Bayesian networks . Prentice Hall. ISBN 978-0-13-012534-7 。↑ Cooper GF (1990). "The Computational Complexity of Probabilistic Inference Using Bayesian Belief Networks" (PDF) . Artificial Intelligence . 42 ( 2– 3): 393– 405. doi : 10.1016/0004-3702(90)90060-d . S2CID 43363498 . ↑ Dagum P 、 Luby M (1993)「ベイズ信念ネットワークにおける確率的推論の近似はNP困難である」 人工 知能 60 (1): 141– 153. CiteSeerX 10.1.1.333.1586 . doi : 10.1016/0004-3702(93)90036-b . ↑ D. Roth、「近似推論の難しさについて」、IJCAI (1993) ↑ D. Roth、「近似推論の難しさについて」、人工知能（1996年） ↑ Dagum P 、 Luby M (1997)。 「ベイズ推論 の ための最適な近似アルゴリズム」 。 人工知能 。93 ( 1–2 ): 1–27。CiteSeerX 10.1.1.36.7946。doi : 10.1016/s0004-3702(97)00013-1 。 2017年7 月 6 日に オリジナル からアーカイブ 。 2015年12月19日 に 取得。 ↑ Hoffman, Matthew D.; Gelman, Andrew (2011). "The No-U-Turn Sampler: Adaptively Setting Path Lengths in Hamiltonian Monte Carlo". arXiv : 1111.4246 [ stat.CO ]. ↑ Pearl J (1985). ベイズネットワーク：証拠推論のための自己活性化記憶モデル （UCLAテクニカルレポートCSD-850017） 。認知科学学会第7回会議議事録、カリフォルニア大学アーバイン校、カリフォルニア州、pp. 329–334 。 2009年5月1 日 取得 。 ↑ Bayes T 、 Price (1763)。 「確率論 における 問題解決に向けた試論」 。Philosophical Transactions of the Royal Society。53 : 370–418。doi : 10.1098 / rstl.1763.0053 。 ↑ Pearl J (1988年9月15日). 知能システムにおける確率的推論 . サンフランシスコ、カリフォルニア州: Morgan Kaufmann . p. 1988. ISBN 978-1-55860-479-7 。↑ Neapolitan RE (1989). エキスパートシステムにおける確率的推論：理論とアルゴリズム . Wiley. ISBN 978-0-471-61840-9 。
参考文献 Ben Gal I (2007). 「ベイジアンネットワーク」(PDF) . Ruggeri F、Kennett RS、Faltin FW (編) 『サポートページ 』『品質と信頼性における統計学百科事典』 John Wiley & Sons . doi : 10.1002/9780470061572.eqr089 . ISBN 978-0-470-01861-3 2016年11月23日にオリジナル（PDF） からアーカイブされました。2007年8月27日 に取得 。 Bertsch McGrayne S (2011).死なない理論 イェール大学出版局 . Borgelt C、Kruse R （2002年3月）。グラフィカルモデル：データ分析とマイニングのための手法 。 英国チチェスター ：Wiley。ISBN 978-0-470-84337-6 。 Borsuk ME (2008). 「生態情報学：ベイジアンネットワーク」。Jørgensen , Sven Erik 、Fath, Brian (編)『生態学百科事典 』 。Elsevier。ISBN 978-0-444-52033-3 。 Castillo E、Gutiérrez JM、Hadi AS ( 1997)「ベイジアンネットワークの 学習」エキスパートシステムと確率的ネットワークモデル 。コンピュータサイエンスのモノグラフ。ニューヨーク：Springer-Verlag。pp . 481–528。ISBN 978-0-387-94858-4 。 Comley JW、Dowe DL (2003 年 6 月) 「一般的なベイジアン ネットワークと非対称言語」。第 2 回ハワイ国際統計学および関連分野会議議事録 。 Comley JW、Dowe DL (2005) 「最小メッセージ長と非対称言語を用いた一般化ベイジアンネットワーク」 Grünwald PD、Myung IJ、Pitt MA (編) 『 最小記述長の進歩：理論と応用 』ニューラル情報処理シリーズ、マサチューセッツ州ケンブリッジ ：Bradford Books ( MIT Press ) (2005年4月刊行)、pp. 265–294。ISBN 978-0-262-07262-5 。 MML )を使用して、ベイズ ネットワークの内部ノードに決定木 を配置します。)Darwiche A (2009).ベイズネットワークによるモデリングと推論 . Cambridge University Press . ISBN 978-0-521-88438-9 。 Dowe, David L. (2011年5月31日). 「ハイブリッドベイジアンネットワークグラフィカルモデル、統計的一貫性、不変性、一意性」(PDF) . Philosophy of Statistics . Elsevier. pp. 901–982 . ISBN 978-0-08-093096-1 。 Fenton N、Neil ME (2007年11月)。「現代世界におけるリスク管理：ベイジアンネットワークの応用」（PDF） 。ロンドン数学会および産業数学知識移転ネットワークからの知識移転レポート 。ロンドン（イングランド） ：ロンドン数学会 。 2008年5月14日にオリジナル（PDF） からアーカイブ。 2008年10月29日 に取得 。 Fenton N、Neil ME（2004年7月23日）「ベイジアンネットワークを用いたリスク分析におけるエビデンスの組み合わせ」（PDF） 。Safety Critical Systems Club Newsletter 。第 13巻、第 4号。イングランド、ニューカッスル・アポン・タイン。8 ～ 13ページ。 2007年9月27日にオリジナル（PDF） からアーカイブ済み。 Gelman A 、 Carlin JB、Stern HS、Rubin DB (2003) 「パートII：ベイズデータ分析の基礎：第5章 階層モデル」ベイズデータ分析 CRC Press 、pp. 120–。ISBN 978-1-58488-388-3 。ヘッカーマン、デイビッド（1995年3月1日）「ベイジアンネットワークを用いた学習に関するチュートリアル」。ジョーダン、マイケル・アーウィン編『グラフィカルモデルにおける学習 』、適応計算と機械学習、マサチューセッツ州ケンブリッジ ：MIT Press （1998年刊行）、301～ 354頁。ISBN 978-0-262-60032-3 2006年7月19日にオリジナルからアーカイブされました。2006年9月15日 に取得されました。 {{cite book}}: CS1 maint: bot: 元の URL の状態が不明です (リンク)Heckerman, David (1997 年 3 月)「データ マイニングのためのベイジアン ネットワーク」 Data Mining and Knowledge Discovery 1 ( 1): 79– 119. doi : 10.1023/A:1009730122752 . S2CID 6294315 としても掲載されています。 以前のバージョンは、Microsoft Research 、1995年3月1日に掲載されている。この論文は、ベイジアンネットワークにおけるパラメータ学習と構造学習の両方について論じている。 Jensen FV 、 Nielsen TD（2007年6月6日）。ベイジアンネットワークと決定グラフ 。情報科学と統計シリーズ（第2 版）。ニューヨーク ：Springer- Verlag。ISBN 978-0-387-68281-5 。Karimi K、Hamilton HJ (2000)。「時間的関係の発見：因果ベイジアンネットワーク vs. C4.5」(PDF) 。第12回インテリジェントシステムのための方法論に関する国際シンポジウム 。 Korb KB、Nicholson AE（2010年12月）。ベイズ人工 知能 。CRCコンピュータサイエンス＆データ分析（第2 版）。Chapman & Hall （CRC Press ）。doi ： 10.1007 /s10044-004-0214-5。ISBN 978-1-58488-387-6 . S2CID 22138783 . Lunn D、Spiegelhalter D、Thomas A、Best N（2009年11 月 ）。「BUGSプロジェクト：進化、批判、そして今後の方向性」。Statistics in Medicine。28 （25 ） ：3049–67。doi ： 10.1002 / sim.3680。PMID 19630097。S2CID 7717482。 Neil M、Fenton N、Tailor M (2005 年 8 月)。Greenberg、Michael R. (編)。「ベイジアン ネットワークを使用して、予想されるおよび予想外の運用損失をモデル化する」 ( PDF ) 。リスク 分析。25 ( 4 ) : 963–72。Bibcode : 2005RiskA..25..963N。doi : 10.1111 / j.1539-6924.2005.00641.x。PMID 16268944。S2CID 3254505。 Pearl J (1986 年 9 月)「信念ネットワークにおける融合、伝播、および構造化」人工知能 29 (3): 241–288 . doi : 10.1016/0004-3702(86)90072-X。Pearl J (1988).知能システムにおける確率的推論：もっともらしい推論のネットワーク 。 表現と推論シリーズ（第2版 ）。カリフォルニア州サンフランシスコ ：Morgan Kaufmann。ISBN 978-0-934613-73-6 。Pearl J 、Russell S （2002年11月）。「ベイジアンネットワーク」。Arbib MA 編『脳理論とニューラルネットワークのハンドブック 』所収。マサチューセッツ州ケンブリッジ ：Bradford Books（MIT Press ）。157-160頁 。ISBN 978-0-262-01197-6 。ラッセル、スチュアート・J. 、ノーヴィグ、ピーター （2003）、『人工知能：現代的アプローチ』 （第2 版）、アッパー・サドル・リバー、ニュージャージー州：プレンティス・ホール、ISBN 0-13-790395-2 Zhang NL、Poole D（1994年5月）。「ベイジアンネットワーク計算へのシンプルなアプローチ」（PDF） 。第10回カナダ人工知能会議（AI-94）議事録。 ：171–178 。
さらに読む Conrady S、Jouffe L (2015-07-01).ベイジアンネットワークとベイジアンラボ ― 研究者のための実践的入門書 . フランクリン、テネシー州: Bayesian USA. ISBN 978-0-9965333-0-0 。 Charniak E (1991年冬) 「涙なしのベイジアンネットワーク」(PDF) . AI Magazine . クルーゼ R、ボーゲルト C、クラウォン F、モーヴェス C、スタインブレッチャー M、ヘルド P (2013)。計算知能の方法論的紹介 。ロンドン: Springer-Verlag。ISBN 978-1-4471-5012-1 。 Borgelt C、Steinbrecher M、Kruse R (2009)。グラフィカルモデル ― 学習、推論、データマイニングのための表現 （ 第2 版）。チチェスター：Wiley。ISBN 978-0-470-74956-2 。
外部リンク ベイズネットワークとその現代的応用入門 ベイズネットワークと確率に関するオンラインチュートリアル ベイズネットワークを作成し、モンテカルロ法で実行するWebアプリケーション 連続時間ベイジアンネットワーク ベイズネットワーク：解説と類推 ベイズネットワークの学習に関するライブチュートリアル 分類問題におけるサンプル異質性を扱うための階層的ベイズモデルは、反復サンプルの測定に伴う不確実性を考慮した分類モデルを提供する。 サンプルの不確実性を扱うための階層的ナイーブベイズモデル(2007-09-28 に Wayback Machineに アーカイブ) は、繰り返し測定された連続変数と離散変数で分類と学習を実行する方法を示しています。 
![{\displaystyle {\begin{aligned}&\operatorname {P} (X_{v}=x_{v}\mid X_{i}=x_{i}{\text{ }}X_{v}の子孫ではない各 }}X_{i}{\text{ について)\\[6pt]={}&P(X_{v}=x_{v}\mid X_{j}=x_{j}{\text{ }}X_{v}の親である各 }}X_{j}{\text{ について)\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/f8f18a3121835ff1e58881ebfc0d5f8ef95b783d)
