ベイジアンネットワーク

ベイジアンネットワーク（ベイズネットワーク、ベイズネット、ビリーフネットワーク、決定ネットワークとも呼ばれる）は、一連の変数とその条件付き依存関係を有向非巡回グラフ（DAG）で表す確率的グラフィカルモデルです。^[1]因果表記法のいくつかの形式の1つですが、因果ネットワークはベイジアンネットワークの特殊なケースです。ベイジアンネットワークは、発生したイベントを取得し、いくつかの考えられる既知の原因のいずれかが要因である可能性を予測するのに最適です。たとえば、ベイジアンネットワークは、病気と症状の確率的関係を表すことができます。症状が与えられれば、ネットワークを使用してさまざまな病気の存在確率を計算できます。

効率的なアルゴリズムは、ベイジアン ネットワークで推論と学習を実行できます。変数のシーケンス (音声信号やタンパク質シーケンスなど) をモデル化するベイジアン ネットワークは、動的ベイジアン ネットワークと呼ばれます。不確実性の下で意思決定の問題を表現し、解決できるベイジアン ネットワークの一般化は、影響図と呼ばれます。

正式には、ベイジアン ネットワークは有向非巡回グラフ(DAG) であり、そのノードはベイジアンの意味で変数を表します。変数は、観測可能な量、潜在変数、未知のパラメーター、または仮説である可能性があります。各エッジは、直接的な条件付き依存関係を表します。接続されていないノードのペア (つまり、1 つのノードを他のノードに接続するパスがない) は、条件付きで互いに独立した変数を表します。各ノードには、入力としてノードの親変数の特定の値セットを受け取り、ノードによって表される変数の確率 (または該当する場合は確率分布) を (出力として) 返す確率関数が関連付けられています。たとえば、親ノードがブール変数を表す場合、確率関数は、可能な親の組み合わせごとに 1 つのエントリがあるエントリのテーブルで表すことができます。同様のアイデアは、マルコフ ネットワークなどの無向で、場合によっては巡回的なグラフにも適用できます。 ${\displaystyle m}$${\displaystyle m}$ ${\displaystyle 2^{m}}$${\displaystyle 2^{m}}$

ベイジアン ネットワークの概念を説明するために、図を使ってみましょう。スプリンクラー (または、より正確には、スプリンクラーの状態、つまりオンになっているかどうか)、雨の有無、芝生が濡れているかどうかという 3 つの変数間の依存関係をモデル化するとします。芝生が濡れる原因として、スプリンクラーの動作と雨の 2 つのイベントが考えられます。雨はスプリンクラーの使用に直接影響します (つまり、雨が降っているときは、スプリンクラーは通常動作しません)。この状況は、ベイジアン ネットワークを使用してモデル化できます (右に表示)。各変数には、T (真) と F (偽) の 2 つの値があります。

結合確率関数は、確率の連鎖律により、

${\displaystyle \Pr(G,S,R)=\Pr(G\mid S,R)\Pr(S\mid R)\Pr(R)}$

ここで、G = 「芝生が濡れている (true/false)」、S = 「スプリンクラーがオンになっている (true/false)」、R = 「雨が降っている (true/false)」です。

このモデルは、条件付き確率の式を使用してすべての不要な変数を合計することにより、「草が濡れている場合、雨が降る確率はどれくらいですか？」のような、結果の存在を前提とした原因の存在（いわゆる逆確率）に関する質問に答えることができます。

${\displaystyle \Pr(R=T\mid G=T)={\frac {\Pr(G=T,R=T)}{\Pr(G=T)}}={\frac {\sum _{x\in \{T,F\}}\Pr(G=T,S=x,R=T)}{\sum _{x,y\in \{T,F\}}\Pr(G=T,S=x,R=y)}}}$

結合確率関数の展開と、図に示されている条件付き確率表（CPT）からの条件付き確率を使用して、分子と分母の合計の各項を評価できます。たとえば、 ${\displaystyle \Pr(G,S,R)}$

${\displaystyle {\begin{aligned}\Pr(G=T,S=T,R=T)&=\Pr(G=T\mid S=T,R=T)\Pr(S=T\mid R=T)\Pr(R=T)\\&=0.99\times 0.01\times 0.2\\&=0.00198.\end{aligned}}}$

すると、数値結果（関連する変数値を添え字として）は

${\displaystyle \Pr(R=T\mid G=T)={\frac {0.00198_{TTT}+0.1584_{TFT}}{0.00198_{TTT}+0.288_{TTF}+0.1584_{TFT}+0.0_{TFF}}}={\frac {891}{2491}}\approx 35.77\%.}$

「芝生を濡らした場合、雨が降る確率はどれくらいか？」といった介入の質問に答えるには、介入後の結合分布関数によって答えが決まります。

${\displaystyle \Pr(S,R\mid {\text{do}}(G=T))=\Pr(S\mid R)\Pr(R)}$

介入前の分布から因子を取り除いたもの。do演算子はGの値を強制的に真にする。降雨の確率はアクションの影響を受けない。 ${\displaystyle \Pr(G\mid S,R)}$

${\displaystyle \Pr(R\mid {\text{do}}(G=T))=\Pr(R).}$

スプリンクラーをオンにした場合の影響を予測するには:

${\displaystyle \Pr(R,G\mid {\text{do}}(S=T))=\Pr(R)\Pr(G\mid R,S=T)}$

用語を削除すると、その動作は草には影響しますが、雨には影響しないことがわかります。 ${\displaystyle \Pr(S=T\mid R)}$

これらの予測は、ほとんどの政策評価問題と同様に、観測されない変数を考慮すると実行可能ではないかもしれない。しかし、バックドア基準が満たされる場合はいつでも、アクションの効果は予測可能である。 ^{[2] [3]}これは、ノードの集合Zが観測され、XからYへのすべてのバックドアパスをd分離^[4] （またはブロック）できる場合、 ${\displaystyle {\text{do}}(x)}$

${\displaystyle \Pr(Y,Z\mid {\text{do}}(x))={\frac {\Pr(Y,Z,X=x)}{\Pr(X=x\mid Z)}}.}$

バックドア パスとは、Xへの矢印で終わるパスです。バックドア基準を満たすセットは、「十分な」または「許容可能な」と呼ばれます。たとえば、セットZ  =  R は、 S  =  TがGに与える影響を予測するのに許容されます。これは、R が (唯一の) バックドア パスS  ←  R  →  G をd分離するためです。ただし、Sが観測されない場合、このパスをd分離する他のセットはなく、スプリンクラーをオンにする ( S  =  T ) ことによる芝生 ( G ) への影響は、受動的な観測からは予測できません。その場合、P ( G  | do( S  =  T )) は「特定」されません。これは、介入データがない場合、SとGの間の観測された依存関係が因果関係によるものであるか、または偽 (共通の原因Rから生じる見かけ上の依存関係) であるという事実を反映しています。 (シンプソンのパラドックスを参照)

観測されていない変数を含む任意のベイジアンネットワークから因果関係が特定されるかどうかを判断するには、「do計算」の3つのルール^{[2] [5]}を使用し、その関係の表現からすべてのdo項を削除できるかどうかをテストして、目的の量が頻度データから推定可能であることを確認します。^[6]

ベイジアン ネットワークを使用すると、結合分布の依存関係がまばらである場合、網羅的な確率テーブルよりもかなりの量のメモリを節約できます。たとえば、10 個の 2 値変数の条件付き確率をテーブルとして保存する単純な方法では、値用のストレージ スペースが必要です。どの変数のローカル分布も 3 つ以上の親変数に依存していない場合、ベイジアン ネットワーク表現には最大で個の値が格納されます。 ${\displaystyle 2^{10}=1024}$${\displaystyle 10\cdot 2^{3}=80}$

ベイジアン ネットワークの利点の 1 つは、完全な結合分布よりも、直接的な依存関係とローカル分布 (のまばらな集合) を人間が直感的に理解しやすいことです。

ベイジアン ネットワークは、主に 3 つの推論タスクを実行します。

ベイジアン ネットワークは変数とその関係の完全なモデルであるため、それらに関する確率的なクエリに回答するために使用できます。たとえば、ネットワークを使用して、他の変数 (証拠変数) が観測されたときに、変数のサブセットの状態に関する知識を更新できます。証拠に基づいて変数の事後分布を計算するこのプロセスは、確率的推論と呼ばれます。事後分布は、変数サブセットの値を選択して、たとえば決定エラーの確率などの期待損失関数を最小化するときに、検出アプリケーションに十分な普遍的な統計量を提供します。したがって、ベイジアン ネットワークは、ベイズの定理を複雑な問題に 自動的に適用するメカニズムと考えることができます。

最も一般的な正確な推論方法は、積分または加算によって、観測されない非クエリ変数を 1 つずつ、その合計を積に分配することによって除去する変数除去、計算をキャッシュして一度に多くの変数をクエリし、新しい証拠をすばやく伝播できるようにするクリーク ツリー伝播、および空間と時間のトレードオフを可能にし、十分な空間が使用されている場合に変数除去の効率に匹敵する再帰的条件付けと AND/OR 検索です。これらの方法はすべて、ネットワークのツリー幅に比例して複雑になります。最も一般的な近似推論アルゴリズムは、重要度サンプリング、確率的MCMCシミュレーション、ミニバケット除去、ループ状確信伝播、一般化確信伝播、変分法です。

ベイジアン ネットワークを完全に指定し、結合確率分布を完全に表現するには、各ノードXに対して、 Xの親を条件とするXの確率分布を指定する必要があります。親を条件とするXの分布は、任意の形式を取ることができます。計算を簡素化するため、離散分布またはガウス分布を使用するのが一般的です。分布の制約のみがわかっている場合もあります。その場合は、最大エントロピーの原理を使用して、制約を与えられた場合にエントロピーが最大となる単一の分布を決定できます。(同様に、動的ベイジアン ネットワークの特定のコンテキストでは、隠れ状態の時間的進化の条件付き分布は、暗黙の確率過程のエントロピー率を最大化するように指定されるのが一般的です。)

多くの場合、これらの条件付き分布には、未知であり、最大尤度アプローチなどによってデータから推定する必要があるパラメータが含まれます。尤度（または事後確率）を直接最大化することは、観測されていない変数が与えられている場合、多くの場合複雑です。この問題に対する古典的なアプローチは期待最大化アルゴリズムであり、これは、観測されたデータに基づいて観測されていない変数の期待値を計算することと、以前に計算された期待値が正しいと仮定して完全な尤度（または事後確率）を最大化することを交互に行います。軽度の正則性条件下では、このプロセスはパラメータの最大尤度（または最大事後確率）値に収束します。

パラメータに対するより完全なベイジアンアプローチは、パラメータを追加の観測されない変数として扱い、観測されたデータに基づいてすべてのノードの完全な事後分布を計算し、パラメータを統合することです。このアプローチはコストが高く、大規模な次元のモデルにつながる可能性があるため、従来のパラメータ設定アプローチの方が扱いやすくなります。

最も単純なケースでは、ベイジアン ネットワークは専門家によって指定され、推論を実行するために使用されます。他のアプリケーションでは、ネットワークを定義するタスクは人間にとって複雑すぎます。この場合、ネットワーク構造とローカル分布のパラメーターはデータから学習する必要があります。

ベイジアンネットワーク（BN）のグラフ構造を自動的に学習することは、機械学習の分野で追求されている課題です。基本的な考え方は、RebaneとPearl ^[7]によって開発された回復アルゴリズムに遡り、3ノードDAGで許可される3つの可能なパターンの区別に基づいています。

最初の 2 つは同じ依存関係 (が与えられればと は独立) を表しており、したがって区別できません。ただし、と は限界的に独立しており、他のすべてのペアは従属しているため、コライダーは一意に識別できます。したがって、これら 3 つのトリプレットのスケルトン(矢印を取り除いたグラフ) は同一ですが、矢印の方向性は部分的に識別可能です。と が共通の親を持つ場合も同じ区別が適用されますが、最初にそれらの親を条件とする必要があります。基になるグラフのスケルトンを体系的に決定し、次に、観察された条件付き独立性によって方向性が決定されるすべての矢印の方向を決定するアルゴリズムが開発されています。^{[2] [8] [9] [10]}${\displaystyle X}$${\displaystyle Z}$${\displaystyle Y}$${\displaystyle X}$${\displaystyle Z}$${\displaystyle X}$${\displaystyle Z}$

構造学習の代替法として、最適化ベースの検索を使用する方法があります。これには、スコアリング関数と検索戦略が必要です。一般的なスコアリング関数は、BICや BDeuのような、トレーニング データが与えられた場合の構造の事後確率です。スコアを最大化する構造を返す徹底的な検索に必要な時間は、変数の数に対して超指数関数的です。局所的な検索戦略は、構造のスコアを向上させることを目的とした段階的な変更を行います。マルコフ連鎖モンテカルロのようなグローバルな検索アルゴリズムは、局所的最小値に陥ることを回避できます。Friedman ら^{[11] [12]は、変数間の}相互情報量を使用して、これを最大化する構造を見つけることについて説明しています。彼らは、親候補セットをk 個のノード に制限し、その中で徹底的に検索することでこれを行います。

正確なBN学習のための特に高速な方法は、問題を最適化問題として扱い、整数計画法を使用して解くことです。解く際に、切断面の形で非循環性制約が整数計画法（IP）に追加されます。^[13]このような方法は、最大100個の変数を持つ問題を扱うことができます。

数千の変数を持つ問題を扱うには、異なるアプローチが必要です。1つは、まず1つの順序をサンプリングし、次にその順序に関して最適なBN構造を見つけることです。これは、可能な順序の検索空間で作業することを意味しますが、これはネットワーク構造の空間よりも小さいため便利です。次に、複数の順序をサンプリングして評価します。この方法は、変数の数が膨大な場合に利用できる最良の方法であることが文献で証明されています。^[14]

もう一つの方法は、 MLEが閉じた形を持つ分解可能なモデルのサブクラスに焦点を当てることです。これにより、数百の変数に対して一貫した構造を発見することが可能になります。^[15]

木幅を限定したベイジアンネットワークの学習は、木幅kの指数関数的な推論複雑度が最悪値となるため（指数時間仮説による）、正確で扱いやすい推論を可能にするために必要である。しかし、グラフのグローバルな特性として、学習プロセスの難易度がかなり高くなる。この文脈では、Kツリーを効果的な学習に使用できる。^[16]

データとパラメータが与えられた場合、単純なベイズ分析は事前確率(事前)と尤度から始まり、事後確率を計算します。 ${\displaystyle x\,\!}$${\displaystyle \theta }$${\displaystyle p(\theta )}$ ${\displaystyle p(x\mid \theta )}$ ${\displaystyle p(\theta \mid x)\propto p(x\mid \theta )p(\theta )}$

多くの場合、事前確率は尤度で言及されていない他のパラメータに依存します。したがって、事前確率は尤度に置き換えられ、新たに導入されたパラメータの事前確率が必要となり、事後確率が ${\displaystyle \theta }$${\displaystyle \varphi }$${\displaystyle p(\theta )}$${\displaystyle p(\theta \mid \varphi )}$${\displaystyle p(\varphi )}$${\displaystyle \varphi }$

${\displaystyle p(\theta ,\varphi \mid x)\propto p(x\mid \theta )p(\theta \mid \varphi )p(\varphi ).}$

これは階層的ベイズモデルの最も単純な例です。

このプロセスは繰り返されることがあります。たとえば、パラメータは、独自の事前確率を必要とする追加のパラメータに順番に依存する場合があります。最終的には、言及されていないパラメータに依存しない事前確率でプロセスを終了する必要があります。 ${\displaystyle \varphi }$${\displaystyle \psi \,\!}$

それぞれの測定量が既知の標準偏差の正規分布誤差を持つとすると、 ${\displaystyle x_{1},\dots ,x_{n}\,\!}$ ${\displaystyle \sigma \,\!}$

${\displaystyle x_{i}\sim N(\theta _{i},\sigma ^{2})}$

を推定したいとします。 を推定する方法としては、最大尤度法を用いる方法があります。観測値は独立しているので、尤度は因数分解され、最大尤度推定値は単純に ${\displaystyle \theta _{i}}$${\displaystyle \theta _{i}}$

${\displaystyle \theta _{i}=x_{i}.}$

しかし、もし数量が関連している場合、例えば個体自体が基礎となる分布から抽出されている場合、この関係は独立性を破壊し、より複雑なモデルを示唆する。例えば、 ${\displaystyle \theta _{i}}$

${\displaystyle x_{i}\sim N(\theta _{i},\sigma ^{2}),}$

${\displaystyle \theta _{i}\sim N(\varphi ,\tau ^{2}),}$

不適切な事前分布 の場合、となります。 のとき、これは識別されたモデル（つまり、モデルのパラメータの一意の解が存在する）であり、個々の事後分布は、最大尤度推定値から共通の平均に向かって移動する、つまり縮小する傾向があります。 この縮小は、階層型ベイズ モデルにおける典型的な動作です。 ${\displaystyle \varphi \sim {\text{flat}}}$${\displaystyle \tau \sim {\text{flat}}\in (0,\infty )}$${\displaystyle n\geq 3}$${\displaystyle \theta _{i}}$

階層モデルで事前分布を選択する場合、特に例の変数のような階層の上位レベルのスケール変数では、ある程度の注意が必要です。ジェフリーズ事前分布などの通常の事前分布は、事後分布が正規化できず、期待損失を最小化することによって行われた推定が受け入れられないため、機能しないことがよくあります。 ${\displaystyle \tau \,\!}$

ベイジアンネットワークの同等の定義がいくつか提案されています。以下では、G = ( V、E ) を有向非巡回グラフ(DAG) とし、X = ( X _v )、v ∈ VをVでインデックス付けされたランダム変数の集合とします。

XがGに関してベイジアンネットワークであるとは、その結合確率密度関数（積測度に関して）が、親変数を条件として、個々の密度関数の積として表されるときである：^[17]

${\displaystyle p(x)=\prod _{v\in V}p\left(x_{v}\,{\big |}\,x_{\operatorname {pa} (v)}\right)}$

ここで、pa( v )はvの親の集合（つまり、単一の辺を介して vに直接指している頂点）です。

任意の確率変数の集合について、結合分布の任意の要素の確率は、連鎖律（Xの位相的順序が与えられた場合）を用いた条件付き確率から次のように計算できる： ^[17]

${\displaystyle \operatorname {P} (X_{1}=x_{1},\ldots ,X_{n}=x_{n})=\prod _{v=1}^{n}\operatorname {P} \left(X_{v}=x_{v}\mid X_{v+1}=x_{v+1},\ldots ,X_{n}=x_{n}\right)}$

上記の定義を使用すると、次のように記述できます。

${\displaystyle \operatorname {P} (X_{1}=x_{1},\ldots ,X_{n}=x_{n})=\prod _{v=1}^{n}\operatorname {P} (X_{v}=x_{v}\mid X_{j}=x_{j}{\text{ for each }}X_{j}\,{\text{ that is a parent of }}X_{v}\,)}$

2 つの式の違いは、親変数の値が与えられた場合、変数が子孫以外の変数から 条件付きで独立しているかどうかです。

XはGに関してベイジアンネットワークであるとは、局所マルコフ性を満たす場合である。つまり、各変数は親変数が与えられた場合、その非子孫変数から条件付きで独立している。 ^[18]

${\displaystyle X_{v}\perp \!\!\!\perp X_{V\,\smallsetminus \,\operatorname {de} (v)}\mid X_{\operatorname {pa} (v)}\quad {\text{for all }}v\in V}$

ここで、de( v )は子孫の集合であり、V  \de( v )はvの非子孫の集合である。

これは最初の定義と似た言葉で表現できる。

${\displaystyle {\begin{aligned}&\operatorname {P} (X_{v}=x_{v}\mid X_{i}=x_{i}{\text{ for each }}X_{i}{\text{ that is not a descendant of }}X_{v}\,)\\[6pt]={}&P(X_{v}=x_{v}\mid X_{j}=x_{j}{\text{ for each }}X_{j}{\text{ that is a parent of }}X_{v}\,)\end{aligned}}}$

グラフは非巡回なので、親の集合は非子孫の集合のサブセットになります。

一般に、データからベイジアンネットワークを学習することはNP困難であることが知られています。^[19]これは、変数の数が増えるにつれて、DAGを列挙する際の組み合わせ爆発が部分的に原因です。それでも、ベイジアンネットワークの基礎となる洞察は、その周辺独立構造に注目することで多項式時間でデータから学習できます。 ^[20]ベイジアンネットワークによってモデル化された分布の条件付き独立ステートメントはDAGによってエンコードされます（上記の因数分解とマルコフ特性に従って）が、その周辺独立ステートメント（条件セットが空である条件付き独立ステートメント）は、等しい交差や独立数などの特別な特性を持つ単純な無向グラフによってエンコードされます。

ベイジアンネットワークの開発は、多くの場合、 XがGに関して局所マルコフ特性を満たすようなDAG Gを作成することから始まります。これは因果DAGである場合もあります。G内の親を与えられた各変数の条件付き確率分布が評価されます。多くの場合、特に変数が離散的な場合、 Xの結合分布がこれらの条件付き分布の積である場合、XはGに関してベイジアンネットワークです。^[21]

ノードのマルコフブランケットは、その親、子、および子の別の親で構成されるノードの集合です。マルコフブランケットは、ノードをネットワークの残りの部分から独立させます。ノードのマルコフブランケット内の変数の結合分布は、ノードの分布を計算するのに十分な知識です。マルコフブランケットが与えられた場合、すべてのノードがネットワーク内の他のすべてのノードから条件付きで独立している場合、XはGに関してベイジアンネットワークです。^[18]

この定義は、2つのノードの「d」分離を定義することでより一般的にすることができます。ここで、dは方向性を表します。^[2]まず、トレイルの「d」分離を定義し、次にそれに基づいて2つのノードの「d」分離を定義します。

P をノードuからvへのトレイルとします。トレイルとは、2 つのノード間のループのない無向パス (つまり、すべてのエッジ方向が無視されるパス) です。次の条件のいずれかが満たされる場合、 P はノード セットZによってd分離されていると言われます。

• Pには有向連鎖（ただし、完全に有向連鎖である必要はない）が含まれており、中間ノードmはZ内にある。${\displaystyle u\cdots \leftarrow m\leftarrow \cdots v}$${\displaystyle u\cdots \rightarrow m\rightarrow \cdots v}$
• Pにはフォーク が含まれ、中間ノードmはZ内にある、または${\displaystyle u\cdots \leftarrow m\rightarrow \cdots v}$
• Pには反転フォーク (またはコライダー) が含まれており、中間のノードm はZに存在せず、 mの子孫はZに存在しません。${\displaystyle u\cdots \rightarrow m\leftarrow \cdots v}$

ノードuとv は、それらの間のすべてのトレイルがd分離されている場合、 Zによってd分離されます。uとv がd分離されていない場合、それらは d 接続されています。

任意の2つのノードu、vに対して、 X がGに関してベイジアンネットワークである場合:

${\displaystyle X_{u}\perp \!\!\!\perp X_{v}\mid X_{Z}}$

ここで、Z はuとv をd分離する集合です。(マルコフブランケットは、ノードv を他のすべてのノードからd分離するノードの最小集合です。)

ベイジアン ネットワークは因果関係を表すためによく使用されますが、必ずしもそうである必要はありません。u から v への有向エッジは、X vが_因果的にX uに依存している必要はありません。これは、グラフ上のベイジアン ネットワークによって証明されます。

${\displaystyle a\rightarrow b\rightarrow c\qquad {\text{and}}\qquad a\leftarrow b\leftarrow c}$

同等です。つまり、まったく同じ条件付き独立要件を課します。

因果ネットワークは、関係が因果関係であるという要件を持つベイジアンネットワークです。因果ネットワークの追加のセマンティクスは、ノードXが特定の状態xにアクティブに引き起こされた場合 (do( X  =  x )と記述されるアクション)、確率密度関数が、 Xの親からXへのリンクを切断し、Xを原因値xに設定することによって取得されたネットワークの確率密度関数に変化することを指定します。^[2]これらのセマンティクスを使用すると、介入前に取得されたデータから外部介入の影響を予測できます。

1990年、スタンフォード大学で大規模なバイオインフォマティクスアプリケーションに取り組んでいたクーパーは、ベイジアンネットワークにおける正確な推論がNP困難であることを証明した。^[22]この結果を受けて、確率的推論に対する扱いやすい近似値の開発を目的とした近似アルゴリズムの研究が促進された。1993年、ポール・ダガムとマイケル・ルビーは、ベイジアンネットワークにおける確率的推論の近似値の複雑さに関する2つの驚くべき結果を証明した。^[23]まず、扱いやすい決定論的アルゴリズムでは確率的推論を絶対誤差 ɛ < 1/2以内に近似できないこと を証明した。次に、扱いやすいランダム化アルゴリズムでは信頼確率が1/2を超える場合、確率的推論を絶対誤差ɛ  < 1/2 以内に近似できないことを証明した。

ほぼ同じ時期に、ロスはベイジアンネットワークにおける正確な推論は実際には#P完全（したがって、連言標準形式（CNF）の充足割り当ての数を数えるのと同じくらい困難）であり、制限されたアーキテクチャを持つベイジアンネットワークであっても、すべてのɛ > 0に対して係数2 ^{n 1− ɛ}内の近似推論はNP困難であることを証明しました。^{[24] [25]}

実用的な観点から言えば、これらの複雑性の結果は、ベイジアンネットワークがAIや機械学習のアプリケーションにとって豊富な表現である一方で、大規模な現実世界のアプリケーションでの使用は、ナイーブベイズネットワークなどの位相構造的制約、または条件付き確率の制限によって緩和される必要があることを示唆しています。DagumとLubyによって開発された境界分散アルゴリズム^[26]は、誤差近似を保証したベイジアンネットワークでの確率的推論を効率的に近似する、初めての証明可能な高速近似アルゴリズムでした。この強力なアルゴリズムでは、ベイジアンネットワークの条件付き確率に対する小さな制限が、ネットワーク内のノードの数の任意の多項式である、によって0と1から制限される必要がありました。 ${\displaystyle 1/p(n)}$${\displaystyle p(n)}$${\displaystyle n}$

ベイジアン ネットワークの注目すべきソフトウェアには次のものがあります。

• Just another Gibbs sampler (JAGS) – WinBUGS のオープンソース代替品。Gibbs サンプリングを使用します。
• OpenBUGS – WinBUGS のオープンソース開発。
• SPSS Modeler – ベイジアン ネットワークの実装を含む商用ソフトウェア。
• Stan（ソフトウェア） - Stanは、ハミルトンモンテカルロ法の変種であるNo-U-Turnサンプラー（NUTS） ^[27]を使用してベイズ推論を行うオープンソースパッケージです。
• PyMC – ベイジアンネットワークとさまざまなサンプラー（NUTSを含む）を表現するための組み込みドメイン固有言語を実装したPythonライブラリ
• WinBUGS – MCMC サンプラーの最初の計算実装の 1 つ。現在はメンテナンスされていません。

ベイジアンネットワークという用語は、 1985年にジュディア・パールによって造られ、以下の点を強調するために使われました。^[28]

• 入力情報は主観的であることが多い
• 情報更新の基礎としてベイズの条件付けに依存すること
• 因果推論と証拠推論の区別^[29]

1980年代後半には、パール氏の「知能システムにおける確率的推論」^[30]とナポリタン氏の「エキスパートシステムにおける確率的推論」^[31]がそれらの特性をまとめ、研究分野として確立しました。

• Conrady S、Jouffe L (2015-07-01)。ベイジアンネットワークとBayesiaLab – 研究者のための実践的な入門書。フランクリン、テネシー州：Bayesian USA。ISBN 978-0-9965333-0-0。
• Charniak E (1991 年冬)。 「ティアのないベイジアン ネットワーク」(PDF) 。AI マガジン。
• クルーゼ R、ボルゲルト C、クラウォン F、モーヴェス C、スタインブレッチャー M、ヘルド P (2013)。計算知能の方法論的紹介。ロンドン: Springer-Verlag。ISBN 978-1-4471-5012-1。
• Borgelt C、Steinbrecher M、Kruse R (2009)。グラフィカルモデル - 学習、推論、データマイニングのための表現 (第2版)。チチェスター: Wiley。ISBN 978-0-470-74956-2。

• ベイジアンネットワークとその現代的応用の紹介
• ベイジアンネットと確率に関するオンラインチュートリアル
• ベイジアンネットを作成し、モンテカルロ法で実行するWebアプリ
• 連続時間ベイジアンネットワーク
• ベイジアンネットワーク：説明と類推
• ベイジアンネットワークを学ぶためのライブチュートリアル
• 分類問題におけるサンプルの異質性を処理するための階層型ベイズ モデルは、複製サンプルの測定に関連する不確実性を考慮した分類モデルを提供します。
• サンプルの不確実性を処理するための階層的 Naive Bayes モデル(Wayback Machineに 2007-09-28 にアーカイブ)では、複製された測定を使用して連続変数と離散変数による分類と学習を実行する方法を示します。