グラフィカルモデル

図示された無向グラフにはいくつかの解釈が考えられますが、共通する特徴は、辺の存在が対応する確率変数間の何らかの依存関係を示しているということです。このグラフから、B、C、DはすべてAが与えられた条件下で条件付き独立であると推測できます。つまり、Aの値が分かっている場合、B、C、Dの値は互いについてそれ以上の情報を提供しないということです。同様に（この場合）、同時確率分布は次のように因数分解できます。

${\displaystyle P[A,B,C,D]=f_{AB}[A,B]\cdot f_{AC}[A,C]\cdot f_{AD}[A,D]}$

いくつかの非負関数について${\displaystyle f_{AB},f_{AC},f_{AD}}$。

モデルのネットワーク構造が有向非巡回グラフである場合、モデルはすべての確率変数の同時確率の因数分解を表します。より正確には、イベントが${\displaystyle X_{1},\ldots ,X_{n}}$すると、同時確率は以下を満たす。

${\displaystyle P[X_{1},\ldots ,X_{n}]=\prod _{i=1}^{n}P[X_{i}|{\text{pa}}(X_{i})]}$

どこ${\displaystyle {\text{pa}}(X_{i})}$ノードの親の集合${\displaystyle X_{i}}$（エッジが向いているノード）${\displaystyle X_{i}}$) つまり、同時分布は条件付き分布の積に因数分解されます。たとえば、図に示す有向非巡回グラフでは、この因数分解は次のようになります。

${\displaystyle P[A,B,C,D]=P[A]\cdot P[B|A]\cdot P[C|A]\cdot P[D|A,C]}$。

任意の2つのノードは、親ノードの値が与えられた場合、条件付きで独立である。一般に、グラフにおいてd分離と呼ばれる基準が成り立つ場合、任意の2つのノード集合は、3つ目の集合が与えられた場合、条件付きで独立である。ベイジアンネットワークでは、局所的独立性と大域的独立性は同等である。

この種のグラフィカルモデルは、有向グラフィカルモデル、ベイジアンネットワーク、または信念ネットワークとして知られています。隠れマルコフモデルやニューラルネットワークといった古典的な機械学習モデル、および可変次数マルコフモデルなどの新しいモデルは、ベイジアンネットワークの特殊なケースとみなすことができます。

最も単純なベイジアンネットワークの1つは、ナイーブベイズ分類器です。

次の図は、サイクルを持つグラフィカルモデルを示しています。これは、各変数が何らかの形で親変数の値に「依存」しているという観点から解釈できます。示されている特定のグラフは、次のように因数分解される同時確率密度を示唆しています。

${\displaystyle P[A,B,C,D]=P[A]\cdot P[B]\cdot P[C,D|A,B]}$、

しかし、他の解釈も可能である。 ^{[ 2 ]}

• 循環が許容される依存関係ネットワーク
• ツリー拡張型分類器（TANモデル）

• ターゲット型ベイジアンネットワーク学習（TBNL）

  

• ファクターグラフは、変数とファクターを接続する無向二部グラフです。各ファクターは、接続されている変数に対する関数を表します。これは、信念伝播を理解し、実装する上で役立つ表現方法です。
• クリークツリーまたはジャンクションツリーは、ジャンクションツリーアルゴリズムで使用されるクリークのツリーです。
• チェーングラフは、有向エッジと無向エッジの両方を持つことができるが、有向サイクルを持たないグラフである（つまり、任意の頂点から始めて矢印の方向を尊重してグラフに沿って移動した場合、矢印を通過した場合は開始した頂点に戻ることはできない）。有向非巡回グラフと無向グラフはどちらもチェーングラフの特殊なケースであり、したがってベイジアンネットワークとマルコフネットワークを統一および一般化する方法を提供することができる。^{[ 3 ]}
• 祖先グラフは、有向、双方向、無向のエッジを持つ、さらに拡張されたものである。^{[ 4 ]}
• ランダムフィールド技術
  • A Markov random field, also known as a Markov network, is a model over an undirected graph. A graphical model with many repeated subunits can be represented with plate notation.
  • A conditional random field is a discriminative model specified over an undirected graph.
• A restricted Boltzmann machine is a bipartitegenerative model specified over an undirected graph.
• A staged tree is an extension of a Bayesian network for sequences of discrete valued events. They allow for context specific independences and non-product sample spaces.

• バーバー、デイビッド（2012）。ベイズ推論と機械学習。ケンブリッジ大学出版局。ISBN 978-0-521-51814-7。

• ビショップ、クリストファー M. (2006). 「第 8 章 グラフィカル モデル」(PDF) .パターン認識と機械学習. Springer. pp. 359–422 . ISBN  978-0-387-31073-2MR 2247587 .​ 
• コーウェル、ロバート G.フィリップ・デイヴィッド;ラウリッツェン、ステフェン L.シュピーゲルハルター、デヴィッド J. (1999)。確率的ネットワークとエキスパート システム。ベルリン：シュプリンガー。ISBN 978-0-387-98767-5MR 1697175 .​ より高度で統計学的な内容の本
• Jensen, Finn (1996).ベイズネットワーク入門. ベルリン: Springer. ISBN 978-0-387-91502-9。
• ユダヤ、パール（1988）。インテリジェントシステムにおける確率論的推論(改訂第 2 版)。カリフォルニア州サンマテオ：モーガン・カウフマン。ISBN 978-1-55860-479-7MR 0965765 .​ グラフと確率の関係性を正式に導入した、計算論的推論のアプローチ。

• Edoardo M. Airoldi (2007). "確率的グラフィカルモデルの入門" . PLOS Computational Biology . 3 (12): e252. arXiv : 0706.2040 . Bibcode : 2007PLSCB...3..252A . doi : 10.1371/journal.pcbi.0030252 . PMC 2134967 . PMID 18069887 .  
• Jordan, MI (2004). "Graphical Models" .Statistical Science . 19 : 140–155 . doi : 10.1214/088342304000000026 .
• Ghahramani, Zoubin (2015 年 5 月) 「確率的機械学習と人工知能」 Nature 521 ( 7553): 452–459 . Bibcode : 2015Natur.521..452G . doi : 10.1038 / nature14541 . PMID 26017444. S2CID 216356 .  

• ヘッカーマンのベイズネットワーク学習チュートリアル
• グラフィカルモデルとベイジアンネットワークの簡単な紹介
• サルグル・スリハリ氏による確率的グラフィカルモデルに関する講義スライド