グラフィカルモデル

グラフィカル モデル、確率グラフィカル モデル( PGM )、または構造化確率モデルは、ランダム変数間の条件付き従属構造をグラフで表現する確率モデルです。これらは、確率理論、統計学(特にベイズ統計学)、および機械学習でよく使用されます。

一般的に、確率的グラフィカルモデルは、多次元空間上の分布をエンコードするための基礎としてグラフベースの表現と、特定の分布に当てはまる独立性のセットのコンパクトまたは因数分解表現であるグラフを使用します。分布のグラフィカル表現の2つの分野、つまりベイジアンネットワークとマルコフランダムフィールドが一般的に使用されています。どちらのファミリーも因数分解と独立性の特性を包含していますが、エンコードできる独立性のセットと、それらが誘導する分布の因数分解が異なります。^[1]

示されている無向グラフには、いくつかの解釈があります。共通の特徴は、エッジの存在は、対応するランダム変数間の何らかの依存関係を意味することです。このグラフから、がわかっている場合、すべてが相互に独立していること、または（この場合と同等に） ${\displaystyle B,C,D}$${\displaystyle A}$

${\displaystyle P[A,B,C,D]=f_{AB}[A,B]\cdot f_{AC}[A,C]\cdot f_{AD}[A,D]}$

いくつかの非負関数の場合 。 ${\displaystyle f_{AB},f_{AC},f_{AD}}$

モデルのネットワーク構造が有向非巡回グラフである場合、モデルはすべてのランダム変数の結合確率の因数分解を表します。より正確には、イベントがの場合、結合確率は ${\displaystyle X_{1},\ldots ,X_{n}}$

${\displaystyle P[X_{1},\ldots ,X_{n}]=\prod _{i=1}^{n}P[X_{i}|{\text{pa}}(X_{i})]}$

ここで はノードの親の集合（ に向いているエッジを持つノード）です。言い換えると、結合分布は条件付き分布の積に因数分解されます。たとえば、図に示す有向非巡回グラフでは、この因数分解は次のようになります。 ${\displaystyle {\text{pa}}(X_{i})}$${\displaystyle X_{i}}$${\displaystyle X_{i}}$

${\displaystyle P[A,B,C,D]=P[A]\cdot P[B|A]\cdot P[C|A]\cdot P[D|A,C]}$。

任意の2 つのノードは、その親の値によって条件付きで独立しています。一般に、グラフでd分離と呼ばれる基準が成り立つ場合、任意の 2 セットのノードは、3 番目のセットによって条件付きで独立しています。ベイジアン ネットワークでは、ローカル独立性とグローバル独立性は同等です。

このタイプのグラフィカル モデルは、有向グラフィカル モデル、ベイジアン ネットワーク、またはビリーフ ネットワークとして知られています。隠れマルコフ モデル、ニューラル ネットワークなどの古典的な機械学習モデルや、可変次数マルコフモデルなどの新しいモデルは、ベイジアン ネットワークの特殊なケースと考えることができます。

最も単純なベイジアン ネットワークの 1 つは、単純ベイズ分類器です。

次の図は、サイクルを持つグラフィカルモデルを示しています。これは、各変数が何らかの方法でその親の値に「依存」しているという観点から解釈できます。示されている特定のグラフは、次のような因子を持つ結合確率密度を示唆しています。

${\displaystyle P[A,B,C,D]=P[A]\cdot P[B]\cdot P[C,D|A,B]}$、

しかし他の解釈も可能である。 ^[2]

• 循環が許される依存関係ネットワーク
• ツリー拡張分類器またはTANモデル

• ターゲットベイジアンネットワーク学習 (TBNL)

  

• 因子グラフは、変数と因子を接続する無向二部グラフです。各因子は、接続されている変数に対する関数を表します。これは、信念伝播を理解して実装するために役立つ表現です。
• クリーク ツリーまたはジャンクション ツリーは、ジャンクション ツリー アルゴリズムで使用されるクリークのツリーです。
• チェーングラフは、有向辺と無向辺の両方を持つグラフですが、有向サイクルはありません（つまり、任意の頂点から始めて、任意の矢印の方向に従ってグラフに沿って移動した場合、矢印を通過した場合は開始した頂点に戻ることはできません）。有向非巡回グラフと無向グラフはどちらもチェーングラフの特殊なケースであり、ベイジアンネットワークとマルコフネットワークを統合および一般化する方法を提供できます。^[3]
• 祖先グラフは、有向、双方向、無向の辺を持つさらなる拡張である。^[4]
• ランダムフィールド技術
  • マルコフランダムフィールドは、マルコフネットワークとも呼ばれ、無向グラフ上のモデルです。多数の繰り返しサブユニットを持つグラフィカルモデルは、プレート表記法で表すことができます。
  • 条件付きランダム フィールドは、無向グラフ上で指定された識別モデルです。
• 制限付きボルツマン マシンは、無向グラフ上で指定された二部 生成モデルです。

モデルのフレームワークは、複雑な分布の構造を発見・分析し、簡潔に記述して非構造化情報を抽出するためのアルゴリズムを提供し、モデルの効果的な構築と利用を可能にします。^[1]グラフィカルモデルの応用には、因果推論、情報抽出、音声認識、コンピュータービジョン、低密度パリティチェック符号のデコード、遺伝子制御ネットワークのモデリング、遺伝子の発見と疾患の診断、タンパク質構造のグラフィカルモデルなどがあります。

• 信念の伝播
• 構造方程式モデル

• バーバー、デイビッド（2012）。ベイズ推論と機械学習。ケンブリッジ大学出版局。ISBN 978-0-521-51814-7。

• ビショップ、クリストファー M. (2006)。「第 8 章 グラフィカル モデル」(PDF)。パターン認識と機械学習。Springer。pp. 359–422。ISBN 978-0-387-31073-2. MR  2247587。
• コーウェル、ロバート G.フィリップ・デイヴィッド;ラウリッツェン、ステフェン L.シュピーゲルハルター、デヴィッド J. (1999)。確率的ネットワークとエキスパート システム。ベルリン：シュプリンガー。ISBN 978-0-387-98767-5. MR  1697175。より高度で統計的な本
• ジェンセン、フィン（1996）。ベイジアンネットワーク入門。ベルリン：シュプリンガー。ISBN 978-0-387-91502-9。
• ユダヤ、パール（1988）。インテリジェントシステムにおける確率論的推論(改訂第 2 版)。カリフォルニア州サンマテオ：モーガン・カウフマン。ISBN 978-1-55860-479-7. MR  0965765。グラフと確率の関係が正式に導入された計算推論アプローチ。

• Edoardo M. Airoldi (2007). 「確率的グラフィカルモデル入門」. PLOS Computational Biology . 3 (12): e252. arXiv : 0706.2040 . Bibcode :2007PLSCB...3..252A. doi : 10.1371/journal.pcbi.0030252 . PMC  2134967. PMID  18069887 .
• Jordan, MI (2004). 「グラフィカルモデル」.統計科学. 19 : 140–155. doi : 10.1214/088342304000000026 .
• Ghahramani, Zoubin (2015 年 5 月). 「確率的機械学習と人工知能」. Nature . 521 (7553): 452–459. Bibcode :2015Natur.521..452G. doi : 10.1038/nature14541 . PMID  26017444. S2CID  216356.

• ヘッカーマンのベイズネット学習チュートリアル
• グラフィカルモデルとベイジアンネットワークの簡単な紹介
• 確率的グラフィカルモデルに関する Sargur Srihari の講義スライド

• グラフィカルモデルと条件付きランダムフィールド
• CMU の Eric Xing が教える確率的グラフィカル モデル