線形信念関数

線形信念関数は、デンプスター・シェーファーの信念関数理論を、関心のある変数が連続している場合に拡張したものです。このような変数の例には、金融資産の価格、ポートフォリオのパフォーマンス、その他の先行変数と後続変数が含まれます。この理論はもともとアーサー・P・デンプスター^{[1]によってカルマンフィルタの文脈で提案され、その後、リピン・リウ[2]}によって詳細化、改良され、人工知能における知識表現や金融会計における意思決定に適用されました。

線形信念関数は、真の値の場所に関する信念を次のように表すことを目的としています。真実がいわゆる確実性超平面上にあることは確かですが、その正確な場所はわかりません。確実性超平面のいくつかの次元では、真の値は -∞ から +∞ のどこにでもある可能性があり、特定の場所にある確率は正規分布で記述されると信じています。他の次元では、私たちの知識は空です。つまり、真の値は -∞ から +∞ のどこかにありますが、関連する確率は不明です。信念関数は一般に、空でない交差を持つ可能性のある焦点要素のクラス上の質量関数によって定義されます。線形信念関数は、焦点要素が確実性超平面上の排他的で平行なサブ超平面であり、質量関数がサブ超平面全体の 正規分布であるという意味で、特別なタイプの信念関数です。

上記の幾何学的記述に基づいて、Shafer ^[3]と Liu ^[4]は LBF の 2 つの数学的表現を提案しています。変数空間における広義の内積と線形関数、およびサンプル空間における超平面上のそれらの双対です。Monney ^[5]は、ガウスヒントと呼ばれるさらに別の構造を提案しています。これらの表現は数学的にはきれいですが、エキスパート システムにおける知識表現には適さない傾向があります。

線形の確信関数は、観測可能または制御可能な決定論的変数、分布が正規分布するランダム変数、および知識が関係しない空虚変数の 3 種類の変数について、論理的知識と確率的知識の両方を表すことができます。論理的知識は線形方程式、または幾何学的には確実性超平面で表されます。確率的知識は、すべての平行焦点要素にわたる正規分布で表されます。

一般に、X は平均 μ と共分散 Σ を持つ複数の正規変数のベクトルであると仮定します。すると、多変量正規分布はモーメント行列として同等に表現できます。

${\displaystyle M(X)=\left({\begin{array}{*{20}c}\mu \\\Sigma \end{array}}\right).}$

分布が非退化である場合、つまり Σ がフルランクを持ち、その逆が存在する場合、モーメント行列は完全にスイープできます。

${\displaystyle M({\vec {X}})=\left({\begin{array}{*{20}c}\mu \Sigma ^{-1}\\-\Sigma ^{-1}\end{array}}\right)}$

正規化定数を除いて、上記の式はXの正規密度関数を完全に決定します。したがって、は ポテンシャル形式で Xの確率分布を表します。${\displaystyle M({\vec {X}})}$

これら 2 つの単純な行列により、線形信念関数の 3 つの特殊なケースを表すことができます。まず、通常の正規確率分布は M(X) で表されます。次に、X を直接観察して値 μ を取得したとします。この場合、不確実性がないため、分散と共分散は両方ともゼロになります (つまり、Σ = 0)。したがって、直接観察は次のように表すことができます。

${\displaystyle M(X)=\left({\begin{array}{*{20}c}\mu \\0\end{array}}\right)}$

3 番目に、X についてまったく知らないと仮定します。これは、密度関数が存在しないため、ベイズ統計では非常に厄介なケースです。完全にスイープされたモーメント行列を使用して、空虚な線形信念関数をスイープ形式のゼロ行列として表します。

${\displaystyle M({\vec {X}})=\left[{\begin{array}{*{20}c}0\\0\end{array}}\right]}$

この表現を理解する 1 つの方法は、X の分散が ∞ に近づく極限ケースとして完全な無知を想像することです。この場合、Σ ⁻¹ = 0 であることを示すことができ、したがって消えます。ただし、上記の式は、無限分散を持つ不適切な事前分布または正規分布と同じではありません。実際、これは任意の一意の確率分布に対応していません。このため、より良い方法は、空虚な線形信念関数を組み合わせの中立要素として理解することです (後述)。 ${\displaystyle M({\vec {X}})}$

残りの 3 つの特殊なケースを表現するには、部分スイープの概念が必要です。完全スイープとは異なり、部分スイープは変数のサブセットに対する変換です。X と Y が、ジョイント モーメント マトリックスを持つ通常の変数の 2 つのベクトルであるとします。

${\displaystyle M(X,Y)=\left[{\begin{array}{*{20}c}{\begin{array}{*{20}c}\mu _{1}\\\S​​igma _{11}\\\S​​igma _{21}\end{array}}&{\begin{array}{*{20}c}\mu _{2}\\\S​​igma _{12}\\\S​​igma _{22}\end{array}}\end{array}}\right]}$

次に、M(X, Y) を部分的にスイープすることができます。たとえば、X の部分スイープは次のように定義できます。

${\displaystyle M({\vec {X}},Y)=\left[{\begin{array}{*{20}c}{\begin{array}{*{20}c}\mu _{1}(\Sigma _{11})^{-1}\\-(\Sigma _{11})^{-1}\\\S​​igma _{21}(\Sigma _{11})^{-1}\end{array}}&{\begin{array}{*{20}c}\mu _{2}-\mu _{1}(\Sigma _{11})^{-1}\Sigma _{12}\\(\Sigma _{11})^{-1}\Sigma _{12}\\\S​​igma _{22}-\Sigma _{21}(\Sigma _{11})^{-1}\Sigma _{12}\end{array}}\end{array}}\right]}$

Xが 1 次元の場合、部分スイープではXの分散をその負の逆数で置き換え、その逆数を他の要素と乗算します。X が多次元の場合、この操作にはXの共分散行列の逆数とその他の乗算が含まれます。変数のサブセットの部分スイープから取得されたスイープ行列は、サブセット内の各変数の部分スイープのシーケンスによって同等に取得でき、シーケンスの順序は重要ではありません。同様に、完全スイープ行列はすべての変数の部分スイープの結果です。

2 つのことがわかります。まず、  Xの部分スイープ後、 Xの平均ベクトルと共分散行列はそれぞれとであり、これらはXの周辺モーメント行列の完全スイープのものと同じです 。したがって、上記の部分スイープ方程式の X に対応する要素は、潜在的な形式で X の周辺分布を表します。2 番目に、統計によると、 はX  = 0の場合のYの条件付き平均であり、 はX = 0の場合のY の条件付き共分散行列であり 、 は Xに対する Yの回帰モデルの傾きです。したがって、 の Y インデックスとXとYの交点に対応する要素は、 X = 0の場合の Yの条件付き分布を表します 。 ${\displaystyle \mu _{1}(\Sigma _{11})^{-1}}$${\displaystyle -(\Sigma _{11})^{-1}}$${\displaystyle \mu _{2}-\mu _{1}(\Sigma _{11})^{-1}\Sigma _{12}}$${\displaystyle \Sigma _{22}-\Sigma _{21}(\Sigma _{11})^{-1}\Sigma _{12}}$${\displaystyle (\Sigma _{11})^{-1}\Sigma _{12}}$${\displaystyle M({\vec {X}},Y)}$

これらのセマンティクスにより、部分スイープ操作は多変量正規分布を操作するための便利な方法になります。また、これらは、適切な信念関数、線形方程式、線形回帰モデルなど、線形信念関数の残りの 3 つの重要なケースのモーメント行列表現の基礎を形成します。

変数XとYについては、変数Yの正規分布を正当化する証拠が存在するが、変数Xについては意見がないと 仮定します。また、XとY は完全に線形関係ではない、つまり相関が 1 未満であると仮定します。このケースでは、 Y の通常の正規分布とXの空虚な信念関数が混在しています 。したがって、次のように部分的にスイープされた行列を使用してこれを表します。

${\displaystyle M({\vec {X}},Y)=\left[{\begin{array}{*{20}c}{\begin{array}{*{20}c}0\\0\\0\end{array}}&{\begin{array}{*{20}c}\mu _{2}\\0\\\Sigma _{22}\\\end{array}}\end{array}}\right]}$

これが表現を理解する方法です。 Xについては不明なので 、スイープ形式を使用して、および を設定します。 XとYの相関は 1 未満なので、 Xの分散が ∞ に近づくと、Yに対するXの回帰係数は0 に近づきます。したがって、 です 。同様に、および で あることが証明できます。 ${\displaystyle \mu _{1}(\Sigma _{11})^{-1}=0}$${\displaystyle -(\Sigma _{11})^{-1}=0}$${\displaystyle (\Sigma _{11})^{-1}\Sigma _{12}=0}$${\displaystyle \mu _{1}(\Sigma _{11})^{-1}\Sigma _{12}=0}$${\displaystyle \Sigma _{21}(\Sigma _{11})^{-1}\Sigma _{12}=0}$

X と Y が 2 つの行ベクトルで、Y = XA + b であるとします。ここで、A と b は係数行列です。この方程式は、次のように部分スイープ行列を使用して表されます。

${\displaystyle M({\vec {X}},Y)=\left[{\begin{array}{*{20}c}{\begin{array}{*{20}c}0\\0\\A^{T}\end{array}}&{\begin{array}{*{20}c}b\\A\\0\end{array}}\end{array}}\right]}$

この表現は、線形方程式には 2 つの知識 ((1) すべての変数に関する完全な無知、(2) 独立変数が与えられた場合の従属変数の退化した条件付き分布) が含まれているという事実に基づいて理解できます。X は方程式内の独立ベクトルであるため、これについては完全に無知です。したがって、およびです。X = 0の場合、 Y はb に完全に決定されます。したがって、Y の条件付き平均は b で、条件付き分散は 0 です。また、回帰係数行列は A です。 ${\displaystyle \mu _{1}(\Sigma _{11})^{-1}=0}$${\displaystyle -(\Sigma _{11})^{-1}=0}$

線形方程式で表現される知識は、適切な線形信念関数の知識に非常に近いことに注意してください。ただし、前者は X と Y の間に完全な相関関係があると想定しますが、後者はそうではありません。この観察は興味深いもので、部分的な無知と線形方程式の違いを 1 つのパラメーター、つまり相関関係で特徴付けています。

線形回帰モデルは、これまでのものよりも一般的で興味深いケースです。X と Y が 2 つのベクトルで、Y = XA + b + E であるとします。ここで、A と b は適切な係数行列で、E は E ~ N(0, Σ) を満たす独立したホワイト ノイズです。モデルを次の部分スイープ行列として表します。

${\displaystyle M({\vec {X}},Y)=\left[{\begin{array}{*{20}c}{\begin{array}{*{20}c}0\\0\\A^{T}\end{array}}&{\begin{array}{*{20}c}b\\A\\\Sigma \end{array}}\end{array}}\right]}$

この線形回帰モデルは、2 つの知識の組み合わせ (後述) と見なすことができます。1 つは 3 つの変数 X、Y、E を含む線形方程式で指定され、もう 1 つは E の単純な正規分布、つまり E ~ N(0, Σ) です。あるいは、X = 0 の場合、Y が b に完全に決定されるわけではないことを除いて、線形方程式に似ていると考えることもできます。代わりに、Y の条件付き平均は b で、条件付き分散は Σ です。この代替解釈では、線形回帰モデルが知識表現の基本的な構成要素を形成し、1 つのモーメント マトリックスとしてエンコードされることに注意してください。さらに、ノイズ項 E は表現に表示されません。したがって、表現がより効率的になります。

6 つの特殊なケースを表現することから、モーメント マトリックス表現の明らかな利点がわかります。つまり、線形方程式、結合分布と条件付き分布、無知など、一見多様なタイプの知識を統一的に表現できます。この統一は、人工知能における知識表現だけでなく、統計分析やエンジニアリング計算にも重要です。たとえば、この表現では、統計における一般的な論理的および確率的コンポーネント (観測、分布、不適切な事前分布 (ベイズ統計の場合)、線形方程式モデル) を、個別の概念としてではなく、単一の概念の表現として扱います。これにより、これらの概念または表現間の内部接続を確認し、計算目的でそれらを相互作用させることができます。

線形確信関数を使用するエキスパート システムで推論を行うための基本的な操作には、結合とマージナリゼーションの 2 つがあります。結合は知識の統合に相当し、マージナリゼーションは知識の粗大化に相当します。推論を行うには、関連する知識を組み合わせて完全な知識体系にし、その完全な知識体系を推論の質問に答える部分的な領域に投影する必要があります。

周辺化は、線形の信念関数を、より少ない変数を持つ関数に投影します。モーメント行列として表現されるのは、単にスイープされていないモーメント行列を残りの変数に対応するサブ行列に制限するだけです。たとえば、結合分布 M(X, Y) の場合、Y に対する周辺は次のようになります。

${\displaystyle M^{\downarrow Y}(X,Y)=\left[{\begin{array}{*{20}c}\mu _{2}\\\Sigma _{22}\end{array}}\right]}$

変数を削除する場合、その変数が対応するモーメント マトリックスでスイープされていないこと、つまり変数の上に矢印記号が付いていないことが重要です。たとえば、マトリックスをY に投影すると、次のようになります。 ${\displaystyle M({\vec {X}},Y)}$

${\displaystyle M^{\downarrow Y}({\vec {X}},Y)=\left[{\begin{array}{*{20}c}\mu _{2}-\mu _{1}(\Sigma _{11})^{-1}\Sigma _{12}\\\Sigma _{22}-\Sigma _{21}(\Sigma _{11})^{-1}\Sigma _{12}\end{array}}\right]}$

これは Y の同じ線形信念関数ではありません。ただし、部分的にスイープされた行列から Y の一部またはすべての変数を削除しても、正しい結果 (残りの変数に対して同じ関数を表す行列) が生成されることは容易にわかります。

すでにスイープされた変数を削除するには、部分的または完全な逆スイープを使用してスイープを逆にする必要があります。 が 完全にスイープされたモーメント行列であると仮定します。 ${\displaystyle M({\vec {X}})}$

${\displaystyle M({\vec {X}})=\left({\begin{array}{*{20}c}{\bar {\mu }}\\{\bar {\Sigma }}\\\end{array}}\right)}$

次に、 を完全に逆順にスイープすると、モーメント行列 M(X) が次のように回復されます。 ${\displaystyle M({\vec {X}})}$

${\displaystyle M(X)=\left({\begin{array}{*{20}c}{-{\bar {\mu }}{\bar {\Sigma }}^{-1}}\\{-{\bar {\Sigma }}^{-1}}\\\end{array}}\right)}$

モーメント行列が部分的にスイープされた形式である場合、例えば

${\displaystyle M({\vec {X}},Y)=\left[{\begin{array}{*{20}c}{\begin{array}{*{20}c}{{\bar {\mu }}_{1}}\\{{\bar {\Sigma }}_{11}}\\{{\bar {\Sigma }}_{21}}\\\end{array}}&{\begin{array}{*{20}c}{{\bar {\mu }}_{2}}\\{{\bar {\Sigma }}_{12}}\\{{\bar {\Sigma }}_{22}}\\\end{array}}\\\end{array}}\right]}$

X 上の部分逆スイープは次のように定義されます。

${\displaystyle M(X,Y)=\left[{\begin{array}{*{20}c}{\begin{array}{*{20}c}{-{\bar {\mu }}_{1}({\bar {\Sigma }}_{11})^{-1}}\\{-({\bar {\Sigma }}_{11})^{-1}}\\{-{\bar {\Sigma }}_{21}({\bar {\Sigma }}_{11})^{-1}}\\\end{array}}&{\begin{array}{*{20}c}{{\bar {\mu }}_{2}-{\bar {\mu }}_{1}({\bar {\Sigma }}_{11})^{-1}{\bar {\Sigma }}_{12}}\\{-({\bar {\Sigma }}_{11})^{-1}{\bar {\Sigma }}_{12}}\\{{\bar {\Sigma }}_{22}-{\bar {\Sigma }}_{21}({\bar {\Sigma }}_{11})^{-1}{\bar {\Sigma }}_{12}}\\\end{array}}\\\end{array}}\right]}$

逆スイープは、一部の乗算の符号が異なることを除いて、順スイープと似ています。ただし、順スイープと逆スイープは反対の操作です。完全な逆スイープを適用すると、 初期モーメント行列 M(X) が回復されることは簡単に示せます。また、行列 X に部分的な逆スイープを適用すると、モーメント 行列 M(X,Y) が回復されることも証明できます。実際、Liu ^{[6] は}、同じ変数セットに対する順スイープの後に逆スイープを実行すると、モーメント行列が回復されることを証明しています。逆スイープの後に順スイープを実行しても回復できます。直感的には、部分的な順スイープはジョイントを限界と条件に分解しますが、部分的な逆スイープはそれらをジョイントに乗算します。 ${\displaystyle M({\vec {X}})}$${\displaystyle M({\vec {X}},Y)}$

デンプスターの法則によれば、信念関数の組み合わせは、焦点要素の交差と確率密度関数の乗算として表現できます。Liping Liu は、この法則を特に線形信念関数に適用し、密度関数の観点から組み合わせの式を得ました。その後、彼はArthur P. Dempsterの主張を証明し、この式を 2 つの完全スイープ行列の合計として再表現しました。数学的には、 と が 同じ変数ベクトル X の 2 つの LBF であると仮定します。すると、それらの組み合わせは完全スイープ行列になります。 ${\displaystyle M_{1}({\vec {X}})=\left({\begin{array}{*{20}c}{{\bar {\mu }}_{1}}\\{{\bar {\Sigma }}_{1}}\\\end{array}}\right)}$${\displaystyle M_{2}({\vec {X}})=\left({\begin{array}{*{20}c}{{\bar {\mu }}_{2}}\\{{\bar {\Sigma }}_{2}}\\\end{array}}\right)}$

${\displaystyle M({\vec {X}})=\left({\begin{array}{*{20}c}{{\bar {\mu }}_{1}+{\bar {\mu }}_{2}}\\{{\bar {\Sigma }}_{1}+{\bar {\Sigma }}_{2}}\\\end{array}}\right)}$

上記の式は、2 つの正規分布を乗算するためによく使用されます。ここでは、この式を使用して、正規分布を特殊なケースとして含む 2 つの線形信念関数の組み合わせを定義します。また、空虚な線形信念関数 (0 スイープ行列) は、組み合わせの中立要素であることに注意してください。この式を適用する場合、2 つの特殊なケースを考慮する必要があります。まず、組み合わせる 2 つの行列の次元が異なる場合、一方または両方の行列を空虚に拡張する必要があります。つまり、各行列に存在しない変数については無視すると仮定します。たとえば、M ₁ (X,Y) と M ₂ (X,Z) を組み合わせる場合、まずそれらを それぞれ と に拡張して、 が Z について無視し、 が Y について無視するよう にします。空虚な拡張は、Kong ^[7]によって最初に離散信念関数に対して提案されました。次に、変数の分散が 0 の場合、スイープ操作は許可されません。この場合、分散を非常に小さい数、たとえば ε と仮定し、必要なスイープと結合を実行できます。次に、同じ変数の結合された行列に逆スイープを適用し、ε を 0 に近づけます。分散がゼロということは、変数に関する完全な確実性を意味するため、この ε 手順により、最終結果の ε 項が消えます。 ${\displaystyle M_{1}(X,Y,{\vec {Z}})}$${\displaystyle M_{2}(X,{\vec {Y}},Z)}$${\displaystyle M_{1}(X,Y,{\vec {Z}})}$${\displaystyle M_{2}(X,{\vec {Y}},Z)}$

一般に、2 つの線形確信関数を組み合わせるには、それらのモーメント行列を完全にスイープする必要があります。ただし、前の行列の変数が後者の行列ですべてスイープされている場合は、完全にスイープされた行列を部分的にスイープされた行列に直接組み合わせることができます。線形回帰モデル (Y = XA + b + E) を使用して、この特性を説明することができます。前述したように、回帰モデルは 2 つの知識の組み合わせと考えることができます。1 つは 3 つの変数 X、Y、E を含む線形方程式で指定され、もう 1 つは E の単純な正規分布、つまり E ~ N(0, Σ) です。と を それぞれそれらのモーメント行列とします。すると、最初に Y をスイープすることなく、2 つの行列を直接組み合わせることができます 。組み合わせの結果は、次のような部分的にスイープされた行列になります。 ${\displaystyle M_{1}({\vec {X}},{\vec {\rm {E}}},Y)=\left[{\begin{array}{*{20}c}0&0&b\\0&0&A\\0&0&I\\{A^{T}}&I&0\\\end{array}}\right]}$${\displaystyle M_{2}({\vec {\rm {E}}})=\left[{\begin{array}{*{20}c}0\\{-\Sigma ^{-1}}\\\end{array}}\right]}$${\displaystyle M_{1}({\vec {X}},{\vec {\rm {E}}},Y)}$

${\displaystyle M({\vec {X}},{\vec {\rm {E}}},Y)=\left[{\begin{array}{*{20}c}0&0&b\\0&0&A\\0&{-\Sigma ^{-1}}&I\\{A^{T}}&I&0\\\end{array}}\right]}$

E に逆スイープを適用し、行列から E を削除すると、回帰モデルの同じ表現が得られます。

監査の問題を使用して、3 種類の変数を次のように説明することができます。売掛金の期末残高 ( E ) を監査するとします。前に見たように、E は期首残高 ( B ) にその期間の売上 ( S ) を加算し、売上の現金受取額 ( C ) を差し引いた金額に、重要でない売上返品と現金割引を表す残余 ( R ) を加えた金額に等しくなります。したがって、論理関係を線形方程式として表すことができます。

${\displaystyle E=B+S-C+R}$

さらに、監査人がEとB の平均が 10 万ドルで標準偏差が 5、共分散が 15 であると信じている場合、その信念を多変量正規分布として表すことができます。履歴データから、残差 R が平均で 0、標準偏差が 0.5 千ドルであることが示されている場合、履歴データを正規分布R  ~ N(0, 0.5 ² ) で要約できます。現金受取に関する直接観察がある場合、その証拠を C = 50 (千ドル) などの式で表すことができます。監査人が売掛金の期首残高について何も知らない場合、監査人の無知を空虚な LBF で表すことができます。最後に、履歴データから、現金受取 Cが与えられた場合、売上高Sは平均で 8 C + 4 で標準偏差が 4 千ドルであることが示唆される場合、その知識を線形回帰モデルS  ~ N(4 + 8 C , 16)  として表すことができます。