ベクトル出力のためのカーネルメソッド

カーネル メソッドは、入力データと関数の対応する出力の関係を分析するための確立されたツールです。カーネルは、計算効率の高い方法で関数のプロパティをカプセル化し、アルゴリズムがさまざまな複雑さの関数を簡単に交換できるようにします。

典型的な機械学習アルゴリズムでは、これらの関数はスカラー出力を生成します。ベクトル値出力を持つ関数のカーネル法の最近の開発は、少なくとも部分的には、関連する問題を同時に解決することへの関心によるものです。問題間の関係性を捉えるカーネルにより、カーネルは互いの強みを借りることができます。このタイプのアルゴリズムには、マルチタスク学習（マルチ出力学習またはベクトル値学習とも呼ばれます）、転移学習、およびコクリギングが含まれます。マルチラベル分類は、入力をクラスの数に等しい長さの（バイナリ）コーディングベクトルにマッピングすることとして解釈できます。

ガウス過程において、カーネルは共分散関数と呼ばれます。複数出力関数は、複数の過程を考慮することに対応します。2つの観点の関係については、 正規化のベイズ解釈を参照してください。

ベクトル値関数の学習の歴史は、転移学習と密接に関係しています。転移学習とは、ある問題を解決しながら得られた知識を保存し、それを別の関連する問題に適用することです。機械学習の分野における転移学習の基本的な動機は、以前に学習した知識を保持して再利用する生涯にわたる機械学習方法の必要性に焦点を当てた「学習するための学習」に関する NIPS-95 ワークショップで議論されました。転移学習に関する研究は、1995 年以来、学習するための学習、生涯学習、知識移転、帰納的移転、マルチタスク学習、知識統合、文脈依存学習、知識ベース帰納的バイアス、メタ学習、増分/累積学習など、さまざまな名前で大きな注目を集めています。^[1]ベクトル値関数の学習への関心は、複数の異なるタスクを同時に学習しようとするフレームワークであるマルチタスク学習によって特に刺激されました。

機械学習コミュニティにおけるマルチタスク学習の初期研究の多くはアルゴリズム的な性質のものであり、1990 年代にニューラル ネットワーク、決定木、 k近傍法などの方法に適用されました。 ^[2]確率モデルとガウス過程の使用は、ベクトル値の出力データに対する予測がコクリギングとして知られている地統計学の文脈で開拓され、主に開発されました。^{[3] [4] [5]}多変量モデリングに対する地統計学的アプローチは、主に共地域化の線形モデル (LMC) を中心に定式化されています。これは、有効な共分散関数を開発するための生成アプローチであり、多変量回帰や、高価な多変量コンピュータ コードのコンピュータ エミュレーションの統計に使用されています。ベクトル値関数の正則化とカーネル理論の文献は、2000 年代に続きました。^{[6] [7]}ベイズと正則化の観点は独立して開発されましたが、実際には密接に関連しています。^[8]

この文脈では、教師あり学習の問題は、与えられた入力（データ）に対してベクトル値の出力を最もよく予測する関数を学習することです。 ${\displaystyle f}$${\displaystyle \mathbf {y_{i}} }$${\displaystyle \mathbf {x_{i}} }$

${\displaystyle f(\mathbf {x_{i}} )=\mathbf {y_{i}} }$のために${\displaystyle i=1,\ldots,N}$

${\displaystyle \mathbf {x_{i}} \in {\mathcal {X}}}$、入力スペース（例）${\displaystyle {\mathcal {X}}=\mathbb {R} ^{p}}$

${\displaystyle \mathbf {y_{i}} \in \mathbb {R} ^{D}}$

一般に、( )の各成分は、異なる基数( )を持つ異なる入力データ( ) 、さらには異なる入力空間( )を持つ可能性があります。^{[8]地質統計学の文献では、このケースを}異所性と 呼び、出力ベクトルの各成分が同じ入力セットを持つことを示すために同位体を使用します。^[9]${\displaystyle \mathbf {y_{i}} }$${\displaystyle \mathbf {x_{d,i}} }$${\displaystyle p}$${\displaystyle {\mathcal {X}}}$

ここでは、表記を簡単にするために、各出力のデータの数とサンプル空間は同じであると仮定します。

正規化の観点から見ると、問題はベクトル値関数 ( ) の再生核ヒルベルト空間に属することを学習することです。これは、表記にいくつかの特別な注意を払った、 ティホノフ正規化のスカラーの場合に似ています。${\displaystyle f_{*}}$${\displaystyle {\mathcal {H}}}$

${\displaystyle ^{\dagger}}$簡単ではないが、ベクトル値設定におけるティホノフ正則化に対しても代表定理が成り立つことを示すことは可能である。^[8]

行列値カーネルは、空間上のスカラーカーネルによって定義することもできることに注意してください。これら 2 つのカーネルに関連付けられたヒルベルト空間の間には 等長変換が存在します。${\displaystyle \mathbf {K} }$${\displaystyle R}$${\displaystyle {\mathcal {X}}\times \{1,\ldots ,D\}}$

${\displaystyle (\mathbf {K} (x,x'))_{d,d'}=R((x,d),(x',d'))}$

ベクトル値正則化フレームワークの推定量は、有限次元再生核ヒルベルト空間の場合、ガウス過程法を使用してベイズの観点からも導出できます。導出は、スカラー値の場合の正則化のベイズ解釈に似ています。出力で構成されるベクトル値関数は、ガウス過程に従うと想定されます。 ${\displaystyle {\textbf {f}}}$${\displaystyle D}$${\displaystyle \left\{f_{d}\right\}_{d=1}^{D}}$

${\displaystyle {\textbf {f}}\sim {\mathcal {GP}}({\textbf {m}},{\textbf {K}})}$

ここで、は出力の平均関数のベクトルであり、は出力と間の共分散に対応する要素を持つ正定値行列値関数です。 ${\displaystyle {\textbf {m}}:{\mathcal {X}}\to {\textbf {R}}^{D}}$${\displaystyle \left\{m_{d}({\textbf {x}})\right\}_{d=1}^{D}}$${\displaystyle {\textbf {K}}}$${\displaystyle ({\textbf {K}}({\textbf {x}},{\textbf {x}}'))_{d,d'}}$${\displaystyle f_{d}({\textbf {x}})}$${\displaystyle f_{d'}({\textbf {x}}')}$

入力 のセットに対して、ベクトル 上の事前分布は で与えられます。ここで、は出力に関連付けられた平均ベクトルを連結したベクトルであり、はブロック分割された行列です。出力の分布はガウス分布であるとみなされます。 ${\displaystyle {\textbf {X}}}$${\displaystyle {\textbf {f}}({\textbf {X}})}$${\displaystyle {\mathcal {N}}({\textbf {m}}({\textbf {X}}),{\textbf {K}}({\textbf {X}},{\textbf {X}}))}$${\displaystyle {\textbf {m}}({\textbf {X}})}$${\displaystyle {\textbf {K}}({\textbf {X}},{\textbf {X}})}$

${\displaystyle p({\textbf {y}}\mid {\textbf {f}},{\textbf {x}},\Sigma )={\mathcal {N}}({\textbf {f}}({\textbf {x}}),\Sigma )}$

ここで、は各出力のノイズを指定する要素を持つ対角行列です。この形式を尤度に使用すると、新しいベクトルの予測分布は次のようになります。 ${\displaystyle \Sigma \in {\mathcal {\textbf {R}}}^{D\times D}}$${\displaystyle \left\{\sigma _{d}^{2}\right\}_{d=1}^{D}}$${\displaystyle {\textbf {x}}_{*}}$

${\displaystyle p({\textbf {f}}({\textbf {x}}_{*})\mid {\textbf {S}},{\textbf {f}},{\textbf {x}}_{*},\phi )={\mathcal {N}}({\textbf {f}}_{*}({\textbf {x}}_{*}),{\textbf {K}}_{*}({\textbf {x}}_{*},{\textbf {x}}_{*}))}$

ここで、はトレーニング データであり、 はおよびのハイパーパラメータのセットです。 ${\displaystyle {\textbf {S}}}$${\displaystyle \phi }$${\displaystyle {\textbf {K}}({\textbf {x}},{\textbf {x}}')}$${\displaystyle \Sigma }$

およびの方程式は次のようになります。 ${\displaystyle {\textbf {f}}_{*}}$${\displaystyle {\textbf {K}}_{*}}$

${\displaystyle {\textbf {f}}_{*}({\textbf {x}}_{*})={\textbf {K}}_{{\textbf {x}}_{*}}^{T}({\textbf {K}}({\textbf {X}},{\textbf {X}})+{\boldsymbol {\Sigma }})^{-1}{\bar {\textbf {y}}}}$

${\displaystyle {\textbf {K}}_{*}({\textbf {x}}_{*},{\textbf {x}}_{*})={\textbf {K}}({\textbf {x}}_{*},{\textbf {x}}_{*})-{\textbf {K}}_{{\textbf {x}}_{*}}({\textbf {K}}({\textbf {X}},{\textbf {X}})+{\boldsymbol {\Sigma }})^{-1}{\textbf {K}}_{{\textbf {x}}_{*}}^{T}}$

ここで、には、および のエントリがあります。予測子は、正則化フレームワークで導出された予測子と同一であることに注意してください。非ガウス尤度の場合、推定値を近似するには、ラプラス近似や変分法などの異なる方法が必要です。 ${\displaystyle {\boldsymbol {\Sigma }}=\Sigma \otimes {\textbf {I}}_{N},{\textbf {K}}_{{\textbf {x}}_{*}}\in {\mathcal {\textbf {R}}}^{D\times ND}}$${\displaystyle ({\textbf {K}}({\textbf {x}}_{*},{\textbf {x}}_{j}))_{d,d'}}$${\displaystyle j=1,\cdots ,N}$${\displaystyle d,d'=1,\cdots ,D}$${\displaystyle {\textbf {f}}^{*}}$

シンプルだが広く適用可能なマルチ出力カーネルのクラスは、入力空間上のカーネルと出力間の相関関係を表すカーネルの積に分けることができる。^[8]

${\displaystyle (\mathbf {K} (\mathbf {x} ,\mathbf {x'} ))_{d,d'}=k(\mathbf {x} ,\mathbf {x'} )k_{T}(d,d')}$

${\displaystyle k}$: スカラーカーネルオン${\displaystyle {\mathcal {X}}\times {\mathcal {X}}}$

${\displaystyle k_{T}}$: スカラーカーネルオン${\displaystyle \{1,\ldots ,D\}\times \{1,\ldots ,D\}}$

行列形式の場合:    は対称かつ半正定値行列です。単位行列に設定すると、出力は無関係として扱われ、スカラー出力問題を個別に解くことと同じになることに注意してください。 ${\displaystyle \mathbf {K} (\mathbf {x} ,\mathbf {x'} )=k(\mathbf {x} ,\mathbf {x'} )\mathbf {B} }$${\displaystyle \mathbf {B} }$${\displaystyle D\times D}$${\displaystyle \mathbf {B} }$

もう少し一般的な形式では、これらのカーネルをいくつか追加すると、分離可能なカーネルの合計(SoS カーネル) が生成されます。

取得する 1 つの方法は、の複雑さを望ましい方法で制限する正則化子を指定してから、対応するカーネルを導出することです。特定の正則化子の場合、このカーネルは分離可能であることがわかります。 ${\displaystyle k_{T}}$${\displaystyle f}$

混合効果レギュラライザー

${\displaystyle R(\mathbf {f} )=A_{\omega }(C_{\omega }\sum \limits _{l=1}^{D}\|f_{l}\|_{k}^{2}+\omega D\sum \limits _{l=1}^{D}\|f_{l}-{\bar {f}}\|_{k}^{2})}$

どこ：

• ${\displaystyle A_{\omega }={\frac {1}{2(1-\omega )(1-\omega +\omega D)}}}$
• ${\displaystyle C_{\omega }=(2-2\omega +\omega D)}$
• ${\displaystyle {\bar {f}}={\frac {1}{D}}\sum \limits _{q=1}^{D}f_{q}}$
• ${\displaystyle K_{\omega }(x,x')=k(x,x')(\omega \mathbf {1} +(1-\omega )\mathbf {I} _{D}}$

ここで、すべてのエントリが 1 に等しい行列。 ${\displaystyle \mathbf {1} {\text{ is a }}D\times D}$

この正則化は、推定量 ( ) の各コンポーネントの複雑さを制限し、推定量の各コンポーネントをすべてのコンポーネントの平均に近づけることを組み合わせたものです。設定では、すべてのコンポーネントが独立したものとして扱われ、スカラー問題を個別に解決することと同じです。設定では、すべてのコンポーネントが同じ関数によって説明されると想定されています。 ${\displaystyle f_{l}}$${\displaystyle \omega =0}$${\displaystyle \omega =1}$

クラスターベースの正規化

${\displaystyle R(\mathbf {f} )=\varepsilon _{1}\sum _{c=1}^{r}\sum _{l\in I(c)}\|f_{l}-{\bar {f_{c}}}\|_{k}^{2}+\varepsilon _{2}\sum \limits _{c=1}^{r}m_{c}\|{\bar {f_{c}}}\|_{k}^{2}}$

どこ：

• ${\displaystyle I(c)}$クラスタに属するコンポーネントのインデックスセットです ${\displaystyle c}$
• ${\displaystyle m_{c}}$クラスターの濃度は${\displaystyle c}$
• ${\displaystyle {\bar {f_{c}}}={\frac {1}{m_{c}}}\sum \limits _{q\in I(c)}f_{q}}$
• ${\displaystyle \mathbf {M} _{l,q}={\frac {1}{m_{c}}}}$と両方がクラスターに属する場合  （そうでない場合${\displaystyle l}$${\displaystyle q}$${\displaystyle c}$${\displaystyle \mathbf {M} _{l,q}=0}$
• ${\displaystyle K(x,x')=k(x,x')\mathbf {G} ^{\dagger }}$

どこ${\displaystyle \mathbf {G} _{l,q}=\varepsilon _{1}\delta _{lq}+(\varepsilon _{2}-\varepsilon _{1})\mathbf {M} _{l,q}}$

この正規化子は、コンポーネントをクラスターに分割し、各クラスター内のコンポーネントが類似するように強制します。 ${\displaystyle r}$

グラフ正規化

${\displaystyle R(\mathbf {f} )={\frac {1}{2}}\sum \limits _{l,q=1}^{D}\Vert f_{l}-f_{q}\Vert _{k}^{2}\mathbf {M} _{lq}+\sum \limits _{l=1}^{D}\Vert f_{l}\Vert _{k}^{2}\mathbf {M} _{l,l}}$

ここで、成分間の類似性を符号化する重み行列 ${\displaystyle \mathbf {M} {\text{ is a }}D\times D}$

${\displaystyle K(x,x')=k(x,x')\mathbf {L} ^{\dagger }}$

どこ、   ${\displaystyle \mathbf {L} =\mathbf {D} -\mathbf {M} }$${\displaystyle \mathbf {D} _{l,q}=\delta _{l,q}(\sum \limits _{h=1}^{D}\mathbf {M} _{l,h}+\mathbf {M} _{l,q})}$

注:はグラフラプラシアンです。グラフ カーネルも参照してください。 ${\displaystyle \mathbf {L} }$

データから学習するためのいくつかのアプローチが提案されている。^[8]これらには、トレーニングデータから推定するための予備的な推論ステップを実行すること、^[9]クラスター正則化に基づいて学習して一緒に学習するという提案、 ^[15]いくつかの特徴のみが必要であると仮定するスパース性ベースのアプローチなどがある。^{[16] [17]}${\displaystyle \mathbf {B} }$${\displaystyle \mathbf {B} }$${\displaystyle \mathbf {B} }$${\displaystyle \mathbf {f} }$

LMC では、出力は独立したランダム関数の線形結合として表現され、結果として得られる共分散関数 (すべての入力と出力にわたって) は有効な半正定値関数になります。出力が であると仮定すると、それぞれは次のように表現されます。 ${\displaystyle D}$${\displaystyle \left\{f_{d}({\textbf {x}})\right\}_{d=1}^{D}}$${\displaystyle {\textbf {x}}\in {\mathcal {\textbf {R}}}^{p}}$${\displaystyle f_{d}}$

${\displaystyle f_{d}({\textbf {x}})=\sum _{q=1}^{Q}{a_{d,q}u_{q}({\textbf {x}})}}$

ここで、はスカラー係数であり、独立関数は の場合平均が 0、共分散が covで、それ以外の場合は 0 になります。任意の 2 つの関数と間の相互共分散は次のように表すことができます。 ${\displaystyle a_{d,q}}$${\displaystyle u_{q}({\textbf {x}})}$${\displaystyle [u_{q}({\textbf {x}}),u_{q'}({\textbf {x}}')]=k_{q}({\textbf {x}},{\textbf {x}}')}$${\displaystyle q=q'}$${\displaystyle f_{d}({\textbf {x}})}$${\displaystyle f_{d'}({\textbf {x}})}$

${\displaystyle \operatorname {cov} [f_{d}({\textbf {x}}),f_{d'}({\textbf {x}}')]=\sum _{q=1}^{Q}{\sum _{i=1}^{R_{q}}{a_{d,q}^{i}a_{d',q}^{i}k_{q}({\textbf {x}},{\textbf {x}}')}}=\sum _{q=1}^{Q}{b_{d,d'}^{q}k_{q}({\textbf {x}},{\textbf {x}}')}}$

ここで、関数、 、 は平均がゼロで共分散 cov がおよび の場合に成り立ちます。しかしは で与えられます。したがって、カーネルは次のように表すことができます 。${\displaystyle u_{q}^{i}({\textbf {x}})}$${\displaystyle q=1,\cdots ,Q}$${\displaystyle i=1,\cdots ,R_{q}}$${\displaystyle [u_{q}^{i}({\textbf {x}}),u_{q'}^{i'}({\textbf {x}})']=k_{q}({\textbf {x}},{\textbf {x}}')}$${\displaystyle i=i'}$${\displaystyle q=q'}$${\displaystyle \operatorname {cov} [f_{d}({\textbf {x}}),f_{d'}({\textbf {x}}')]}$${\displaystyle ({\textbf {K}}({\textbf {x}},{\textbf {x}}'))_{d,d'}}$${\displaystyle {\textbf {K}}({\textbf {x}},{\textbf {x}}')}$

${\displaystyle {\textbf {K}}({\textbf {x}},{\textbf {x}}')=\sum _{q=1}^{Q}{{\textbf {B}}_{q}k_{q}({\textbf {x}},{\textbf {x}}')}}$

ここで、それぞれは共領域化行列と呼ばれます。したがって、LMC から導出されるカーネルは、2 つの共分散関数の積の合計です。1 つは入力ベクトルとは無関係に出力間の依存関係をモデル化する共分散関数(共領域化行列) で、もう 1 つは入力の依存関係を無関係にモデル化する共分散関数(共分散関数) です。 ${\displaystyle {\textbf {B}}_{q}\in {\mathcal {\textbf {R}}}^{D\times D}}$${\displaystyle {\textbf {x}}}$${\displaystyle {\textbf {B}}_{q}}$${\displaystyle \left\{f_{d}({\textbf {x}})\right\}_{d=1}^{D}}$${\displaystyle k_{q}({\textbf {x}},{\textbf {x}}')}$

ICM は LMC の簡略版で、 です。ICM では、共領域化行列の要素は、適切な係数 に対してと表せるものと想定しています。 のこの形式では、 ${\displaystyle Q=1}$${\displaystyle b_{d,d'}^{q}}$${\displaystyle \mathbf {B} _{q}}$${\displaystyle b_{d,d'}^{q}=v_{d,d'}b_{q}}$${\displaystyle v_{d,d'}}$${\displaystyle b_{d,d'}^{q}}$

${\displaystyle \operatorname {cov} \left[f_{d}(\mathbf {x} ),f_{d'}(\mathbf {x} ')\right]=\sum _{q=1}^{Q}{v_{d,d'}b_{q}k_{q}(\mathbf {x} ,\mathbf {x} ')}=v_{d,d'}\sum _{q=1}^{Q}{b_{q}k_{q}(\mathbf {x} ,\mathbf {x} ')}=v_{d,d'}k(\mathbf {x} ,\mathbf {x} ')}$

どこ

${\displaystyle k(\mathbf {x} ,\mathbf {x} ')=\sum _{q=1}^{Q}{b_{q}k_{q}(\mathbf {x} ,\mathbf {x} ')}.}$

この場合、係数は

${\displaystyle v_{d,d'}=\sum _{i=1}^{R_{1}}{a_{d,1}^{i}a_{d',1}^{i}}=b_{d,d'}^{1}}$

複数の出力のカーネル行列は になります。ICM は、各基本共分散が出力の自己共分散と相互共分散の構築に等しく寄与すると仮定するため、LMC よりもはるかに制限が厳しくなります。ただし、推論に必要な計算は大幅に簡素化されます。 ${\displaystyle \mathbf {K} (\mathbf {x} ,\mathbf {x} ')=k(\mathbf {x} ,\mathbf {x} ')\mathbf {B} }$${\displaystyle k_{q}(\mathbf {x} ,\mathbf {x} ')}$

LMC のもう 1 つの簡略化されたバージョンは、セミパラメトリック潜在因子モデル (SLFM) です。これは、設定( ICM ではなく) に対応します。したがって、各潜在関数には独自の共分散があります。 ${\displaystyle R_{q}=1}$${\displaystyle Q=1}$${\displaystyle u_{q}}$

分離可能なカーネルの構造は単純ですが、一部の問題では制限が厳しすぎる場合があります。

正規化の文献における非分離カーネルの注目すべき例には以下のものがあります。

• 発散フリーまたは回転フリーのベクトル場（または2つの凸結合）を推定するために設計された行列値指数二次（EQ）カーネル^{[8] [18]}
• 変換によって定義されるカーネル^{[8] [19]}

ベイジアンの観点では、ある点で評価される出力関数は、その点における潜在関数の値にのみ依存するため、LMC は分離可能なカーネルを生成します。潜在関数を混合する簡単な方法は、基本プロセスを平滑化カーネルで畳み込むことです。基本プロセスがガウス過程である場合、畳み込み過程もガウス過程です。したがって、畳み込みを利用して共分散関数を構築できます。^[20]分離不可能なカーネルを生成するこの方法は、プロセス畳み込みとして知られています。プロセス畳み込みは、機械学習コミュニティで複数の出力に対して「従属ガウス過程」として導入されました。^[21]${\displaystyle {\textbf {x}}}$${\displaystyle {\textbf {x}}}$

上記のカーネルのいずれかを使用してアルゴリズムを実装する場合は、パラメータの調整と合理的な計算時間の確保に関する実際的な考慮事項を考慮する必要があります。

正則化の観点からアプローチすると、パラメータの調整はスカラー値の場合と同様であり、一般にクロス検証で実行できます。必要な線形システムを解くには、通常、メモリと時間がかかります。カーネルが分離可能な場合は、座標変換によってブロック対角行列に変換できるため、D 個の独立したサブ問題 (およびの固有値分解) を解くことで計算負荷が大幅に軽減されます。特に、最小二乗損失関数 (Tikhonov 正則化) の場合、 の閉じた形式の解が存在します。^{[8] [14]}${\displaystyle \mathbf {K} (\mathbf {X} ,\mathbf {X} )}$${\displaystyle \mathbf {B} }$${\displaystyle {\bar {\mathbf {c} }}}$

${\displaystyle {\bar {\mathbf {c} }}^{d}=\left(k(\mathbf {X} ,\mathbf {X} )+{\frac {\lambda _{N}}{\sigma _{d}}}\mathbf {I} \right)^{-1}{\frac {{\bar {\mathbf {y} }}^{d}}{\sigma _{d}}}}$

ガウス過程のパラメータ推定に関連する研究は数多くあります。周辺尤度の最大化（証拠近似、タイプ II 最大尤度、経験ベイズとも呼ばれる）や最小二乗法などの方法では、パラメータ ベクトルの点推定値が得られます。また、事前分布を割り当て、サンプリング手順で事後分布を計算することで、完全なベイズ推論を採用した研究もあります。非ガウス尤度の場合、事後分布や周辺尤度に閉じた形式の解はありません。ただし、周辺尤度は、複数の出力分類に対するラプラス、変分ベイズ、または期待値伝播 (EP) 近似フレームワークで近似でき、ハイパーパラメータの推定値を見つけるために使用できます。 ${\displaystyle \phi }$${\displaystyle \phi }$

ベイズ的観点における主な計算上の問題は、行列の逆行列を求める正則化理論に現れる問題と同じである。

${\displaystyle {\overline {\mathbf {K} (\mathbf {X} ,\mathbf {X} )}}=\mathbf {K} (\mathbf {X} ,\mathbf {X} )+{\boldsymbol {\Sigma }}.}$

このステップは、周辺尤度と予測分布を計算するために必要です。計算量を削減するために提案されているほとんどの近似法では、得られる計算効率は、多出力共分散行列を計算するために使用される特定の方法（LMC、プロセス畳み込みなど）に依存しません。多出力ガウス過程の計算量を削減するためのさまざまな方法の概要は、^{[8]に示されています。}