多重線形部分空間学習

歴史的に、多重線形主成分分析は「MモードPCA」と呼ばれており、この用語はピーター・クローネンバーグによって造語されました。^{[ 10 ]} 2005年に、ヴァシレスクとテルゾプロスは、各データテンソルモードに関連付けられた2次統計量を計算する多重線形テンソル分解[ ^{1 ] [ 2 ] [ 3 ] [ 12 ] [ 13 ]と、各テンソルモードの高次統計量を計算する多重線形独立成分分析[ 11 ]}に関するその後の研究をより適切に区別する方法として、多重線形PCA ^{[ 11 ]}という用語を導入しました。MPCAはPCAの拡張です。

多重線形独立成分分析^{[ 11 ]}はICAの拡張である。

• LDAの多重線形拡張
  • TTPベース: テンソル表現による判別分析 (DATER) ^{[ 9 ]}
  • TTPベース: 一般テンソル判別分析 (GTDA) ^{[ 14 ]}
  • TVPベース：無相関多重線形判別分析（UMLDA）^{[ 15 ]}

• CCAの多重線形拡張
  • TTPベース: テンソル正準相関分析 (TCCA) ^{[ 16 ]}
  • TVPベース：多重線形正準相関分析（MCCA）^{[ 17 ]}
  • TVPベース：ベイズ多重線形正準相関分析（BMTF）^{[ 18 ]}
• TTP は、 N次テンソルに対してN個の射影行列を使用して、高次元テンソルを同じ次数の低次元テンソルに直接射影するものです。これは、各ステップでテンソルと行列の乗算 (積) を実行するNステップで実行できます。Nステップは交換可能です。^{[ 19 ]}この射影は、高次特異値分解^{[ 19 ]} (HOSVD) を部分空間学習に拡張したものです。[ 13 ^{]したがって、}その起源は 1960 年代のタッカー分解^{[ 20 ]}に遡ります。

• TVP は、高次元テンソルを低次元ベクトルに直接射影したもので、ランク 1 射影とも呼ばれます。TVP はテンソルをベクトルに射影するため、テンソルからスカラーへの複数の射影と見なすことができます。したがって、テンソルからP次元ベクトルへの TVP は、テンソルからスカラーへのP 個の射影で構成されます。テンソルからスカラーへの射影は、基本多重線形射影 (EMP) です。EMP では、テンソルはN個の単位射影ベクトルを介して点に射影されます。これは、各モードに 1 つの射影ベクトルを持つ、単一の線 (結果としてスカラー) へのテンソルの射影です。したがって、P次元ベクトル空間内のテンソルオブジェクトからベクトルへの TVP は、 P個の EMPで構成されます。この射影は、標準分解^{[ 21 ]}の拡張であり、並列因子(PARAFAC) 分解^{[ 22 ]}としても知られています。

解くべきパラメータのセットはN個あり、各モードに1つずつあります。あるセットの解は、他のセットの解に依存することがよくあります（ N=1の場合、つまり線形の場合を除く）。そのため、 ^{[ 23 ]}の準最適反復手順に従います。

1. 各モードにおける投影の初期化
2. 各モードについて、他のすべてのモードにおける投影を固定し、現在のモードにおける投影を求める。
3. モードごとの最適化を数回繰り返すか、収束するまで実行します。

これは、多次元データ解析のための交互最小二乗法に由来する。^{[ 10 ]}