テンソルランク分解

多重線型代数において、テンソルのランク分解 ^[1]またはランクR分解は、 Rが最小であるR個のランク 1 テンソルの和としてテンソルを分解するものである。この分解を計算することは未解決の問題である。^{[説明が必要]}

標準多項式分解 (CPD) はテンソルランク分解の変形であり、テンソルは、ユーザーが指定したKに対するKランク 1 テンソルの合計として近似されます。 CP 分解は、言語学や化学計量学でいくつかの応用が見出されています。 これは1927 年にFrank Lauren Hitchcockによって導入され^[2]、その後、特に心理測定学で何度か再発見されました。^{[3] [4] CP 分解は、CANDECOMP、 [3]} PARAFAC、^[4]または CANDECOMP/PARAFAC (CP) と呼ばれます。 PARAFAC2 ランク分解は CP 分解のバリエーションであることに注意してください。^[5]

行列 SVD のもう 1 つの一般的な一般化は、高次特異値分解と呼ばれ、正規直交モード行列を計算し、計量経済学、信号処理、コンピューター ビジョン、コンピューター グラフィックス、心理測定学に応用されています。

スカラー変数は小文字のイタリック体で表され、上限スカラーは大文字のイタリック体で表されます。 ${\displaystyle a}$${\displaystyle A}$

インデックスは、小文字と大文字の斜体文字の組み合わせで表されます。テンソルの複数のモードを参照するときに遭遇する可能性のある複数のインデックスは、便宜上 で表されます( ) 。 ${\displaystyle 1\leq i\leq I}$${\displaystyle 1\leq i_{m}\leq I_{m}}$${\displaystyle 1\leq m\leq M}$

ベクトルは小文字の太字の Times Roman で表され、行列は大文字の太字で表されます。 ${\displaystyle \mathbf {a} }$${\displaystyle \mathbf {A} }$

高階テンソルはカリグラフィ文字 で表されます。階数テンソルの要素はまたはで表されます。 ${\displaystyle {\mathcal {A}}}$${\displaystyle M}$${\displaystyle {\mathcal {A}}\in \mathbb {C} ^{I_{1}\times I_{2}\times \dots I_{m}\times \dots I_{M}}}$${\displaystyle a_{i_{1},i_{2},\dots ,i_{m},\dots i_{M}}}$${\displaystyle {\mathcal {A}}_{i_{1},i_{2},\dots ,i_{m},\dots i_{M}}}$

データ テンソルは、M = C +1 のM方向配列 に編成された多変量観測のコレクションです。すべてのテンソルは、ランク 1 テンソル の線形結合として適切に大きく表すことができます。${\displaystyle {\mathcal {A}}\in {\mathbb {F} }^{I_{0}\times I_{1}\times \ldots \times I_{C}}}$${\displaystyle R}$${\displaystyle r}$

${\displaystyle {\mathcal {A}}=\sum _{r=1}^{R}\lambda _{r}\mathbf {a} _{0,r}\otimes \mathbf {a} _{1,r}\otimes \mathbf {a} _{2,r}\dots \otimes \mathbf {a} _{c,r}\otimes \cdots \otimes \mathbf {a} _{C,r},}$

ここで、であり、です。上記の式で項数が最小の場合、 はテンソルの階数と呼ばれ、分解は(テンソル) 階数分解、最小 CP 分解、または標準多項式分解 (CPD)と呼ばれることがよくあります。項数が最小でない場合、上記の分解はCANDECOMP/PARAFAC (多項式分解)と呼ばれることがよくあります。${\displaystyle \lambda _{r}\in {\mathbb {R} }}$${\displaystyle \mathbf {a} _{m,r}\in {\mathbb {F} }^{I_{m}}}$${\displaystyle 1\leq m\leq M}$${\displaystyle R}$${\displaystyle R}$

行列の場合とは異なり、テンソルの階数を計算することはNP困難です。^[6]唯一注目すべきよく理解されているケースは のテンソルで、その階数はテンソルが表す線形行列ペンシルのクロネッカー-ワイエルシュトラス正規形から得られます。^[7]テンソルが階数1であることを証明するための単純な多項式時間アルゴリズム、つまり高次特異値分解が存在します。 ${\displaystyle F^{I_{m}}\otimes F^{I_{n}}\otimes F^{2}}$

慣例により、ゼロテンソルの階数はゼロです。テンソルの階数は1 です。 ${\displaystyle \mathbf {a} _{1}\otimes \cdots \otimes \mathbf {a} _{M}}$${\displaystyle \mathbf {a} _{m}\in F^{I_{m}}\setminus \{0\}}$

テンソルの階数は、テンソルが分解される体に依存する。いくつかの実テンソルは、同じテンソルの実分解の階数よりも厳密に小さい階数の複素分解を許容することが知られている。例として、^{[8] の}次の実テンソルを考える 。

${\displaystyle {\mathcal {A}}=\mathbf {x} _{1}\otimes \mathbf {x} _{2}\otimes \mathbf {x} _{3}+\mathbf {x} _{1}\otimes \mathbf {y} _{2}\otimes \mathbf {y} _{3}-\mathbf {y} _{1}\otimes \mathbf {x} _{2}\otimes \mathbf {y} _{3}+\mathbf {y} _{1}\otimes \mathbf {y} _{2}\otimes \mathbf {x} _{3},}$

ここで、このテンソルの実数上の階数は3であることが知られていますが、その複素階数は2のみです。これは、このテンソルが階数1の複素テンソルとその複素共役の和であるためです。つまり、 ${\displaystyle \mathbf {x} _{i},\mathbf {y} _{j}\in \mathbb {R} ^{2}}$

${\displaystyle {\mathcal {A}}={\frac {1}{2}}({\bar {\mathbf {z} }}_{1}\otimes \mathbf {z} _{2}\otimes {\bar {\mathbf {z} }}_{3}+\mathbf {z} _{1}\otimes {\bar {\mathbf {z} }}_{2}\otimes \mathbf {z} _{3}),}$

どこ。 ${\displaystyle \mathbf {z} _{k}=\mathbf {x} _{k}+i\mathbf {y} _{k}}$

対照的に、実行行列の階数は、への体拡張によって決して減少しません。実行行列の階数と複素行列の階数は、実行行列に対して一致します。 ${\displaystyle \mathbb {C} }$

ジェネリックランクは 、最大ランクのテンソルの集合のザリスキ位相における閉包が空間 全体となるような最小ランクとして定義される。複素テンソルの場合、最大ランクのテンソルは稠密な集合 を形成する。すなわち、前述の空間内のすべてのテンソルは、ジェネリックランクよりランクが低いか、からのテンソルの列のユークリッド位相における極限である。実テンソルの場合、最大ランクのテンソルの集合は、ユークリッド位相における正の測度の開集合のみを形成する。ジェネリックランクよりも厳密に高いランクのテンソルのユークリッド開集合が存在する可能性がある。ユークリッド位相の開集合に現れるすべてのランクは、典型ランクと呼ばれる。最小の典型ランクはジェネリックランクと呼ばれ、この定義は複素テンソルと実テンソルの両方に適用される。テンソル空間のジェネリックランクは、1983 年にVolker Strassenによって最初に研究された。^[9]${\displaystyle r(I_{1},\ldots ,I_{M})}$${\displaystyle r}$${\displaystyle r}$${\displaystyle F^{I_{1}}\otimes \cdots \otimes F^{I_{M}}}$${\displaystyle r(I_{1},\ldots ,I_{M})}$ ${\displaystyle S}$${\displaystyle S}$${\displaystyle r(I_{1},\ldots ,I_{M})}$

上記の概念の例として、2 と 3 はどちらも の典型的な階数であり、 の一般的な階数は2 であることがわかっています。実際には、これは、サイズが (テンソルの空間上の連続確率測度から) ランダムにサンプリングされた実数テンソルが、確率 0 の階数 1 テンソル、正の確率の階数 2 テンソル、正の確率の階数 3 テンソルになることを意味します。一方、同じサイズでランダムにサンプリングされた複素テンソルは、確率 0 の階数 1 テンソル、確率 1 の階数 2 テンソル、確率 0 の階数 3 テンソルになります。 の一般的な階数 3 の実数テンソルの複素階数は 2 になることもわかっています。 ${\displaystyle \mathbb {R} ^{2}\otimes \mathbb {R} ^{2}\otimes \mathbb {R} ^{2}}$${\displaystyle \mathbb {C} ^{2}\otimes \mathbb {C} ^{2}\otimes \mathbb {C} ^{2}}$${\displaystyle 2\times 2\times 2}$${\displaystyle \mathbb {R} ^{2}\otimes \mathbb {R} ^{2}\otimes \mathbb {R} ^{2}}$

テンソル空間のジェネリックランクは、バランス型テンソル空間とアンバランス型テンソル空間の区別によって決まる。であるテンソル空間は、次の場合は アンバランス型と呼ばれる。${\displaystyle F^{I_{1}}\otimes \cdots \otimes F^{I_{M}}}$${\displaystyle I_{1}\geq I_{2}\geq \cdots \geq I_{M}}$

${\displaystyle I_{1}>1+\prod _{m=2}^{M}I_{m}-\sum _{m=2}^{M}(I_{m}-1),}$

それ以外の場合はバランスが取れていると呼ばれます。

テンソル積の最初の因子が他の因子に比べて非常に大きい場合、テンソル空間は本質的に行列空間として動作します。不均衡なテンソル空間に存在するテンソルの一般的なランクは、

${\displaystyle r(I_{1},\ldots ,I_{M})=\min \left\{I_{1},\prod _{m=2}^{M}I_{m}\right\}}$

ほぼどこでも同じである。より正確には、不均衡テンソル空間（ここではザリスキ位相における不定閉集合）におけるすべてのテンソルのランクは上記の値に等しい。 ^[10]${\displaystyle F^{I_{1}\times \cdots \times I_{M}}\setminus Z}$${\displaystyle Z}$

バランスのとれたテンソル空間に存在するテンソルの期待されるジェネリックランク は、

${\displaystyle r_{E}(I_{1},\ldots ,I_{M})=\left\lceil {\frac {\Pi }{\Sigma +1}}\right\rceil }$

複素テンソルの場合はほぼどこでも、実テンソルの場合はユークリッド開集合上で、

${\displaystyle \Pi =\prod _{m=1}^{M}I_{m}\quad {\text{and}}\quad \Sigma =\sum _{m=1}^{M}(I_{m}-1).}$

より正確には、 （ はザリスキ位相における不定閉集合）におけるすべてのテンソルのランクは、上記の値に等しいことが期待される。^[11]実数テンソルの場合、は正のユークリッド測度の集合に発生することが期待される最小のランクである。この値は推測的に正しいだけなので、テンソル空間の期待されるジェネリックランクと呼ばれることが多い。真のジェネリックランクは常に を満たすことが知られている。 ${\displaystyle \mathbb {C} ^{I_{1}\times \cdots \times I_{M}}\setminus Z}$${\displaystyle Z}$${\displaystyle r_{E}(I_{1},\ldots ,I_{M})}$${\displaystyle r_{E}(I_{1},\ldots ,I_{M})}$${\displaystyle F^{I_{1}\times \cdots \times I_{M}}}$

${\displaystyle r(I_{1},\ldots ,I_{M})\geq r_{E}(I_{1},\ldots ,I_{M}).}$

アボ・オッタヴィアーニ・ピーターソン予想^[11]によれば、次の例外的なケースを除いて 、等式、すなわち が期待される。${\displaystyle r(I_{1},\ldots ,I_{M})=r_{E}(I_{1},\ldots ,I_{M})}$

• ${\displaystyle F^{(2m+1)\times (2m+1)\times 3}{\text{ with }}m=1,2,\ldots }$
• ${\displaystyle F^{(m+1)\times (m+1)\times 2\times 2}{\text{ with }}m=2,3,\ldots }$

これらの例外的なケースのそれぞれにおいて、ジェネリック ランクは であることがわかっています。 におけるランク 3 のテンソルのセットは欠陥がありますが (13 であり、期待される 14 ではありません)、その空間におけるジェネリック ランクは依然として期待される 4 であることに注意してください。同様に、 におけるランク 5 のテンソルのセットは欠陥がありますが (44 であり、期待される 45 ではありません)、その空間におけるジェネリック ランクは依然として期待される 6 です。 ${\displaystyle r(I_{1},\ldots ,I_{m},\ldots ,I_{M})=r_{E}(I_{1},\ldots ,I_{M})+1}$${\displaystyle F^{2\times 2\times 2\times 2}}$${\displaystyle F^{4\times 4\times 3}}$

AOP予想は、いくつかの特殊なケースで完全に証明されています。Lickteigは、1985年に、 が であれば であることを示しました。^[12] 2011年には、カタリサノ、ジェラミタ、ジミリアーノによって大きなブレークスルーが達成されました。彼らは、形式のランクテンソルの集合の期待次元は、4因子の場合のランク3テンソルを除いて期待次元であることを証明しました。ただし、その場合の期待ランクは依然として4です。結果として、 すべてのバイナリテンソルに対してです。^[13]${\displaystyle r(n,n,n)=r_{E}(n,n,n)}$${\displaystyle n\neq 3}$${\displaystyle s}$${\displaystyle 2\times 2\times \cdots \times 2}$${\displaystyle r(2,2,\ldots ,2)=r_{E}(2,2,\ldots ,2)}$

テンソル空間内の任意のテンソルが許容できる最大ランクは一般には不明であり、この最大ランクについての推測さえ存在しない。現在、最良の一般的な上限は、の最大ランクが以下を満たすと 述べている。${\displaystyle r_{\mbox{max}}(I_{1},\ldots ,I_{M})}$${\displaystyle F^{I_{1}}\otimes \cdots \otimes F^{I_{M}}}$${\displaystyle I_{1}\geq I_{2}\geq \cdots \geq I_{M}}$

${\displaystyle r_{\mbox{max}}(I_{1},\ldots ,I_{M})\leq \min \left\{\prod _{m=2}^{M}I_{m},2\cdot r(I_{1},\ldots ,I_{M})\right\},}$

ここで は の（最小の）ジェネリックランクです。^[14] 前述の不等式が厳密な場合があることはよく知られています。たとえば、 のテンソルのジェネリックランクは2なので、上記の境界は となりますが、最大ランクは3であることが知られています。^[8]${\displaystyle r(I_{1},\ldots ,I_{M})}$${\displaystyle F^{I_{1}}\otimes \cdots \otimes F^{I_{M}}}$${\displaystyle \mathbb {R} ^{2\times 2\times 2}}$${\displaystyle r_{\mbox{max}}(2,2,2)\leq 4}$

階数が最大で のテンソルの列が存在し、その極限が である場合、階数テンソルは境界テンソルと呼ばれます。 がそのような収束列が存在する最小の値である場合、それはの境界階数と呼ばれます。 階数 2 のテンソル、つまり行列の場合、階数と境界階数は常に一致しますが、 階数のテンソルの場合は異なる場合があります。境界テンソルは、1980 年に Bini、Lotti、および Romani によって高速近似行列乗算アルゴリズムのコンテキストで初めて研究されました。^[15]${\displaystyle s}$${\displaystyle {\mathcal {A}}}$${\displaystyle r<s}$${\displaystyle {\mathcal {A}}}$${\displaystyle r}$${\displaystyle {\mathcal {A}}}$${\displaystyle \geq 3}$

境界テンソルの典型的な例は、階数3のテンソルである。

${\displaystyle {\mathcal {A}}=\mathbf {u} \otimes \mathbf {u} \otimes \mathbf {v} +\mathbf {u} \otimes \mathbf {v} \otimes \mathbf {u} +\mathbf {v} \otimes \mathbf {u} \otimes \mathbf {u} ,\quad {\text{with }}\|\mathbf {u} \|=\|\mathbf {v} \|=1{\text{ and }}\langle \mathbf {u} ,\mathbf {v} \rangle \neq 1.}$

これは、次の階数2のテンソルの列によって任意に近似できる。

${\displaystyle {\begin{aligned}{\mathcal {A}}_{m}&=m(\mathbf {u} +{\frac {1}{m}}\mathbf {v} )\otimes (\mathbf {u} +{\frac {1}{m}}\mathbf {v} )\otimes (\mathbf {u} +{\frac {1}{m}}\mathbf {v} )-m\mathbf {u} \otimes \mathbf {u} \otimes \mathbf {u} \\&=\mathbf {u} \otimes \mathbf {u} \otimes \mathbf {v} +\mathbf {u} \otimes \mathbf {v} \otimes \mathbf {u} +\mathbf {v} \otimes \mathbf {u} \otimes \mathbf {u} +{\frac {1}{m}}(\mathbf {u} \otimes \mathbf {v} \otimes \mathbf {v} +\mathbf {v} \otimes \mathbf {u} \otimes \mathbf {v} +\mathbf {v} \otimes \mathbf {v} \otimes \mathbf {u} )+{\frac {1}{m^{2}}}\mathbf {v} \otimes \mathbf {v} \otimes \mathbf {v} \end{aligned}}}$

として表されます。したがって、境界ランクは 2 であり、これはそのランクよりも厳密に小さくなります。2 つのベクトルが直交する場合、この例はW 状態とも呼ばれます。 ${\displaystyle m\to \infty }$

純粋テンソルの定義から、すべてのmに対してかつとなるようなが存在する場合、かつその場合に限り となることがわかります。このため、階数 1 のテンソルのパラメータは識別可能または本質的に一意であると呼ばれます。階数テンソルは、そのテンソル階数分解のすべてが、が階数 1 である同じ集合の異なるテンソルの和である場合に識別可能と呼ばれます。したがって、識別可能な階数 には本質的に一意な分解が 1 つだけあり、 のすべてのテンソル階数分解は、加数の順序を入れ替えることで取得できます。テンソル階数分解では、はすべて異なることに注意してください。そうでない場合、 の階数は最大で になります。 ${\displaystyle {\mathcal {A}}=\mathbf {a} _{1}\otimes \mathbf {a} _{2}\otimes \cdots \otimes \mathbf {a} _{M}=\mathbf {b} _{1}\otimes \mathbf {b} _{2}\otimes \cdots \otimes \mathbf {b} _{M}}$${\displaystyle \lambda _{k}}$${\displaystyle \lambda _{1}\lambda _{2}\cdots \lambda _{M}=1}$${\displaystyle \mathbf {a} _{m}=\lambda _{m}\mathbf {b} _{m}}$${\displaystyle \{\mathbf {a} _{m}\}_{m=1}^{M}}$${\displaystyle {\mathcal {A}}}$${\displaystyle r}$${\displaystyle {\mathcal {A}}\in F^{I_{1}}\otimes F^{I_{2}}\otimes \cdots \otimes F^{I_{M}}}$${\displaystyle r}$${\displaystyle \{{\mathcal {A}}_{1},{\mathcal {A}}_{2},\ldots ,{\mathcal {A}}_{r}\}}$${\displaystyle {\mathcal {A}}_{i}}$${\displaystyle r}$$${\displaystyle {\mathcal {A}}=\sum _{i=1}^{r}{\mathcal {A}}_{i},}$$${\displaystyle r!}$${\displaystyle {\mathcal {A}}}$${\displaystyle {\mathcal {A}}_{i}}$${\displaystyle {\mathcal {A}}}$${\displaystyle r-1}$

の階数 2 のテンソル、すなわち行列は、 に対して識別できません。これは本質的に、が可逆行列、、、である場合の観察から導かれます。 ^[16]によれば、 （ はザリスキ位相の閉集合）のすべてに対して、右側の分解は左側の分解とは異なる階数 1 のテンソルの集合の和であり、階数の階数 2 のテンソルは一般に識別不可能であることがわかります。 ${\displaystyle F^{I_{1}}\otimes F^{I_{2}}\simeq F^{I_{1}\times I_{2}}}$${\displaystyle r>1}$$${\displaystyle {\mathcal {A}}=\sum _{i=1}^{r}\mathbf {a} _{i}\otimes \mathbf {b} _{i}=\sum _{i=1}^{r}\mathbf {a} _{i}\mathbf {b} _{i}^{T}=AB^{T}=(AX^{-1})(BX^{T})^{T}=\sum _{i=1}^{r}\mathbf {c} _{i}\mathbf {d} _{i}^{T}=\sum _{i=1}^{r}\mathbf {c} _{i}\otimes \mathbf {d} _{i},}$$${\displaystyle X\in \mathrm {GL} _{r}(F)}$${\displaystyle r\times r}$${\displaystyle A=[\mathbf {a} _{i}]_{i=1}^{r}}$${\displaystyle B=[\mathbf {b} _{i}]_{i=1}^{r}}$${\displaystyle AX^{-1}=[\mathbf {c} _{i}]_{i=1}^{r}}$${\displaystyle BX^{T}=[\mathbf {d} _{i}]_{i=1}^{r}}$${\displaystyle X\in \mathrm {GL} _{n}(F)\setminus Z}$${\displaystyle Z}$${\displaystyle r>1}$

およびすべての となるの高階テンソルでは、状況は完全に変わります。表記を簡単にするために、一般性を失うことなく、因子が となるように順序付けられていると仮定します。によって制限される階数のテンソルの集合をとします。次に、すべての次元 の空間に対して、コンピュータ支援による証明を使用して次のステートメントが正しいことが証明されました。 ^[17]そして、一般に有効であると推測されます。^{[17] [18] [19]}${\displaystyle F^{I_{1}}\otimes F^{I_{2}}\otimes \cdots \otimes F^{I_{M}}}$${\displaystyle M>2}$${\displaystyle I_{m}\geq 2}$${\displaystyle I_{1}\geq I_{2}\geq \cdots \geq I_{M}\geq 2}$${\displaystyle S_{r}\subset F^{I_{1}}\otimes \cdots F^{I_{m}}\otimes \cdots \otimes F^{I_{M}}}$${\displaystyle r}$${\displaystyle \Pi <15000}$

ザリスキ位相には、以下の例外的なケースのいずれかが成立しない限り、すべてのテンソルが識別可能（この場合はジェネリック識別可能と呼ばれる）な閉集合が存在する。 ${\displaystyle Z_{r}}$ ${\displaystyle {\mathcal {A}}\in S_{r}\setminus Z_{r}}$${\displaystyle S_{r}}$

1. ランクが大きすぎます: ;${\displaystyle r>r_{E}(I_{1},I_{2},\ldots ,I_{M})}$
2. 空間は識別可能性が不均衡であり、つまり、であり、ランクが大きすぎます: ;${\textstyle I_{1}>\prod _{m=2}^{M}i_{m}-\sum _{m=2}^{M}(I_{m}-1)}$${\textstyle r\geq \prod _{m=2}^{M}I_{m}-\sum _{m=2}^{M}(I_{m}-1)}$
3. スペースは不良ケースでランクは です。${\displaystyle F^{4}\otimes F^{4}\otimes F^{3}}$${\displaystyle r=5}$
4. 空間は欠陥のあるケース であり、ここで、階数は です。${\displaystyle F^{n}\otimes F^{n}\otimes F^{2}\otimes F^{2}}$${\displaystyle n\geq 2}$${\displaystyle r=2n-1}$
5. スペースは で、ランクは です。${\displaystyle F^{4}\otimes F^{4}\otimes F^{4}}$${\displaystyle r=6}$
6. スペースは で、ランクは です。または${\displaystyle F^{6}\otimes F^{6}\otimes F^{3}}$${\displaystyle r=8}$
7. スペースは、ランクは です。${\displaystyle F^{2}\otimes F^{2}\otimes F^{2}\otimes F^{2}\otimes F^{2}}$${\displaystyle r=5}$
8. 空間は完全、つまり は整数であり、階数は です。${\textstyle r_{E}(I_{1},I_{2},\ldots ,I_{M})={\frac {\Pi }{\Sigma +1}}}$${\textstyle r=r_{E}(I_{1},I_{2},\ldots ,I_{M})}$

これらの例外的なケースでは、複素分解 の一般的な（そして最小の）数は

• 最初の 4 つのケースではそれが証明されました。${\displaystyle \infty }$
• ケース5では2つであることが証明された。^[20]
• ケース6では6であると予想^{[21]された。}
• ケース7では2人であることが証明された。^[22 ]
• 識別可能な2つの症例を除いて、症例8では少なくとも2つになると予想されました^[21]。${\displaystyle F^{5}\otimes F^{4}\otimes F^{3}}$${\displaystyle F^{3}\otimes F^{2}\otimes F^{2}\otimes F^{2}}$

要約すると、識別可能性が不均衡ではない 順序とランクの一般的なテンソルは、識別可能であることが期待されます (小さなスペースでの例外的なケースを法として)。${\displaystyle M>2}$${\textstyle r<{\frac {\Pi }{\Sigma +1}}}$

ランク近似問題は、（通常のユークリッド位相において）あるランクテンソルに最も近いランク分解を求める問題である。つまり、 ${\displaystyle r}$${\displaystyle s}$${\displaystyle {\mathcal {A}}}$${\displaystyle r<s}$

${\displaystyle \min _{\mathbf {a} _{i}^{m}\in F^{I_{m}}}\|{\mathcal {A}}-\sum _{i=1}^{r}\mathbf {a} _{i}^{1}\otimes \mathbf {a} _{i}^{2}\otimes \cdots \otimes \mathbf {a} _{i}^{M}\|_{F},}$

フロベニウスノルムはどこですか。 ${\displaystyle \|\cdot \|_{F}}$

2008年の論文de SilvaとLim ^[8]では、上記の標準的な近似問題が不適切である可能性があることが示されています。前述の問題に対する解は、最適化する集合が閉じていないために存在しない場合があります。そのため、最小値は存在するかもしれませんが、最小化者は存在しない可能性があります。特に、いわゆる境界テンソルは、シーケンスの極限が よりも厳密に高いランクのテンソルに収束する場合でも、ランクが最大 のテンソルのシーケンスによって任意に適切に近似できることが知られています。ランク3のテンソル ${\displaystyle r}$${\displaystyle r}$

${\displaystyle {\mathcal {A}}=\mathbf {u} \otimes \mathbf {u} \otimes \mathbf {v} +\mathbf {u} \otimes \mathbf {v} \otimes \mathbf {u} +\mathbf {v} \otimes \mathbf {u} \otimes \mathbf {u} ,\quad {\text{with }}\|\mathbf {u} \|=\|\mathbf {v} \|=1{\text{ and }}\langle \mathbf {u} ,\mathbf {v} \rangle \neq 1}$

は、次の階数2のテンソルの列によって任意に近似できる。

${\displaystyle {\mathcal {A}}_{n}=n(\mathbf {u} +{\frac {1}{n}}\mathbf {v} )\otimes (\mathbf {u} +{\frac {1}{n}}\mathbf {v} )\otimes (\mathbf {u} +{\frac {1}{n}}\mathbf {v} )-n\mathbf {u} \otimes \mathbf {u} \otimes \mathbf {u} }$

として。この例は、階数1のテンソルの列が厳密により高い階数のテンソルに収束する場合、ノルムが無制限になる階数1の項を少なくとも2つ許容する必要があるという一般原則をうまく示しています。正式に述べると、列 ${\displaystyle n\to \infty }$${\displaystyle r}$

${\displaystyle {\mathcal {A}}_{n}=\sum _{i=1}^{r}\mathbf {a} _{i,n}^{1}\otimes \mathbf {a} _{i,n}^{2}\otimes \cdots \otimes \mathbf {a} _{i,n}^{M}}$

は（ユークリッド位相において） であるとき、 となるような が少なくとも存在するという性質を持つ。 ${\displaystyle {\mathcal {A}}_{n}\to {\mathcal {A}}}$${\displaystyle n\to \infty }$${\displaystyle 1\leq i\neq j\leq r}$

${\displaystyle \|\mathbf {a} _{i,n}^{1}\otimes \mathbf {a} _{i,n}^{2}\otimes \cdots \otimes \mathbf {a} _{i,n}^{M}\|_{F}\to \infty {\text{ and }}\|\mathbf {a} _{j,n}^{1}\otimes \mathbf {a} _{j,n}^{2}\otimes \cdots \otimes \mathbf {a} _{j,n}^{M}\|_{F}\to \infty }$

として。この現象は、数値最適化アルゴリズムを使用してテンソルを近似しようとするときによく発生します。これは、発散成分の問題と呼ばれることもあります。さらに、実数上のランダムな低ランクテンソルは、正の確率でランク 2 近似を許容しない場合があることが示されており、テンソルランク分解を使用するときに不適切性の問題が重要な考慮事項であることが理解されています。 ${\displaystyle n\to \infty }$

不適切性の問題に対する一般的な部分的な解決法は、個々のランク 1 項のノルムを何らかの定数で制限する追加の不等式制約を課すことです。閉じたセット、つまり適切に設定された最適化問題をもたらすその他の制約には、求める分解に現れるランク 1 項間の正値または厳密に 1 より小さい制限付き内積を 課すことが含まれます。

交互アルゴリズム:

• 交互最小二乗法 (ALS)
• 交互スライス対角化（ASD）

直接アルゴリズム:

• 鉛筆ベースのアルゴリズム^{[23] [24] [25] [26] [27] [28] [29]}
• モーメントベースアルゴリズム^[30]

一般的な最適化アルゴリズム:

• 同時対角化(SD)
• 同時一般化シューア分解 (SGSD)
• レーベンバーグ・マルクアート(LM)
• 非線形共役勾配(NCG)
• 限定メモリ BFGS (L-BFGS)

一般的な多項式系を解くアルゴリズム:

• ホモトピー接続^[31]

機械学習において、CP分解は、モーメントマッチングの手法を介して確率的潜在変数モデルを学習する際の中心的な要素です。たとえば、確率的潜在変数モデルであるマルチビューモデル^[32]を考えてみましょう。このモデルでは、サンプルの生成は次のように仮定されています。直接観察されない隠れたランダム変数が存在し、それが与えられた場合、隠れ変数の異なる「ビュー」と呼ばれる条件付きで独立したランダム変数がいくつかあります。たとえば、状態カテゴリカル隠れ変数の3つのビューがあるとします。この潜在変数モデルの経験的3次モーメントはランク3テンソルであり、次のように分解できます 。 ${\displaystyle x_{1},x_{2},x_{3}}$${\displaystyle k}$${\displaystyle h}$${\displaystyle E[x_{1}\otimes x_{2}\otimes x_{3}]}$${\displaystyle E[x_{1}\otimes x_{2}\otimes x_{3}]=\sum _{i=1}^{k}Pr(h=i)E[x_{1}|h=i]\otimes E[x_{2}|h=i]\otimes E[x_{3}|h=i]}$

トピックモデリングなどのアプリケーションでは、これは文書内の単語の共起として解釈できます。次に、この経験的モーメントテンソルの分解における係数は、特定のトピックを選択する確率として解釈でき、因子行列の各列は、対応するトピックの語彙内の単語の確率に対応します。 ${\displaystyle E[x|h=i]}$

• 潜在クラス分析
• 多重線形部分空間学習
• 特異値分解
• タッカー分解
• 高階特異値分解
• テンソル分解

• Kolda, Tamara G. ; Bader, Brett W. (2009). 「テンソル分解と応用」. SIAM Rev. 51 ( 3): 455–500. Bibcode :2009SIAMR..51..455K. CiteSeerX  10.1.1.153.2059 . doi :10.1137/07070111X. S2CID  16074195.
• Landsberg, Joseph M. (2012).テンソル: 幾何学と応用. AMS.

• PARAFAC チュートリアル
• 並列因子分析 (PARAFAC)
• FactoMineR ( Rにリンクされた無料の探索的多変量データ分析ソフトウェア)