特異値分解

線形代数において、特異値分解( SVD ) は、実数または複素数行列を回転に因数分解し、その後に再スケーリングしてさらに回転させるものです。これは、正規直交固有基底を持つ正方正規行列の固有分解を任意の行列に一般化したものです。これは極分解に関連しています。 ${\displaystyle m\times n}$

具体的には、複素行列⁠ ⁠の特異値分解は、⁠ ⁠が複素ユニタリ行列⁠ ⁠、が対角線上に非負の実数を持つ直交対角行列 ⁠ ⁠が複素ユニタリ行列 ⁠ ⁠、 が⁠ ⁠の共役転置行列である形式の因数分解です。このような分解は、任意の複素行列に対して常に存在します。⁠ ⁠が実数の場合、⁠ ⁠と⁠ ⁠ が実直交行列であることが保証されます。このようなコンテキストでは、SVD は次のように表記されることがよくあります。${\displaystyle m\times n}$${\displaystyle \mathbf {M} }$${\displaystyle \mathbf {M} =\mathbf {U\Sigma V^{*}} ,}$${\displaystyle \mathbf {U} }$${\displaystyle m\times m}$${\displaystyle \mathbf {\Sigma } }$${\displaystyle m\times n}$ ${\displaystyle \mathbf {V} }$${\displaystyle n\times n}$${\displaystyle \mathbf {V} ^{*}}$${\displaystyle \mathbf {V} }$${\displaystyle \mathbf {M} }$${\displaystyle \mathbf {U} }$${\displaystyle \mathbf {V} }$${\displaystyle \mathbf {U} \mathbf {\Sigma } \mathbf {V} ^{\mathrm {T} }.}$

の対角要素は⁠ ⁠によって一意に決定され、 ⁠ ⁠の特異値として知られています。非ゼロの特異値の数は⁠ ⁠の階数に等しくなります。 ⁠ ⁠の列と⁠ ⁠の列は、それぞれ⁠ ⁠の左特異ベクトルと右特異ベクトルと呼ばれます。これらは⁠ ⁠ ⁠と⁠ ⁠の 2 つの正規直交基底セットを形成し、値がゼロの特異値がすべて最も番号の高い列 (または行) になるように並べ替えると、特異値分解は次のように表すことができます。 ${\displaystyle \sigma _{i}=\Sigma _{ii}}$${\displaystyle \mathbf {\Sigma } }$${\displaystyle \mathbf {M} }$${\displaystyle \mathbf {M} }$${\displaystyle \mathbf {M} }$${\displaystyle \mathbf {U} }$${\displaystyle \mathbf {V} }$${\displaystyle \mathbf {M} }$ ${\displaystyle \mathbf {u} _{1},\ldots ,\mathbf {u} _{m}}$${\displaystyle \mathbf {v} _{1},\ldots ,\mathbf {v} _{n},}$${\displaystyle \sigma_{i}}$

$${\displaystyle \mathbf {M} =\sum _{i=1}^{r}\sigma _{i}\mathbf {u} _{i}\mathbf {v} _{i}^{*},}$$

⁠ ⁠の順位はどこですか？${\displaystyle r\leq \min\{m,n\}}$${\displaystyle \mathbf {M} .}$

SVDは一意ではありませんが、特異値が降順になるように分解を選択することは常に可能です。この場合、（ただし、⁠ ⁠と⁠ ⁠ は除きます）は⁠ ⁠によって一意に決定されます。${\displaystyle \Sigma _{ii}}$${\displaystyle \mathbf {\Sigma } }$${\displaystyle \mathbf {U} }$${\displaystyle \mathbf {V} }$${\displaystyle \mathbf {M} .}$

この用語は、コンパクトSVDを指すこともあります。これは、がサイズの正方対角行列で、がの階数であり、非ゼロの特異値のみを持つ、同様の分解です。この変形では${\displaystyle \mathbf {M} =\mathbf {U\Sigma V} ^{*}}$、 は半ユニタリ行列であり、は半ユニタリ行列であり、${\displaystyle \mathbf {\Sigma } }$${\displaystyle r\times r,}$${\displaystyle r\leq \min\{m,n\}}$${\displaystyle \mathbf {M} ,}$${\displaystyle \mathbf {U} }$${\displaystyle m\times r}$ ${\displaystyle \mathbf {V} }$${\displaystyle n\times r}$ ${\displaystyle \mathbf {U} ^{*}\mathbf {U} =\mathbf {V} ^{*}\mathbf {V} =\mathbf {I} _{r}.}$

SVD の数学的応用には、擬似逆行列の計算、行列近似、行列の階数、範囲、および零空間の決定が含まれます。SVD は、信号処理、データの最小二乗近似、プロセス制御など、科学、工学、および統計のすべての分野でも非常に役立ちます。

⁠ ⁠ が${\displaystyle \mathbf {M} }$実正方行列で${\displaystyle m\times m}$ある特殊なケースでは、行列⁠ ⁠および⁠ ⁠も実⁠ ⁠行列に選択できます。その場合、「ユニタリ」は「直交」と同じになります。次に、ユニタリ行列と対角行列の両方を、ここでは空間 ⁠ ⁠ の線形変換として解釈すると、行列 ⁠ ⁠および⁠ ⁠は空間の回転または反射を表し、⁠ ⁠は係数⁠ ⁠による各座標のスケーリングを表します。したがって 、SVD 分解は、 ⁠ ⁠ の線形変換を 3 つの幾何学的変換、つまり回転または反射( ⁠ ⁠ ) 、座標ごとのスケーリング( ⁠ ⁠ )、および別の回転または反射( ⁠ ⁠ )の組み合わせに分解します。${\displaystyle \mathbf {U} }$${\displaystyle \mathbf {V} ^{*}}$${\displaystyle m\times m}$${\displaystyle \mathbf {A} ,}$ ${\displaystyle \mathbf {x} \mapsto \mathbf {Ax} }$${\displaystyle \mathbf {R} _{m},}$${\displaystyle \mathbf {U} }$${\displaystyle \mathbf {V} ^{*}}$${\displaystyle \mathbf {\Sigma } }$${\displaystyle \mathbf {x} _{i}}$${\displaystyle \sigma _{i}.}$${\displaystyle \mathbf {R} ^{m}}$${\displaystyle \mathbf {V} ^{*}}$ ${\displaystyle \mathbf {\Sigma } }$${\displaystyle \mathbf {U} }$

特に、⁠ ⁠ が${\displaystyle \mathbf {M} }$正の行列式を持つ場合、⁠ ⁠${\displaystyle \mathbf {U} }$と⁠ ⁠${\displaystyle \mathbf {V} ^{*}}$は、両方とも反射のある回転、または両方とも反射のない回転として選択できます。^[要出典]行列式が負の場合、それらのうちの 1 つだけが反射を持ちます。行列式が 0 の場合、それぞれを独立してどちらかのタイプに選択できます。

行列⁠ ⁠${\displaystyle \mathbf {M} }$が実数だが正方行列ではない場合、つまり⁠ ⁠で${\displaystyle m\times n}$⁠ ⁠ は⁠ ⁠から ⁠ ⁠への線形変換として解釈できます。 その場合⁠ ⁠ ⁠と⁠ ⁠ はそれぞれ⁠ ⁠と⁠ ⁠の回転/反射として選択できます。また⁠ ⁠ ⁠ は最初の⁠ ⁠座標をスケーリングするだけでなく、ベクトルをゼロで拡張します。つまり、末尾の座標を削除して⁠ ⁠ ⁠に変換します。${\displaystyle m\neq n,}$${\displaystyle \mathbf {R} ^{n}}$${\displaystyle \mathbf {R} ^{m}.}$${\displaystyle \mathbf {U} }$${\displaystyle \mathbf {V} ^{*}}$${\displaystyle \mathbf {R} ^{m}}$${\displaystyle \mathbf {R} ^{n},}$${\displaystyle \mathbf {\Sigma } ,}$${\displaystyle \min\{m,n\}}$${\displaystyle \mathbf {R} ^{n}}$${\displaystyle \mathbf {R} ^{m}.}$

図に示すように、特異値は2D の楕円の半軸の大きさとして解釈できます。この概念は⁠ ⁠${\displaystyle n}$次元ユークリッド空間に一般化でき、任意の⁠ ⁠${\displaystyle n\times n}$ 正方行列の特異値は⁠ ⁠${\displaystyle n}$次元楕円体の半軸の大きさとして見ることができます。同様に、任意の⁠ ⁠${\displaystyle m\times n}$行列の特異値は⁠ ⁠次元空間の⁠ ⁠${\displaystyle n}$次元楕円体の半軸の大きさ、たとえば 3D 空間内の (傾斜した) 2D 平面の楕円として見ることができます。特異値は半軸の大きさをエンコードし、特異ベクトルは方向をエンコードします。詳細については以下を参照してください。 ${\displaystyle m}$

⁠ ⁠${\displaystyle \mathbf {U} }$と⁠ ⁠${\displaystyle \mathbf {V} ^{*}}$はユニタリなので、それらのそれぞれの列は正規直交ベクトルの集合を形成し、これは基底ベクトルとみなすことができます。行列⁠ ⁠${\displaystyle \mathbf {M} }$は、基底ベクトル⁠ ⁠${\displaystyle \mathbf {V} _{i}}$を引き伸ばされた単位ベクトル⁠ ⁠${\displaystyle \sigma _{i}\mathbf {U} _{i}.}$にマップします。 ユニタリ行列の定義により、特異値を引き伸ばしたものとしての幾何学的解釈が失われることを除いて、それらの共役転置⁠ ⁠${\displaystyle \mathbf {U} ^{*}}$および⁠ ⁠についても同じことが当てはまります。つまり、 ${\displaystyle \mathbf {V} ,}$⁠ ⁠ ${\displaystyle \mathbf {U} ,}$ ⁠ ⁠ ${\displaystyle \mathbf {U} ^{*},}$ ⁠ ⁠${\displaystyle \mathbf {V} ,}$および⁠ ⁠の列は${\displaystyle \mathbf {V} ^{*}}$正規直交基底です。⁠ ⁠が${\displaystyle \mathbf {M} }$半正定値 エルミート行列である場合、⁠ ⁠${\displaystyle \mathbf {U} }$と⁠ ⁠ はどちらも${\displaystyle \mathbf {V} }$⁠${\displaystyle \mathbf {M} .}$ ⁠を対角化するのに使用されるユニタリ行列と等しくなります 。ただし、⁠ ⁠ が${\displaystyle \mathbf {M} }$半正定値エルミートではないが対角化可能な場合、その固有分解と特異値分解は異なります。

• ⁠ ⁠の最初の⁠ ⁠列は${\displaystyle r}$⁠ ⁠の列空間の基底です。${\displaystyle \mathbf {U} }$${\displaystyle \mathbf {M} }$
• ⁠ ⁠の最後の⁠ ⁠列は${\displaystyle m-r}$⁠ ⁠のヌル空間の基底です。${\displaystyle \mathbf {U} }$${\displaystyle \mathbf {M} ^{*}}$
• ⁠ ⁠の最初の⁠ ⁠列は${\displaystyle r}$⁠ ⁠の列空間(実際の場合は⁠ ⁠の行空間)の基底です。${\displaystyle \mathbf {V} }$${\displaystyle \mathbf {M} ^{*}}$${\displaystyle \mathbf {M} }$
• ⁠ ⁠の最後の⁠ ⁠列は${\displaystyle n-r}$⁠ ⁠のヌル空間の基底です。${\displaystyle \mathbf {V} }$${\displaystyle \mathbf {M} }$

⁠ ⁠${\displaystyle \mathbf {U} }$と⁠ ⁠ は${\displaystyle \mathbf {V} }$ユニタリなので、 ⁠ ⁠の列 ⁠ ⁠は${\displaystyle \mathbf {U} _{1},\ldots ,\mathbf {U} _{m}}$⁠ ⁠の正規直交基底を生じ、 ⁠ ⁠の列⁠ ⁠ は⁠ ⁠の正規直交基底を生じることがわかります (これらの空間上の標準的なスカラー積に関して)。 ${\displaystyle \mathbf {U} }$${\displaystyle K^{m}}$${\displaystyle \mathbf {V} _{1},\ldots ,\mathbf {V} _{n}}$${\displaystyle \mathbf {V} }$${\displaystyle K^{n}}$

線形変換

$${\displaystyle T:\left\{{\begin{aligned}K^{n}&\to K^{m}\\x&\mapsto \mathbf {M} x\end{aligned}}\right.}$$

これらの正規直交基底に関して、特に簡単な記述がある。

$${\displaystyle T(\mathbf {V} _{i})=\sigma _{i}\mathbf {U} _{i},\qquad i=1,\ldots ,\min(m,n),}$$

ここで、⁠ ⁠ は${\displaystyle \sigma _{i}}$⁠ ⁠の⁠ ⁠${\displaystyle i}$番目の対角要素であり、⁠ ⁠に対して⁠ ⁠です。${\displaystyle \mathbf {\Sigma } ,}$${\displaystyle T(\mathbf {V} _{i})=0}$${\displaystyle i>\min(m,n).}$

したがって、SVD 定理の幾何学的内容は次のようにまとめることができます。すべての線型写像⁠ ⁠${\displaystyle T:K^{n}\to K^{m}}$に対して、 ⁠ ⁠${\displaystyle K^{n}}$と⁠ ⁠${\displaystyle K^{m}}$の正規直交基底を見つけることができ、 ⁠ ⁠ は${\displaystyle T}$⁠ ⁠の⁠ ⁠${\displaystyle i}$番目の基底ベクトルを⁠ ⁠の⁠ ⁠番目の基底ベクトルの非負倍数に写像し、残りの基底ベクトルを 0 に送ります。これらの基底に関して、写像⁠ ⁠は非負の実数の対角要素を持つ対角行列によって表されます。 ${\displaystyle K^{n}}$${\displaystyle i}$${\displaystyle K^{m},}$${\displaystyle T}$

特異値と SVD 因数分解のより視覚的なイメージをつかむには (少なくとも実数ベクトル空間で作業している場合は)、半径 1 の球⁠ ⁠を考えます${\displaystyle S}$。線型写像⁠ ⁠ は、この球を ⁠ ⁠ ${\displaystyle \mathbf {R} ^{n}.}$⁠の楕円体に写像します。非ゼロの特異値は、単にこの楕円体の半軸の長さです。特に⁠ ⁠およびすべての特異値が異なっていて非ゼロである場合、線型写像⁠ ⁠ ⁠の SVD は、 3 つの連続する動きの連続として簡単に分析できます。楕円体⁠ ⁠ ⁠と具体的にはその軸を考えます。次に、 ⁠ ⁠ ⁠からこれらの軸に送られる⁠ ⁠ ⁠の方向を考えます。これらの方向は、たまたま相互に直交しています。まず等長写像を適用し、これらの方向を⁠ ⁠の座標軸に送ります。2番目の動きでは、座標軸に沿って対角化され、各方向に伸縮する自己準同型写像を適用し、 ⁠ ⁠ の半軸の長さを伸縮係数として使用します。次に、合成⁠ ⁠ は単位球を⁠ ⁠に等長な楕円体に送ります。3番目で最後の動きを定義するには、この楕円体に等長写像⁠ ⁠を適用して⁠ ⁠ を取得します。簡単に確認できるように、合成⁠ ⁠は⁠ ⁠と一致します。${\displaystyle T}$${\displaystyle \mathbf {R} ^{m}.}$${\displaystyle n=m,}$${\displaystyle T}$${\displaystyle T(S)}$${\displaystyle \mathbf {R} ^{n}}$${\displaystyle T}$${\displaystyle \mathbf {V} ^{*}}$${\displaystyle \mathbf {R} ^{n}.}$ ${\displaystyle \mathbf {D} }$${\displaystyle T(S)}$${\displaystyle \mathbf {D} \circ \mathbf {V} ^{*}}$${\displaystyle T(S).}$${\displaystyle \mathbf {U} }$${\displaystyle T(S).}$${\displaystyle \mathbf {U} \circ \mathbf {D} \circ \mathbf {V} ^{*}}$${\displaystyle T.}$

⁠ ⁠${\displaystyle 4\times 5}$行列 を考えてみましょう

$${\displaystyle \mathbf {M} ={\begin{bmatrix}1&0&0&0&2\\0&0&3&0&0\\0&0&0&0&0\\0&2&0&0&0\end{bmatrix}}}$$

この行列の特異値分解は次のように表される。${\displaystyle \mathbf {U} \mathbf {\Sigma } \mathbf {V} ^{*}}$

$${\displaystyle {\begin{aligned}\mathbf {U} &={\begin{bmatrix}\color {Green}0&\color {Blue}-1&\color {Cyan}0&\color {Emerald}0\\\color {Green}-1&\color {Blue}0&\color {Cyan}0&\color {Emerald}0\\\color {Green}0&\color {Blue}0&\color {Cyan}0&\color {Emerald}-1\\\color {Green}0&\color {Blue}0&\color {Cyan}-1&\color {Emerald}0\end{bmatrix}}\\[6pt]\mathbf {\Sigma } &={\begin{bmatrix}3&0&0&0&\color {Gray}{\mathit {0}}\\0&{\sqrt {5}}&0&0&\color {Gray}{\mathit {0}}\\0&0&2&0&\color {Gray}{\mathit {0}}\\0&0&0&\color {Red}\mathbf {0} &\color {Gray}{\mathit {0}}\end{bmatrix}}\\[6pt]\mathbf {V} ^{*}&={\begin{bmatrix}\color {Violet}0&\color {Violet}0&\color {Violet}-1&\color {Violet}0&\color {Violet}0\\\color {Plum}-{\sqrt {0.2}}&\color {Plum}0&\color {Plum}0&\color {Plum}0&\color {Plum}-{\sqrt {0.8}}\\\color {Magenta}0&\color {Magenta}-1&\color {Magenta}0&\color {Magenta}0&\color {Magenta}0\\\color {Orchid}0&\color {Orchid}0&\color {Orchid}0&\color {Orchid}1&\color {Orchid}0\\\color {Purple}-{\sqrt {0.8}}&\color {Purple}0&\color {Purple}0&\color {Purple}0&\color {Purple}{\sqrt {0.2}}\end{bmatrix}}\end{aligned}}}$$

スケーリング行列⁠ ⁠ は${\displaystyle \mathbf {\Sigma } }$対角線の外側ではゼロ（灰色の斜体）であり、1 つの対角要素はゼロ（赤の太字、ダーク モードでは水色の太字）です。さらに、行列⁠ ⁠${\displaystyle \mathbf {U} }$と⁠ ⁠は${\displaystyle \mathbf {V} ^{*}}$ユニタリであるため、それぞれの共役転置を掛けると、以下に示すように単位行列が生成されます。この場合、⁠ ⁠${\displaystyle \mathbf {U} }$と⁠ ⁠ は${\displaystyle \mathbf {V} ^{*}}$実数値であるため、それぞれは直交行列です。

$${\displaystyle {\begin{aligned}\mathbf {U} \mathbf {U} ^{*}&={\begin{bmatrix}1&0&0&0\\0&1&0&0\\0&0&1&0\\0&0&0&1\end{bmatrix}}=\mathbf {I} _{4}\\[6pt]\mathbf {V} \mathbf {V} ^{*}&={\begin{bmatrix}1&0&0&0&0\\0&1&0&0&0\\0&0&1&0&0\\0&0&0&1&0\\0&0&0&0&1\end{bmatrix}}=\mathbf {I} _{5}\end{aligned}}}$$

この特定の特異値分解は一意ではありません。たとえば、⁠ ⁠${\displaystyle \mathbf {U} }$と⁠ ⁠ は同じままにして、 ${\displaystyle \mathbf {\Sigma } }$⁠ ⁠${\displaystyle \mathbf {V} ^{*}}$の最後の2行を次のように変更することができます。

$${\displaystyle \mathbf {V} ^{*}={\begin{bmatrix}\color {Violet}0&\color {Violet}0&\color {Violet}-1&\color {Violet}0&\color {Violet}0\\\color {Plum}-{\sqrt {0.2}}&\color {Plum}0&\color {Plum}0&\color {Plum}0&\color {Plum}-{\sqrt {0.8}}\\\color {Magenta}0&\color {Magenta}-1&\color {Magenta}0&\color {Magenta}0&\color {Magenta}0\\\color {Orchid}{\sqrt {0.4}}&\color {Orchid}0&\color {Orchid}0&\color {Orchid}{\sqrt {0.5}}&\color {Orchid}-{\sqrt {0.1}}\\\color {Purple}-{\sqrt {0.4}}&\color {Purple}0&\color {Purple}0&\color {Purple}{\sqrt {0.5}}&\color {Purple}{\sqrt {0.1}}\end{bmatrix}}}$$

同様に有効な特異値分解が得られます。行列⁠ ⁠ は${\displaystyle \mathbf {M} }$階数が 3 なので、非ゼロの特異値は 3 つだけです。積⁠ ⁠を取る際に、 ${\displaystyle \mathbf {U} \mathbf {\Sigma } \mathbf {V} ^{*}}$⁠ ⁠${\displaystyle \mathbf {U} }$の最後の列と⁠ ⁠${\displaystyle \mathbf {V^{*}} }$の最後の 2 行にゼロが掛けられるため、行列の積には影響がなく、最初の 3 つと互いに直交する任意の単位ベクトルに置き換えることができます。

コンパクトなSVD、⁠ ⁠${\displaystyle \mathbf {M} =\mathbf {U} _{r}\mathbf {\Sigma } _{r}\mathbf {V} _{r}^{*}}$は、これらの余分な行、列、および特異値を削除します。

$${\displaystyle {\begin{aligned}\mathbf {U} _{r}&={\begin{bmatrix}\color {Green}0&\color {Blue}-1&\color {Cyan}0\\\color {Green}-1&\color {Blue}0&\color {Cyan}0\\\color {Green}0&\color {Blue}0&\color {Cyan}0\\\color {Green}0&\color {Blue}0&\color {Cyan}-1\end{bmatrix}}\\[6pt]\mathbf {\Sigma } _{r}&={\begin{bmatrix}3&0&0\\0&{\sqrt {5}}&0\\0&0&2\end{bmatrix}}\\[6pt]\mathbf {V} _{r}^{*}&={\begin{bmatrix}\color {Violet}0&\color {Violet}0&\color {Violet}-1&\color {Violet}0&\color {Violet}0\\\color {Plum}-{\sqrt {0.2}}&\color {Plum}0&\color {Plum}0&\color {Plum}0&\color {Plum}-{\sqrt {0.8}}\\\color {Magenta}0&\color {Magenta}-1&\color {Magenta}0&\color {Magenta}0&\color {Magenta}0\end{bmatrix}}\end{aligned}}}$$

非負の実数⁠ ⁠ が${\displaystyle \sigma }$⁠ ⁠に対して特異値となるのは、 ⁠ ⁠および⁠ ⁠ ⁠ に単位長さのベクトル⁠ ⁠が存在し、${\displaystyle \mathbf {M} }$${\displaystyle \mathbf {u} }$${\displaystyle K^{m}}$${\displaystyle \mathbf {v} }$${\displaystyle K^{n}}$

$${\displaystyle {\begin{aligned}\mathbf {Mv} &=\sigma \mathbf {u} ,\\[3mu]\mathbf {M} ^{*}\mathbf {u} &=\sigma \mathbf {v} .\end{aligned}}}$$

ベクトル⁠ ⁠${\displaystyle \mathbf {u} }$と⁠ ⁠ は、それぞれ${\displaystyle \mathbf {v} }$⁠ ⁠の左特異ベクトルと右特異ベクトルと呼ばれます。 ${\displaystyle \sigma ,}$

任意の特異値分解において

$${\displaystyle \mathbf {M} =\mathbf {U} \mathbf {\Sigma } \mathbf {V} ^{*}}$$

⁠ ⁠${\displaystyle \mathbf {\Sigma } }$の対角要素は⁠ ⁠${\displaystyle \mathbf {M} .}$の特異値に等しくなります。 ⁠ ⁠と⁠ ⁠の最初の⁠ ⁠${\displaystyle p=\min(m,n)}$列は、それぞれ対応する特異値の左特異ベクトルと右特異ベクトルです。したがって、上記の定理は次のことを意味します。 ${\displaystyle \mathbf {U} }$${\displaystyle \mathbf {V} }$

• ⁠ ⁠${\displaystyle m\times n}$行列⁠ ⁠${\displaystyle \mathbf {M} }$には最大で⁠ ⁠ 個の${\displaystyle p}$異なる特異値があります。
• ⁠ ⁠の各特異値の左特異ベクトルを張る基底ベクトルのサブセットを持つ ⁠ ⁠ ⁠ のユニタリ基底を見つけること は常に可能です。${\displaystyle \mathbf {U} }$${\displaystyle K^{m}}$${\displaystyle \mathbf {M} .}$
• ⁠ ⁠の各特異値の右特異ベクトルを張る基底ベクトルのサブセットを持つ ⁠ ⁠ ⁠ のユニタリ基底${\displaystyle \mathbf {V} }$を見つけることは常に可能です。${\displaystyle K^{n}}$${\displaystyle \mathbf {M} .}$

線形独立な 2 つの左 (または右) 特異ベクトルが見つかる特異値は退化と呼ばれます。⁠ ⁠${\displaystyle \mathbf {u} _{1}}$と⁠ ⁠ が${\displaystyle \mathbf {u} _{2}}$2 つの左特異ベクトルで、どちらも特異値 σ に対応する場合、2 つのベクトルの正規化された線形結合も、特異値 σ に対応する左特異ベクトルになります。 同様のことが右特異ベクトルにも当てはまります。 独立した左特異ベクトルと右特異ベクトルの数は一致し、これらの特異ベクトルは⁠ ⁠ ⁠${\displaystyle \mathbf {U} }$と⁠ ⁠${\displaystyle \mathbf {V} }$の同じ列に現れ、すべて同じ値を持つ⁠ ⁠ ⁠${\displaystyle \mathbf {\Sigma } }$の対角要素に対応します。${\displaystyle \sigma .}$

例外として、特異値 0 の左特異ベクトルと右特異ベクトルは、それぞれ⁠ ⁠のコカーネルとカーネルのすべての単位ベクトルで構成されますが、ランク ヌル定理により、 ⁠ ⁠の場合、これらのベクトルは同じ次元にはなりません。 すべての特異値がゼロでなくても、⁠ ⁠の場合はコカーネルが自明でないため、⁠ ⁠にはコカーネルからの ⁠ ⁠ 直交ベクトルが埋め込まれます。逆に、 ⁠ ⁠ の場合は、⁠ ⁠ にはカーネルからの ⁠ ⁠直交ベクトルが埋め込まれます。ただし、 ⁠ ⁠の特異値が存在する場合、 ⁠ ⁠または⁠ ⁠の余分な列は、すでに左特異ベクトルまたは右特異ベクトルとして表示されます。 ${\displaystyle \mathbf {M} ,}$${\displaystyle m\neq n.}$${\displaystyle m>n}$${\displaystyle \mathbf {U} }$${\displaystyle m-n}$${\displaystyle m<n,}$${\displaystyle \mathbf {V} }$${\displaystyle n-m}$${\displaystyle 0}$${\displaystyle \mathbf {U} }$${\displaystyle \mathbf {V} }$

非退化特異値は、単位位相因子⁠ ⁠${\displaystyle e^{i\varphi }}$による乗算（実数の場合は符号まで）まで、常に一意の左特異ベクトルと右特異ベクトルを持ちます。したがって、正方行列⁠ ⁠のすべての特異値が非退化かつ非ゼロである場合、その特異値分解は、 ${\displaystyle \mathbf {M} }$⁠ ⁠${\displaystyle \mathbf {U} }$の列に単位位相因子を乗算し、同時に⁠ ⁠${\displaystyle \mathbf {V} }$の対応する列に同じ単位位相因子を乗算するまで一意です。一般に、SVD は、各特異値のサブスペースにまたがる⁠ ⁠${\displaystyle \mathbf {U} }$と⁠ ⁠${\displaystyle \mathbf {V} }$の列ベクトルに均一に適用される任意のユニタリ変換、および ⁠ ⁠の核と余核にまたがる⁠ ⁠${\displaystyle \mathbf {U} }$と⁠ ⁠ の${\displaystyle \mathbf {V} }$ベクトルに対する任意のユニタリ変換まで一意です。${\displaystyle \mathbf {M} .}$

特異値分解は任意の${\displaystyle m\times n}$行列に適用できるという意味で非常に一般的ですが、固有値分解は正方対角化可能な行列にのみ適用できます。それでも、2 つの分解は関連しています。

⁠ ⁠ に${\displaystyle \mathbf {M} }$SVD ⁠ ⁠${\displaystyle \mathbf {M} =\mathbf {U} \mathbf {\Sigma } \mathbf {V} ^{*},}$がある場合、次の 2 つの関係が成立します。

$${\displaystyle {\begin{aligned}\mathbf {M} ^{*}\mathbf {M} &=\mathbf {V} \mathbf {\Sigma } ^{*}\mathbf {U} ^{*}\,\mathbf {U} \mathbf {\Sigma } \mathbf {V} ^{*}=\mathbf {V} (\mathbf {\Sigma } ^{*}\mathbf {\Sigma } )\mathbf {V} ^{*},\\[3mu]\mathbf {M} \mathbf {M} ^{*}&=\mathbf {U} \mathbf {\Sigma } \mathbf {V} ^{*}\,\mathbf {V} \mathbf {\Sigma } ^{*}\mathbf {U} ^{*}=\mathbf {U} (\mathbf {\Sigma } \mathbf {\Sigma } ^{*})\mathbf {U} ^{*}.\end{aligned}}}$$

これらの関係の右辺は左辺の固有値分解を表します。したがって、次のようになります。

• ⁠ ⁠${\displaystyle \mathbf {V} }$の列（右特異ベクトルと呼ばれる）は⁠ ⁠の固有ベクトルである。${\displaystyle \mathbf {M} ^{*}\mathbf {M} .}$
• ⁠ ⁠${\displaystyle \mathbf {U} }$の列（左特異ベクトルと呼ばれる）は、 ⁠ ⁠の固有ベクトルである。${\displaystyle \mathbf {M} \mathbf {M} ^{*}.}$
• ⁠ ⁠${\displaystyle \mathbf {\Sigma } }$の非ゼロ要素（非ゼロ特異値）は、 ⁠ ⁠ ⁠または⁠ ⁠ ⁠の非ゼロ固有値の平方根です。${\displaystyle \mathbf {M} ^{*}\mathbf {M} }$${\displaystyle \mathbf {M} \mathbf {M} ^{*}.}$

⁠ ⁠ が${\displaystyle \mathbf {M} }$正規行列、つまり正方行列であるという特殊なケースでは、スペクトル定理により、固有ベクトルの基底を使用してユニタリ 対角化できるため、対角線に沿って複素要素 ⁠ ⁠ を持つユニタリ行列⁠ ⁠と対角行列 ⁠ ⁠に対して⁠ ⁠として分解できます。 ⁠ ⁠が半正定値の場合、⁠ ⁠ は非負の実数となるため、分解⁠ ⁠ ⁠も特異値分解になります。 それ以外の場合は、各⁠ ⁠ ⁠の位相⁠ ⁠を対応する⁠ ⁠ ⁠または⁠ ⁠に移動することで、SVD として作り直すことができます。 ⁠ ⁠ SVD と非正規行列の自然な関係は、極分解定理によるものです。 ⁠ ⁠ここで、⁠ ⁠ は半正定値で正規であり、 ⁠ ⁠はユニタリです。 ${\displaystyle \mathbf {M} =\mathbf {U} \mathbf {D} \mathbf {U} ^{*}}$${\displaystyle \mathbf {U} }$${\displaystyle \mathbf {D} }$${\displaystyle \sigma _{i}}$${\displaystyle \mathbf {M} }$${\displaystyle \sigma _{i}}$${\displaystyle \mathbf {M} =\mathbf {U} \mathbf {D} \mathbf {U} ^{*}}$${\displaystyle e^{i\varphi }}$${\displaystyle \sigma _{i}}$${\displaystyle \mathbf {V} _{i}}$${\displaystyle \mathbf {U} _{i}.}$${\displaystyle \mathbf {M} =\mathbf {S} \mathbf {R} ,}$${\displaystyle \mathbf {S} =\mathbf {U} \mathbf {\Sigma } \mathbf {U} ^{*}}$${\displaystyle \mathbf {R} =\mathbf {U} \mathbf {V} ^{*}}$

したがって、半正定値行列を除いて、⁠ ⁠${\displaystyle \mathbf {M} ,}$の固有値分解と SVD は関連しているものの異なります。固有値分解は⁠ ⁠${\displaystyle {1}}$であり、 ⁠ ⁠ は${\displaystyle \mathbf {U} }$必ずしもユニタリではなく、⁠ ⁠ は${\displaystyle \mathbf {D} }$必ずしも半正定値ではありません。一方、SVD は⁠ ⁠${\displaystyle {1}}$であり、 ⁠ ⁠ は${\displaystyle \mathbf {\Sigma } }$対角かつ半正定値であり、⁠ ⁠${\displaystyle \mathbf {U} }$と⁠ ⁠ は、${\displaystyle \mathbf {V} }$行列⁠ ⁠ ⁠を除いて必ずしも関連していないユニタリ行列です。${\displaystyle \mathbf {M} .}$欠陥のない正方行列 のみが固有値分解を持ちますが、任意の⁠ ⁠${\displaystyle m\times n}$行列に SVD があります。

特異値分解は行列の擬似逆行列を計算するために使用できます。特異値分解による行列の擬似${\displaystyle \mathbf {M} }$逆行列 は${\displaystyle \mathbf {M} =\mathbf {U} \mathbf {\Sigma } \mathbf {V} ^{*}}$

$${\displaystyle \mathbf {M} ^{+}=\mathbf {V} {\boldsymbol {\Sigma }}^{+}\mathbf {U} ^{\ast },}$$

ここで、は の擬似逆行列であり、これはすべての非ゼロの対角要素をその逆数で置き換え、結果の行列を転置することによって形成されます。擬似逆行列は、線形最小二乗問題を解く 1 つの方法です。 ${\displaystyle {\boldsymbol {\Sigma }}^{+}}$${\displaystyle {\boldsymbol {\Sigma }}}$

一組の同次線形方程式は、行列⁠ ⁠とベクトル⁠ ⁠について⁠ ⁠${\displaystyle \mathbf {A} \mathbf {x} =\mathbf {0} }$と表すことができます。典型的な状況は、⁠ ⁠が既知であり、方程式を満たす非ゼロ⁠ ⁠ ⁠を決定することです。このような⁠ ⁠ ⁠ は⁠ ⁠のヌル空間に属し、 ⁠ ⁠の (右) ヌルベクトルと呼ばれることもあります。ベクトル⁠ ⁠ ⁠は、ゼロである⁠ ⁠ ⁠の特異値に対応する右特異ベクトルとして特徴付けることができます。この観察は、⁠ ⁠ が正方行列であり、消失する特異値を持たない場合、方程式には解として非ゼロ ⁠ ⁠ ⁠ ⁠ということを意味します。また、消失する特異値が複数ある場合、対応する右特異ベクトルの線形結合はいずれも有効な解であることを意味します。 （右）ヌルベクトルの定義と同様に、 ⁠ ⁠ を満たす非ゼロの ⁠ ⁠ ⁠は⁠ ⁠ ⁠の共役転置を表し、⁠ ⁠ ⁠は⁠ ⁠の左ヌルベクトルと呼ばれます。${\displaystyle \mathbf {A} }$${\displaystyle \mathbf {x} .}$${\displaystyle \mathbf {A} }$${\displaystyle \mathbf {x} }$${\displaystyle \mathbf {x} }$${\displaystyle \mathbf {A} }$${\displaystyle \mathbf {A} .}$${\displaystyle \mathbf {x} }$${\displaystyle \mathbf {A} }$${\displaystyle \mathbf {A} }$${\displaystyle \mathbf {x} }$${\displaystyle \mathbf {x} }$${\displaystyle \mathbf {x} ^{*}\mathbf {A} =\mathbf {0} }$${\displaystyle \mathbf {x} ^{*}}$${\displaystyle \mathbf {x} ,}$${\displaystyle \mathbf {A} .}$

全最小二乗問題は、制約の下でベクトル ⁠ ⁠ の2ノルムを最小化するベクトル⁠ ⁠${\displaystyle \mathbf {x} }$を求めます。解は、最小の特異値に対応する ⁠ ⁠の右特異ベクトルになります。${\displaystyle \mathbf {A} \mathbf {x} }$${\displaystyle \|\mathbf {x} \|=1.}$${\displaystyle \mathbf {A} }$

SVD のもう 1 つの用途は、行列の値域とヌル空間の明示的な表現を提供することです。⁠ ⁠の消失${\displaystyle \mathbf {M} .}$する特異${\displaystyle \mathbf {M} }$値に対応する右特異ベクトルは⁠ ⁠${\displaystyle \mathbf {M} }$のヌル空間に広がり、 ⁠ ${\displaystyle \mathbf {M} }$⁠の非ゼロ特異値に対応する左特異ベクトルは⁠ ${\displaystyle \mathbf {M} .}$⁠の範囲に広がります。たとえば、上記の例では、ヌル空間は⁠ ⁠ ⁠${\displaystyle \mathbf {V} ^{*}}$の最後の行に広がり、値域は⁠ ⁠の最初の 3 列に広がります。${\displaystyle \mathbf {U} .}$