線形最小二乗法の数値解析法

線形最小二乗法の数値法には、線形最小二乗問題 の数値解析が含まれます。

最小二乗問題への一般的なアプローチは次のように説明できます。n行m列 の 行列Sが あり、XSがXの像への直交射影である とします。この場合、最小化問題の解は次のように与えられます。 ${\displaystyle \operatorname {\,min} \,{\big \|}\mathbf {y} -X{\boldsymbol {\beta }}{\big \|}^{2}}$

${\displaystyle {\boldsymbol {\beta}}=S\mathbf {y} }$

単純に

${\displaystyle X{\boldsymbol {\beta}}=X(S\mathbf {y} )=(XS)\mathbf {y} }$

は、 Xのイメージ上への の直交投影に他なりません (下の図を参照してください。次のセクションで説明するように、XのイメージはXの列ベクトルによって生成される部分空間にすぎないこと に注意してください)。このような行列S を見つけるための一般的な方法をいくつか以下に説明します。 ${\displaystyle \mathbf {y} }$

この方程式は 正規方程式として知られています。フルランク行列X ^T Xを持つ正規方程式の代数解は次のように表すことができます。 ${\displaystyle (\mathbf {X} ^{\rm {T}}\mathbf {X} )\beta =\mathbf {X} ^{\rm {T}}y}$

${\displaystyle {\hat {\boldsymbol {\beta }}}=(\mathbf {X} ^{\rm {T}}\mathbf {X} )^{-1}\mathbf {X} ^{\rm {T}}\mathbf {y} =\mathbf {X} ^{+}\mathbf {y} }$

ここで、X ^{+ は}Xのムーア・ペンローズ擬似逆行列です。この方程式は正しく、多くのアプリケーションで使用できますが、正規方程式行列 (グラミアン行列) を逆行列化するのは計算効率がよくありません。例外は、解析的表現が必要な 数値平滑化と微分です。

行列X ^T Xが条件付き正定値行列である場合、つまりフルランクである場合、正規方程式はコレスキー分解 R ^T R を使用して直接解くことができます。ここで、Rは上三角行列であり、次のようになります。

${\displaystyle R^{\rm {T}}R{\hat {\boldsymbol {\beta }}}=X^{\rm {T}}\mathbf {y} .}$

解は、 zを解く前方置換ステップの 2 段階で得られます。

${\displaystyle R^{\rm {T}}\mathbf {z} =X^{\rm {T}}\mathbf {y} ,}$

続いて後方代入を行い、次のように解きます。 ${\displaystyle {\hat {\boldsymbol {\beta }}}}$

${\displaystyle R{\hat {\boldsymbol {\beta }}}=\mathbf {z} .}$

両方の置換は、 Rの三角形の性質によって容易になります。

最小二乗問題を解く直交分解法は、正規方程式法よりも遅くなりますが、積X ^T Xの形成を回避するため、数値的に安定しています。

残差は行列表記で次のように表される。

${\displaystyle \mathbf {r} =\mathbf {y} -X{\hat {\boldsymbol {\beta }}}.}$

行列X は次のように直交分解、例えばQR 分解を受けます。

${\displaystyle X=Q{\begin{pmatrix}R\\0\end{pmatrix}}\ }$、

ここで、Q はm × m 直交行列( Q ^T Q=I )であり、R はn × n上三角行列です。 ${\displaystyle r_{ii}>0}$

残差ベクトルはQ ^Tで左乗算されます。

${\displaystyle Q^{\rm {T}}\mathbf {r} =Q^{\rm {T}}\mathbf {y} -\left(Q^{\rm {T}}Q\right){\begin{pmatrix}R\\0\end{pmatrix}}{\hat {\boldsymbol {\beta }}}={\begin{bmatrix}\left(Q^{\rm {T}}\mathbf {y} \right)_{n}-R{\hat {\boldsymbol {\beta }}}\\\left(Q^{\rm {T}}\mathbf {y} \right)_{mn}\end{bmatrix}}={\begin{bmatrix}\mathbf {u} \\\mathbf {v} \end{bmatrix}}}$

Q は直交なので、残差の二乗和sは次のように表すことができます。

${\displaystyle s=\|\mathbf {r} \|^{2}=\mathbf {r} ^{\rm {T}}\mathbf {r} =\mathbf {r} ^{\rm {T}}QQ^{\rm {T}}\mathbf {r} =\mathbf {u} ^{\rm {T}}\mathbf {u} +\mathbf {v} ^{\rm {T}}\mathbf {v} }$

v はβに依存しないため、 sの最小値は上部のブロックuがゼロのときに達成されます。したがって、パラメータは次の式を解くことで求められます。

${\displaystyle R{\hat {\boldsymbol {\beta }}}=\left(Q^{\rm {T}}\mathbf {y} \right)_{n}.}$

R は上三角なので、これらの方程式は簡単に解けます。

Xの別の分解法として特異値分解（SVD）がある^[1]

${\displaystyle X=U\Sigma V^{\rm {T}}\ }$、

ここで、Uはm行m 列の直交行列、 Vはn行 n 列の直交行列、はm行n列の行列で、主対角線以外のすべての要素は0です。の擬似逆行列は、非ゼロの対角要素を反転して転置することで簡単に得られます。したがって、 ${\displaystyle \Sigma }$${\displaystyle \Sigma }$

${\displaystyle \mathbf {X} \mathbf {X} ^{+}=U\Sigma V^{\rm {T}}V\Sigma ^{+}U^{\rm {T}}=UPU^{\rm {T}},}$

ここで、P は、非ゼロの対角要素を 1 に置き換えることによって得られます。 (擬似逆行列の性質) ので、行列はXのイメージ (列空間) への直交射影です。上記の導入で説明した一般的なアプローチに従って (直交射影である XSを見つけます)、${\displaystyle \Sigma }$${\displaystyle (\mathbf {X} \mathbf {X} ^{+})^{*}=\mathbf {X} \mathbf {X} ^{+}}$${\displaystyle UPU^{\rm {T}}}$

${\displaystyle S=\mathbf {X} ^{+}}$、

そして、

${\displaystyle \beta =V\Sigma ^{+}U^{\rm {T}}\mathbf {y} }$

は最小二乗問題の解です。この方法は最も計算量が多いですが、正規方程式行列X ^T Xが非常に悪条件である場合（つまり、その条件数にマシンの相対的な丸め誤差を乗じた値がかなり大きい場合）に特に便利です。その場合、逆行列に最小の特異値を含めると、解に数値ノイズが追加されるだけです。これは、特定のしきい値を下回るすべての特異値を明示的にゼロに設定して無視することにより、より安定した正確な答えを与える切り捨て SVD アプローチで解決できます。これは因子分析に密接に関連するプロセスです。

線形最小二乗法の数値的手法は重要です。なぜなら、線形回帰モデルは、正式な統計モデルとしても、データセットの調査としても、最も重要なモデルの一種だからです。統計コンピュータ パッケージの大半には、線形最小二乗法の計算を利用する回帰分析の機能が含まれています。したがって、これらの計算が効率的に行われ、丸め誤差を適切に考慮する作業に多大な労力が費やされてきたのは当然のことです。

個々の統計分析は、単独で行われることはほとんどなく、むしろ一連の調査手順の一部です。線形最小二乗法の数値的手法を検討する際のいくつかのトピックは、この点に関連しています。したがって、重要なトピックは、

• 同じデータセットに対して、類似した、多くの場合ネストされたモデルが多数考慮される計算。つまり、基本的に同じデータポイントのセットに対して、同じ従属変数を持ちながら異なる独立変数のセットを持つモデルが考慮されることになります。
• データ ポイントの数が増えるにつれて、順番に実行される分析の計算。
• 非常に大規模なデータセットに対する特別な考慮事項。

最小二乗法による線形モデルのフィッティングは、統計分析の文脈で頻繁に発生しますが、常に発生するわけではありません。したがって、このような問題の計算効率の考慮は、線形最小二乗問題の正式な解に限定されず、このような分析に必要なすべての補助量に及ぶことが重要になる場合があります。

行列の計算は、他の計算と同様に、丸め誤差の影響を受けます。行列の逆行列の計算方法の選択に関するこれらの影響の初期の概要は、ウィルキンソンによって提供されました。^[2]

• 数値線形代数
• 非線形最小二乗法の数値解析

• Ake Björck(1996)、「最小二乗問題に対する数値的手法」、SIAM。
• Ake Björck(2024)、「最小二乗問題のための数値手法：第2版」、SIAM、ISBN 978-1-61197-794-3。
• RW Farebrother、「線形最小二乗計算」、CRC Press、1988年。
• Barlow, Jesse L. (1993)、「第 9 章: 線形最小二乗問題の解法の数値的側面」、Rao, CR (編)、計算統計、統計ハンドブック、第 9 巻、North-Holland、ISBN 0-444-88096-8
• ビョルク、オーケ (1996)。最小二乗問題の数値的手法。フィラデルフィア：サイアム。ISBN 0-89871-360-9。
• Goodall, Colin R. (1993)、「第 13 章: QR 分解を使用した計算」、Rao, CR (編)、『計算統計学』、統計ハンドブック、第 9 巻、North-Holland、ISBN 0-444-88096-8
• 国立物理学研究所 (1961)、「第 1 章: 線形方程式と行列: 直接法」、現代の計算方法、応用科学に関するノート、第 16 巻 (第 2 版)、女王陛下の文具室
• 国立物理学研究所 (1961)、「第 2 章: 線形方程式と行列: 自動コンピュータによる直接法」、現代の計算方法、応用科学に関するノート、第 16 巻 (第 2 版)、女王陛下の文具室