ヘッセ行列

もし${\displaystyle f}$は3変数の同次多項式であり、方程式は${\displaystyle f=0}$これは平面射影曲線の陰関数方程式です。曲線の変曲点は、ヘッセ行列式がゼロとなる非特異点と正確に一致します。ベズーの定理によれば、ヘッセ行列式は3次多項式であるため、3次平面曲線には最大で9つの変曲点しかありません。

凸関数のヘッセ行列は正半定値である。この性質を改良することで、臨界点が${\displaystyle x}$は、次のとおり局所最大値、局所最小値、または鞍点です（いずれの場合も、関数の勾配がで0に等しいことが必要です）。${\displaystyle x}$):

ヘッセ行列が正定値である場合${\displaystyle x,}$それから${\displaystyle f}$孤立した局所的最小値に達する${\displaystyle x.}$ヘッセ行列が負定値である場合${\displaystyle x,}$それから${\displaystyle f}$で孤立した局所最大値に達する${\displaystyle x.}$ヘッセ行列が正と負の両方の固有値を持つ場合、${\displaystyle x}$は鞍点である${\displaystyle f.}$そうでなければ、このテストは結論が出ない。これは、局所最小値ではヘッセ行列が正半定値であり、局所最大値ではヘッセ行列が負半定値であることを意味する。

正半定値および負半定値ヘッセ行列の場合、このテストは決定的なものではありません（ヘッセ行列が半定値ではあるが定値ではない臨界点は、局所極値または鞍点である可能性があります）。ただし、モース理論の観点からは、より詳細な説明が可能です。

1変数および2変数の関数の2階微分判定は、一般の場合よりも簡単です。1変数の場合、ヘッセ行列にはちょうど1つの2階微分が含まれます。それが正であれば、${\displaystyle x}$は局所最小値であり、負の場合は、${\displaystyle x}$は局所最大値です。ゼロの場合は、判定不能です。2変数の場合、行列式は固有値の積であるため、行列式を使用できます。行列式が正の場合は、固有値は両方とも正または両方とも負です。行列式が負の場合は、2つの固有値の符号が異なります。行列式がゼロの場合は、2階微分判定は判定不能です。

同様に、局所最小値または最大値の十分条件となる二次条件は、ヘッセ行列の主小行列式（部分行列の行列式）の列で表すことができます。これらの条件は、制約付き最適化のための境界付きヘッセ行列について次節で説明する条件の特殊なケースです。制約の数がゼロの場合です。具体的には、最小値の十分条件は、これらの主小行列式がすべて正であることであり、最大値の十分条件は、小行列式の符号が交互に変化することです。${\displaystyle 1\times 1}$軽微なことは否定的な意味合いを持つ。

関数の勾配（偏導関数のベクトル）が${\displaystyle f}$ある時点でゼロになる${\displaystyle \mathbf {x} ,}$それから${\displaystyle f}$臨界点（または停留点）は${\displaystyle \mathbf {x} .}$ヘッセ行列の行列式は${\displaystyle \mathbf {x} }$は、文脈によっては判別式と呼ばれる。この判別式がゼロの場合、${\displaystyle \mathbf {x} }$は退化臨界点と呼ばれる。${\displaystyle f,}$または非モース臨界点${\displaystyle f.}$そうでなければ非退化であり、モース臨界点と呼ばれる。${\displaystyle f.}$

ヘッセ行列は、その核と固有値によって臨界点を分類できるため、モース理論とカタストロフィー理論において重要な役割を果たします。 ^{[ 2 ] [ 3 ] [ 4 ]}

関数の臨界点におけるヘッセ行列の行列式は、多様体として捉えた関数のガウス曲率に等しくなります。その点におけるヘッセ行列の固有値は関数の主曲率であり、固有ベクトルは曲率の主方向です。（ガウス曲率 § 主曲率との関係を参照。）

ヘッセ行列は、関数の局所テイラー展開の二次項の係数であるため、ニュートン型法の大規模最適化問題で使用されます。つまり、 $${\displaystyle y=f(\mathbf {x} +\Delta \mathbf {x} )\estimate f(\mathbf {x} )+\nabla f(\mathbf {x} )^{\mathsf {T}}\Delta \mathbf {x} +{\frac {1}{2}}\,\Delta \mathbf {x} ^{\mathsf {T}}\mathbf {H} (\mathbf {x} )\,\Delta \mathbf {x} }$$ どこ${\displaystyle \nabla f}$勾配は${\displaystyle \left({\frac {\partial f}{\partial x_{1}}},\ldots ,{\frac {\partial f}{\partial x_{n}}}\right).}$ヘッセ行列全体を計算して保存するには${\displaystyle \Theta \left(n^{2}\right)}$メモリは、ニューラルネットワークの損失関数、条件付き確率場、および多数のパラメータを持つその他の統計モデルなどの高次元関数には実行不可能です。このような状況のために、切り捨てニュートン法と準ニュートン法が開発されました。後者のアルゴリズム群はヘッセ行列の近似を使用します。最もよく知られている準ニュートン法の1つはBFGSです。^{[ 5 ]}

このような近似では、最適化アルゴリズムがヘッセ行列を線形演算子としてのみ使用するという事実を利用することがある。${\displaystyle \mathbf {H} (\mathbf {v} ),}$まず、勾配の局所展開にもヘッセ行列が現れることに注目して進めます。 $${\displaystyle \nabla f(\mathbf {x} +\Delta \mathbf {x} )=\nabla f(\mathbf {x} )+\mathbf {H} (\mathbf {x} )\,\Delta \mathbf {x} +{\mathcal {O}}(\|\Delta \mathbf {x} \|^{2})}$$

賃貸${\displaystyle \Delta \mathbf {x} =r\mathbf {v} }$あるスカラーに対して${\displaystyle r,}$これにより $${\displaystyle \mathbf {H} (\mathbf {x} )\,\Delta \mathbf {x} =\mathbf {H} (\mathbf {x} )r\mathbf {v} =r\mathbf {H} (\mathbf {x} )\mathbf {v} =\nabla f(\mathbf {x} +r\mathbf {v} )-\nabla f(\mathbf {x} )+{\mathcal {O}}(r^{2}),}$$ つまり、 $${\displaystyle \mathbf {H} (\mathbf {x} )\mathbf {v} ={\frac {1}{r}}\left[\nabla f(\mathbf {x} +r\mathbf {v} )-\nabla f(\mathbf {x} )\right]+{\mathcal {O}}(r)}$$ したがって、勾配が既に計算されている場合、近似ヘッセ行列は（勾配の大きさに比例する）数のスカラー演算で計算できます。（プログラミングは簡単ですが、この近似スキームは数値的に安定していません。${\displaystyle r}$エラーを防ぐために小さくする必要がある${\displaystyle {\mathcal {O}}(r)}$項は増加するが、減少させると最初の項の精度が低下する。^{[ 6 ]}）

特にランダム探索ヒューリスティクスに関しては、進化戦略の共分散行列は、スカラー係数と小さなランダムな変動を除いて、ヘッセ行列の逆行列に適合します。この結果は、個体群サイズが増加するにつれて、二次近似に基づいて、単一親戦略と静的モデルに対して正式に証明されています。^{[ 7 ]}

ヘッセ行列は、画像処理やコンピュータビジョンにおいて画像処理演算子を表現するためによく使用されます（ガウシアンラプラシアン（LoG）ブロブ検出器、ヘッセ行列式（DoH）ブロブ検出器、スケール空間を参照）。赤外分光法におけるさまざまな分子周波数を計算するために、ノーマルモード解析で使用できます。^{[ 8 ]}また、局所感度や統計診断にも使用できます。^{[ 9 ]}

境界付きヘッセ行列は、特定の制約付き最適化問題における2階微分テストに使用されます。関数が与えられた場合${\displaystyle f}$以前に検討したが、制約関数を追加する${\displaystyle g}$そのため${\displaystyle g(\mathbf {x} )=c,}$境界付きヘッセ行列はラグランジュ関数のヘッセ行列である${\displaystyle \Lambda (\mathbf {x} ,\lambda )=f(\mathbf {x} )+\lambda [g(\mathbf {x} )-c]}$: ^{[ 10 ]}$${\displaystyle \mathbf {H} (\Lambda )={\begin{bmatrix}{\dfrac {\partial ^{2}\Lambda }{\partial \lambda ^{2}}}&{\dfrac {\partial ^{2}\Lambda }{\partial \lambda \partial \mathbf {x} }}\\\left({\dfrac {\partial ^{2}\Lambda }{\partial \lambda \partial \mathbf {x} }}\right)^{\mathsf {T}}&{\dfrac {\partial ^{2}\Lambda }{\partial \mathbf {x} ^{2}}}\end{bmatrix}}={\begin{bmatrix}0&{\dfrac {\partial g}{\partial x_{1}}}&{\dfrac {\partial g}{\partial x_{2}}}&\cdots &{\dfrac {\partial g}{\partial x_{n}}}\\[2.2ex]{\dfrac {\partial g}{\partial x_{1}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{1}^{2}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{1}\,\partial x_{2}}}&\cdots &{\dfrac {\partial ^{2}\Lambda }{\partial x_{1}\,\partial x_{n}}}\\[2.2ex]{\dfrac {\partial g}{\partial x_{2}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{2}\,\partial x_{1}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{2}^{2}}}&\cdots &{\dfrac {\partial ^{2}\Lambda }{\partial x_{2}\,\partial x_{n}}}\\[2.2ex]\vdots &\vdots &\vdots &\ddots &\vdots \\[2.2ex]{\dfrac {\partial g}{\partial x_{n}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{n}\,\partial x_{1}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{n}\,\partial x_{2}}}&\cdots &{\dfrac {\partial ^{2}\Lambda }{\partial x_{n}^{2}}}\end{bmatrix}}={\begin{bmatrix}0&{\dfrac {\partial g}{\partial \mathbf {x} }}\\\left({\dfrac {\partial g}{\partial \mathbf {x} }}\right)^{\mathsf {T}}&{\dfrac {\partial ^{2}\Lambda }{\partial \mathbf {x} ^{2}}}\end{bmatrix}}}$$

例えば、${\displaystyle m}$制約条件の場合、左上隅のゼロは${\displaystyle m\times m}$ゼロのブロックがあり、${\displaystyle m}$上部の境界線と${\displaystyle m}$左側の境界線列。

極値は（非特異ヘッセ行列を持つ臨界点の中で）正定値または負定値のヘッセ行列によって特徴付けられるという上記の規則は、境界付きヘッセ行列は負定値でも正定値でもないため、ここでは適用できません。${\displaystyle \mathbf {z} ^{\mathsf {T}}\mathbf {H} \mathbf {z} =0}$もし${\displaystyle \mathbf {z} }$は、その最初の要素のみがゼロでないベクトルです。

ここでの2階微分テストは、特定のセットの行列式の符号制限から成ります。${\displaystyle n-m}$境界付きヘッセ行列のサブ行列。^{[ 11 ]}直感的には、${\displaystyle m}$制約は問題を次の問題に縮小することと考えることができる。${\displaystyle n-m}$自由変数。（例えば、最大化${\displaystyle f\left(x_{1},x_{2},x_{3}\right)}$制約条件に従って${\displaystyle x_{1}+x_{2}+x_{3}=1}$最大化に還元できる${\displaystyle f\left(x_{1},x_{2},1-x_{1}-x_{2}\right)}$制約なしに。）

具体的には、境界付きヘッセ行列の主小行列式（左上隅に配置された部分行列の行列式）の列に符号条件が課せられ、最初の${\displaystyle 2m}$主小短調は無視され、最小の小短調は切り詰められた最初の音で構成される。${\displaystyle 2m+1}$行と列、次の行と列は切り捨てられた最初の行と列で構成されます${\displaystyle 2m+2}$行と列など、最後は縁取りされたヘシアン全体になります。${\displaystyle 2m+1}$より大きい${\displaystyle n+m,}$すると、最小の主長小音階はヘシアン小音階そのものである。^{[ 12 ]}したがって、${\displaystyle n-m}$考慮すべき小変数はそれぞれ、候補となる最大値または最小値として考慮される特定の点で評価される。局所最大値の十分条件は、これらの小変数の符号が交互に変化し、最小の小変数の符号が${\displaystyle (-1)^{m+1}.}$ 局所最小値の十分条件は、これらのマイナーがすべて次の符号を持つことです。${\displaystyle (-1)^{m}.}$（制約のないケースでは${\displaystyle m=0}$これらの条件は、境界のないヘッセ行列がそれぞれ負定値または正定値となる条件と一致する。

もし${\displaystyle f}$代わりにベクトル場${\displaystyle \mathbf {f}$ :\mathbb {R} ^{n}\to \mathbb {R} ^{m},} つまり、 $${\displaystyle \mathbf {f} (\mathbf {x} )=\left(f_{1}(\mathbf {x} ),f_{2}(\mathbf {x} ),\ldots ,f_{m}(\mathbf {x} )\right),}$$ すると、2 階偏導関数の集合は${\displaystyle n\times n}$行列ではなく、3 階テンソルです。これは、${\displaystyle m}$ヘッセ行列は、各成分ごとに1つずつあります。${\displaystyle \mathbf {f} }$: $${\displaystyle \mathbf {H} (\mathbf {f} )=\left(\mathbf {H} (f_{1}),\mathbf {H} (f_{2}),\ldots ,\mathbf {H} (f_{m})\right).}$$ このテンソルは、次の場合に通常のヘッセ行列に退化します。${\displaystyle m=1.}$

複数の複素変数の文脈では、ヘッセ行列は一般化できる。${\displaystyle f\colon \mathbb {C} ^{n}\to \mathbb {C} ,}$そして書く${\displaystyle f\left(z_{1},\ldots ,z_{n}\right).}$ 特定する${\displaystyle {\mathbb {C} }^{n}}$と${\displaystyle {\mathbb {R} }^{2n}}$通常の「本物の」ヘシアンは${\displaystyle 2n\times 2n}$行列。多変数複素数における研究対象は正則関数、すなわちn次元コーシー・リーマン条件の解であるため、通常は座標の正則変換に対して不変な情報を含むヘッセ行列の部分に注目します。この「部分」は、いわゆる複素ヘッセ行列であり、行列です。${\displaystyle \left({\frac {\partial ^{2}f}{\partial z_{j}\partial {\bar {z}}_{k}}}\right)_{j,k}.}$ 注意：${\displaystyle f}$が正則関数であれば、その複素ヘッセ行列は恒等的にゼロとなるため、複素ヘッセ行列は滑らかな関数を研究するために使用されるが、正則関数ではない。例えば、レヴィ擬凸性を参照のこと。正則関数を扱う場合、ヘッセ行列を考えることができる。${\displaystyle \left({\frac {\partial ^{2}f}{\partial z_{j}\partial z_{k}}}\right)_{j,k}.}$

させて${\displaystyle (M,g)}$リーマン多様体であり、${\displaystyle \nabla }$レヴィ＝チヴィタとの関連性。${\displaystyle f:M\to \mathbb {R} }$は滑らかな関数とする。ヘッセ行列を次のように定義する。 $${\displaystyle \operatorname {Hess} (f)\in \Gamma \left(T^{*}M\otimes T^{*}M\right)\quad {\text{ by }}\quad \operatorname {Hess} (f):=\nabla \nabla f=\nabla df,}$$ これは、関数の第一共変微分がその常微分と同じであるという事実を利用しています。局所座標を選択する${\displaystyle \left\{x^{i}\right\}}$ヘシアンのローカル表現は $${\displaystyle \operatorname {Hess} (f)=\nabla _{i}\,\partial _{j}f\ dx^{i}\!\otimes \!dx^{j}=\left({\frac {\partial ^{2}f}{\partial x^{i}\partial x^{j}}}-\Gamma _{ij}^{k}{\frac {\partial f}{\partial x^{k}}}\right)dx^{i}\otimes dx^{j}}$$ どこ${\displaystyle \Gamma _{ij}^{k}}$これらは接続の クリストッフェル記号である。ヘシアンの他の同等の形式は次のように与えられる。$${\displaystyle \operatorname {Hess} (f)(X,Y)=\langle \nabla _{X}\operatorname {grad} f,Y\rangle \quad {\text{ and }}\quad \operatorname {Hess} (f)(X,Y)=X(Yf)-df(\nabla _{X}Y).}$$