降下方向

最適化において、降下方向は目的関数の局所的最小値を指すベクトルです。 ${\displaystyle \mathbf {p} \in \mathbb {R} ^{n}}$${\displaystyle \mathbf {x} ^{*}}$${\displaystyle f:\mathbb {R} ^{n}\to \mathbb {R} }$

直線探索などの反復法による計算では、番目の反復での下降方向が となる任意の方向と定義されます。ここで、 は内積を表します。このようなアプローチの理由は、 に沿った小さなステップにより、テイラーの定理により が確実に減少するためです。 ${\displaystyle \mathbf {x} ^{*}}$${\displaystyle \mathbf {p} _{k}\in \mathbb {R} ^{n}}$${\displaystyle k}$${\displaystyle \mathbf {p} _{k}}$${\displaystyle \langle \mathbf {p} _{k},\nabla f(\mathbf {x} _{k})\rangle <0}$${\displaystyle \langle ,\rangle }$${\displaystyle \mathbf {p} _{k}}$${\displaystyle \displaystyle f}$

この定義を使用すると、非ゼロの勾配の負の値は常に下降方向になります。 ${\displaystyle \langle -\nabla f(\mathbf {x} _{k}),\nabla f(\mathbf {x} _{k})\rangle =-\langle \nabla f(\mathbf {x} _{k}),\nabla f(\mathbf {x} _{k})\rangle <0}$

降下方向を計算する方法は数多くあり、それぞれに利点が異なります。たとえば、勾配降下法や共役勾配法などがあります。

より一般的には、が正定値行列である場合、は における降下方向です。^{[1]この一般性は、}前処理付き勾配降下法で使用されます。 ${\displaystyle P}$${\displaystyle p_{k}=-P\nabla f(x_{k})}$${\displaystyle x_{k}}$

• 方向微分