ラグランジュ乗数

数学的最適化において、ラグランジュ乗数法は、方程式の制約（つまり、1つ以上の方程式が変数の選択された値によって正確に満たされるという条件）に従う関数の極大値と極小値を見つける戦略です。^[1]この方法は、数学者ジョゼフ＝ルイ・ラグランジュにちなんで名付けられました。

基本的な考え方は、制約付き問題を、制約なしの問題の導関数テストが適用できる形式に変換することである。関数の勾配と制約の勾配の関係は、むしろ自然に元の問題の再定式化につながり、ラグランジアン関数またはラグランジアンとして知られる。^[2]一般的な場合、ラグランジアンは次のように定義される。

$${\displaystyle {\mathcal {L}}(x,\lambda )\equiv f(x)+\langle \lambda ,g(x)\rangle }$$

関数 の場合、表記は内積を表します。この値はラグランジュ乗数と呼ばれます。 ${\displaystyle f,g}$${\displaystyle \langle \cdot ,\cdot \rangle }$${\displaystyle \lambda}$

内積がドット積として定義される単純なケースでは、ラグランジアンは

$${\displaystyle {\mathcal {L}}(x,\lambda )\equiv f(x)+\lambda \cdot g(x)}$$

この方法は次のように要約できる。等式制約 に従う関数の最大値または最小値を見つけるには、とラグランジュ乗数の関数として考えられるの停留点を見つける。これは、に関する偏微分を含め、すべての偏微分がゼロになる必要があることを意味する。^[3]${\displaystyle f}$${\displaystyle g(x)=0}$${\displaystyle {\mathcal {L}}}$${\displaystyle x}$${\displaystyle \lambda ~}$${\displaystyle \lambda ~}$

${\displaystyle {\frac {\partial {\mathcal {L}}}{\partial x}}=0}$  そして  ${\displaystyle {\frac {\ \partial {\mathcal {L}}\ }{\partial \lambda }}=0\ ;}$

または同等

${\displaystyle {\frac {\partial f(x)}{\partial x}}+\lambda \cdot {\frac {\partial g(x)}{\partial x}}=0}$  そして ${\displaystyle g(x)=0~.}$

元の制約付き最適化に対応する解は常にラグランジアン関数の鞍点であり、 ^{[4] [5]}境界付きヘッセ行列の定常性から定常点の中で識別することができます。^[6]

この方法の大きな利点は、制約条件に関して明示的にパラメータ化することなく最適化を解くことができることです。その結果、ラグランジュ乗数法は、制約条件付きの困難な最適化問題を解決するために広く使用されています。さらに、ラグランジュ乗数法は、 Karush-Kuhn-Tucker 条件によって一般化されており、与えられた定数 に対してという形式の不等式制約も考慮に入れることができます。 ${\displaystyle h(\mathbf {x} )\leq c}$${\displaystyle c}$

以下はラグランジュの乗数定理として知られています。^[7]

が目的関数、が制約関数で、両方とも に属します（つまり、連続した 1 次導関数を持ちます）。 が次の最適化問題に対する最適解であるとし、偏導関数の行列 に対して、となります。 ${\displaystyle f:\mathbb {R} ^{n}\to \mathbb {R} }$${\displaystyle g:\mathbb {R} ^{n}\to \mathbb {R} ^{c}}$${\displaystyle C^{1}}$${\displaystyle x_{\star}}$${\displaystyle {\Bigl [}\operatorname {D} g(x_{\star }){\Bigr ]}_{j,k}={\frac {\ \partial g_{j}\ }{\partial x_{k}}}}$${\displaystyle \operatorname {rank} (\operatorname {D} g(x_{\star }))=c\leq n}$

$${\displaystyle {\begin{aligned}&{\text{maximize }}f(x)\\&{\text{subject to: }}g(x)=0\end{aligned}}}$$

すると、次のような一意のラグランジュ乗数が存在します(次元が一致するように、明らかに列ベクトルとして扱われる、やや慣例的なものであることに注意してください。ただし、転置を取らずに行ベクトルにすることもできます)。 ${\displaystyle \lambda _{\star }\in \mathbb {R} ^{c}}$${\displaystyle \operatorname {D} f(x_{\star })=\lambda _{\star }^{\mathsf {T}}\operatorname {D} g(x_{\star })~.}$${\displaystyle \lambda _{\star }}$

ラグランジュの乗数定理は、等式制約の下で評価される関数の任意の局所的最大値（または最小値）において、制約条件が適用される場合（後述）、関数の勾配（その点）は、ラグランジュの乗数が係数として作用する、制約の勾配（その点）の線形結合として表すことができることを述べています。^[8]これは、制約のすべての勾配に垂直な任意の方向は、関数の勾配にも垂直であると言うことと同じです。または、関数の方向微分はすべての実行可能な方向で 0であると言うことと同じです。

制約が 1 つだけ、選択変数が 2 つだけの場合 (図 1 に例示)、最適化問題 を考えます (加法定数は に含まれるのではなく、別々に示されることがあります。その場合、制約は図 1 のように記述されます)。 と は両方とも連続した第 1偏導関数を持つと仮定します。ラグランジュ乗数(またはラグランジュ未定乗数) と呼ばれる新しい変数 ( )を導入し、 項が加算または減算される、によって定義されるラグランジュ関数(またはラグランジュ関数、ラグランジュ式) を調べます。が元の制約付き問題に対して の最大値である場合、が存在するので、 ( ) はラグランジュ関数 の停留点です(停留点とは、 の第 1 偏導関数が0 である点です)。この仮定は制約条件の適格性と呼ばれます。ただし、ラグランジュ乗数の方法は、制約付き問題における最適性に対する必要条件のみをもたらすため、すべての停留点で元の問題の解が得られるわけではありません。^{[9] [10] [11] [12] [13]}最小値や最大値に対する十分条件も存在しますが、特定の候補解が十分条件を満たす場合、その解が局所的に最良であることのみが保証されます。つまり、その解は近傍の許容される点よりも優れています。大域的最適値は、必要条件と局所的十分条件を満たす点で元の目的関数の値を比較することによって見つけることができます。 $${\displaystyle {\begin{aligned}{\underset {x,y}{\text{maximize}}}\quad &f(x,y)\\{\text{subject to}}\quad &g(x,y)=0.\end{aligned}}}$$${\displaystyle g}$${\displaystyle g(x,y)=c,}$${\displaystyle f}$${\displaystyle g}$${\displaystyle \lambda }$$${\displaystyle {\mathcal {L}}(x,y,\lambda )=f(x,y)+\lambda \cdot g(x,y),}$$${\displaystyle \lambda }$${\displaystyle f(x_{0},y_{0})}$${\displaystyle f(x,y)}$${\displaystyle \nabla g(x_{0},y_{0})\neq 0,}$${\displaystyle \lambda _{0}}$${\displaystyle x_{0},y_{0},\lambda _{0}}$${\displaystyle {\mathcal {L}}}$${\displaystyle \nabla g\neq 0}$

ラグランジュ乗数法は、最大値では、f ( x , y ) はg = 0である隣接点の方向には増加できないという直感に基づいています。増加していたら、g = 0に沿ってさらに上へ進むことができますが、これは開始点が実際には最大値ではなかったことを意味します。このように見ると、これは制約のない関数の導関数が0であるかどうかをテストすることとまったく同じです。つまり、方向導関数が関連する (実行可能な) 方向で 0 であることを確認しているのです。

さまざまなdの値に対してf ( x , y ) = dで与えられるfの輪郭と、 g ( x , y ) = cで与えられるgの輪郭を視覚化できます。

g = cの等高線に沿って歩くとします。歩いてもfがほとんど変化しない 点を見つけることに興味があります。これらの点が最大値である可能性があるからです。

これが起こる原因は 2 つあります。

1. 定義により、f はその等高線に沿って歩いても変化しないので、 fの等高線に触れることができます。これは、 fとgの等高線の接線がここでは平行であることを意味します。
2. fの「レベル」部分に到達しました。つまり、f はどの方向にも変化しません。

最初の可能性（ fの等高線に触れる）を確認するには、関数の勾配が等高線に垂直であるため、 fとgの等高線への接線が平行になるのは、 fとgの勾配が平行である場合のみであることに注意する。したがって、g（x、y）= cと なる点（x、y）が必要 であり、 $${\displaystyle \nabla _{x,y}f=\lambda \,\nabla _{x,y}g,}$$${\displaystyle \lambda }$

ここで、 は それぞれの勾配です。2 つの勾配ベクトルは平行ですが、勾配ベクトルの大きさは一般に等しくないため、定数が必要になります。 この定数はラグランジュ乗数と呼ばれます。 (規則によっては、 の前にマイナス記号が付きます)。 $${\displaystyle \nabla _{x,y}f=\left({\frac {\partial f}{\partial x}},{\frac {\partial f}{\partial y}}\right),\qquad \nabla _{x,y}g=\left({\frac {\partial g}{\partial x}},{\frac {\partial g}{\partial y}}\right)}$$${\displaystyle \lambda }$${\displaystyle \lambda }$

この方法は、がレベルであるという 2 番目の可能性も解決することに注意してください。fがレベルの場合、その勾配はゼロであり、に関係なく設定は解になります。 ${\displaystyle \lambda =0}$${\displaystyle \nabla _{x,y}g}$

これらの条件を1つの方程式に組み込むために、補助関数を導入して 解きます。 $${\displaystyle {\mathcal {L}}(x,y,\lambda )\equiv f(x,y)+\lambda \cdot g(x,y)\,,}$$$${\displaystyle \nabla _{x,y,\lambda }{\mathcal {L}}(x,y,\lambda )=0~.}$$

これは、3 つの未知数を持つ 3 つの方程式を解くことに相当することに注意してください。これがラグランジュ乗数法です。

の偏微分は​${\displaystyle \ \nabla _{\lambda }{\mathcal {L}}(x,y,\lambda )=0\ }$${\displaystyle \ g(x,y)=0\ ,}$${\displaystyle {\mathcal {L}}}$${\displaystyle \lambda }$${\displaystyle \ g(x,y)~.}$

要約すると $${\displaystyle \nabla _{x,y,\lambda }{\mathcal {L}}(x,y,\lambda )=0\iff {\begin{cases}\nabla _{x,y}f(x,y)=-\lambda \,\nabla _{x,y}g(x,y)\\g(x,y)=0\end{cases}}}$$

この方法は、変数 の関数に容易に一般化され、 n + 1 個の未知数を持つn + 1 個の方程式 を解くことになります。 ${\displaystyle n}$$${\displaystyle \nabla _{x_{1},\dots ,x_{n},\lambda }{\mathcal {L}}(x_{1},\dots ,x_{n},\lambda )=0}$$

fの制約付き極値はラグランジアン の臨界点ですが、必ずしも の局所的極値ではありません(以下の § 例 2 を参照)。 ${\displaystyle {\mathcal {L}}}$${\displaystyle {\mathcal {L}}}$

ラグランジアン をハミルトニアンとして再定式化することもできます。その場合、解はハミルトニアンの局所的最小値になります。これは、最適制御理論では、ポンチャギンの最小値原理の形で行われます。

ラグランジュ乗数法の解が必ずしもラグランジアンの極値ではないという事実は、数値最適化にも困難をもたらします。これは、例 5: 数値最適化で示されているように、これらの最小値は大きさのゼロと同じであるため、ラグランジアンの勾配の 大きさを最小化することで対処できます。

ラグランジュ乗数法は、同様の議論を使用して、複数の制約条件を持つ問題を解くように拡張できます。1点で交差する 2 つの直線制約条件に従う放物面を考えてみましょう。唯一の実行可能な解として、この点は明らかに制約付き極値です。ただし、のレベル セットは交差点でどちらの制約条件とも平行ではないことは明らかです (図 3 を参照)。代わりに、2 つの制約条件の勾配の線形結合になります。複数の制約条件の場合、それが一般に求めるものになります。ラグランジュ法では、 の勾配が必ずしもいずれかの単一の制約条件の勾配の倍数である点ではなく、すべての制約条件の勾配の線形結合である点を求めます。 ${\displaystyle f}$${\displaystyle f}$

具体的には、制約があり、次の式を満たす点の集合に沿って歩いているとします。与えられた制約関数の輪郭上のすべての点には、許容される方向の空間、つまり、すべての制約によって許容される方向の集合は、すべての制約の勾配に垂直な方向の空間です。この許容される移動の空間を で表し、制約の勾配の範囲を で表します。すると、のすべての要素に垂直なベクトルの空間は、${\displaystyle M}$${\displaystyle g_{i}(\mathbf {x} )=0,i=1,\dots ,M\,.}$${\displaystyle \mathbf {x} }$${\displaystyle g_{i}}$${\displaystyle \nabla g_{i}(\mathbf {x} )\,.}$${\displaystyle \ A\ }$${\displaystyle S\,.}$${\displaystyle A=S^{\perp }\,,}$${\displaystyle S\,.}$

我々は、歩いても変化しない点を見つけることに依然として興味があります。なぜなら、これらの点は（制約された）極値である可能性があるからです。したがって、 から遠ざかる許容される移動方向がに垂直であるような点を探します（そうでなければ、その許容される方向に沿って移動することで増加する可能性があります）。言い換えると、したがって、次のような スカラーがあります。${\displaystyle f}$${\displaystyle \mathbf {x} }$${\displaystyle \mathbf {x} }$${\displaystyle \nabla f(\mathbf {x} )}$${\displaystyle f}$${\displaystyle \nabla f(\mathbf {x} )\in A^{\perp }=S\,.}$${\displaystyle \lambda _{1},\lambda _{2},\ \dots ,\lambda _{M}}$$${\displaystyle \nabla f(\mathbf {x} )=\sum _{k=1}^{M}\lambda _{k}\,\nabla g_{k}(\mathbf {x} )\quad \iff \quad \nabla f(\mathbf {x} )-\sum _{k=1}^{M}{\lambda _{k}\nabla g_{k}(\mathbf {x} )}=0~.}$$

これらのスカラーはラグランジュ乗数です。これで、制約ごとに 1 つずつ、ラグランジュ乗数ができました。 ${\displaystyle M}$

前と同様に、補助関数を導入して 、 未知数を含む方程式 を解くことを解きます。 $${\displaystyle {\mathcal {L}}\left(x_{1},\ldots ,x_{n},\lambda _{1},\ldots ,\lambda _{M}\right)=f\left(x_{1},\ldots ,x_{n}\right)-\sum \limits _{k=1}^{M}{\lambda _{k}g_{k}\left(x_{1},\ldots ,x_{n}\right)}\ }$$$${\displaystyle \nabla _{x_{1},\ldots ,x_{n},\lambda _{1},\ldots ,\lambda _{M}}{\mathcal {L}}(x_{1},\ldots ,x_{n},\lambda _{1},\ldots ,\lambda _{M})=0\iff {\begin{cases}\nabla f(\mathbf {x} )-\sum _{k=1}^{M}{\lambda _{k}\,\nabla g_{k}(\mathbf {x} )}=0\\g_{1}(\mathbf {x} )=\cdots =g_{M}(\mathbf {x} )=0\end{cases}}}$$${\displaystyle n+M}$${\displaystyle \ n+M\ }$

複数の制約がある場合の制約適格性の仮定は、関連するポイントでの制約勾配が線形に独立していることです。

制約条件の下で極大値と極小値を求める問題は、微分可能多様体上の極大値と極小値を求める問題に一般化できる ^[14] 。以下では、ユークリッド空間やリーマン多様体である必要はない。勾配（リーマン計量の選択に依存する）のすべての出現は、外微分に置き換えることができる。${\displaystyle \ M~.}$${\displaystyle M}$${\displaystyle \ \nabla \ }$ ${\displaystyle \ \operatorname {d} ~.}$

を次元 の滑らかな多様体とします。 が0が正規の値である滑らかな関数で定義される部分多様体に制限されたときに、滑らかな関数の停留点を見つけたいとします。${\displaystyle \ M\ }$${\displaystyle \ m~.}$${\displaystyle \ x\ }$${\displaystyle \ f:M\to \mathbb {R} \ }$${\displaystyle \ N\ }$${\displaystyle \ g(x)=0\ ,}$${\displaystyle \ g:M\to \mathbb {R} \ }$

および を、およびの外微分とします。における制約の定常性はを意味します。同様に、核にはが含まれます。 言い換えると、および は比例 1 形式です。 このためには、次の連立方程式が成り立つことが必要かつ十分です。 ここで、 は外積を表します。 定常点は、上記の連立方程式の解に制約を加えたものです。方程式の左側は、分解可能な要素からなるの部分多様体に属しているため、方程式は独立ではないことに注意してください。 ${\displaystyle \ \operatorname {d} f\ }$${\displaystyle \ \operatorname {d} g\ }$${\displaystyle \ f\ }$${\displaystyle \ g\ }$${\displaystyle \ f|_{N}\ }$${\displaystyle \ x\in N\ }$${\displaystyle \ \operatorname {d} (f|_{N})_{x}=0~.}$${\displaystyle \ \ker(\operatorname {d} f_{x})\ }$${\displaystyle \ T_{x}N=\ker(\operatorname {d} g_{x})~.}$${\displaystyle \ \operatorname {d} f_{x}\ }$${\displaystyle \ \operatorname {d} g_{x}\ }$${\displaystyle \ {\tfrac {1}{2}}m(m-1)\ }$$${\displaystyle \operatorname {d} f_{x}\wedge \operatorname {d} g_{x}=0\in \Lambda ^{2}(T_{x}^{\ast }M)}$$${\displaystyle \ \wedge \ }$${\displaystyle \ x\ }$${\displaystyle \ g(x)=0~.}$${\displaystyle \ {\tfrac {1}{2}}m(m-1)\ }$${\displaystyle \ \Lambda ^{2}(T_{x}^{\ast }M)\ }$

この定式化では、ラグランジュ乗数を明示的に求める必要はない。ラグランジュ乗数とは、${\displaystyle \ \lambda \ }$${\displaystyle \ \operatorname {d} f_{x}=\lambda \cdot \operatorname {d} g_{x}~.}$

とを、単一の制約の場合に関する上記のセクションと同様にします。そこで説明した関数ではなく、が正規の値である成分関数を持つ滑らかな関数を考えます。を によって定義されるの部分多様体とします。${\displaystyle \ M\ }$${\displaystyle \ f\ }$${\displaystyle g}$${\displaystyle \ G:M\to \mathbb {R} ^{p}(p>1)\ ,}$${\displaystyle \ g_{i}:M\to \mathbb {R} \ ,}$${\displaystyle 0\in \mathbb {R} ^{p}}$${\displaystyle N}$${\displaystyle \ M\ }$${\displaystyle \ G(x)=0~.}$

${\displaystyle \ x\ }$はの定常点であり、かつを含む場合に限ります。便宜上、とを接写像またはヤコビアン ( は と正準に同一視できる) とします。部分空間は の次元よりも小さい次元を持ち、すなわち に属し、かつ が の像に属する場合に限ります。計算的に言えば、条件はが の行列の行空間、またはそれと同値な の行列の列空間(転置) に属することです。が の行列の列の外積を表す場合、 における の定常条件はになります 。ここ でも、この定式化では、ラグランジュ乗数を明示的に見つける必要はありません。 ${\displaystyle f|_{N}}$${\displaystyle \ \ker(\operatorname {d} f_{x})\ }$${\displaystyle \ \ker(\operatorname {d} G_{x})~.}$${\displaystyle \ L_{x}=\operatorname {d} f_{x}\ }$${\displaystyle \ K_{x}=\operatorname {d} G_{x}\ ,}$${\displaystyle \ \operatorname {d} G}$${\displaystyle \ TM\to T\mathbb {R} ^{p}~}$${\displaystyle \ T_{x}\mathbb {R} ^{p}}$${\displaystyle \ \mathbb {R} ^{p}}$${\displaystyle \ker(K_{x})}$${\displaystyle \ker(L_{x})}$${\displaystyle \ \dim(\ker(L_{x}))=n-1\ }$${\displaystyle \ \dim(\ker(K_{x}))=n-p~.}$ ${\displaystyle \ker(K_{x})}$${\displaystyle \ \ker(L_{x})\ }$${\displaystyle L_{x}\in T_{x}^{\ast }M}$${\displaystyle \ K_{x}^{\ast }:\mathbb {R} ^{p\ast }\to T_{x}^{\ast }M~.}$${\displaystyle L_{x}}$${\displaystyle \ K_{x}\ ,}$${\displaystyle K_{x}^{\ast }}$${\displaystyle \ \omega _{x}\in \Lambda ^{p}(T_{x}^{\ast }M)\ }$${\displaystyle \ K_{x}^{\ast }\ ,}$${\displaystyle \ f|_{N}\ }$${\displaystyle \ x\ }$$${\displaystyle L_{x}\wedge \omega _{x}=0\in \Lambda ^{p+1}\left(T_{x}^{\ast }M\right)}$$${\displaystyle \ \lambda _{1},\ldots ,\lambda _{p}\ }$$${\displaystyle \ \operatorname {d} f_{x}=\sum _{i=1}^{p}\lambda _{i}\operatorname {d} (g_{i})_{x}~.}$$

このセクションでは、制約方程式を 形式から形式に変更します。ここで、 は、ラグランジアン表現 の追加引数として考えられるm 個の実定数です。 ${\displaystyle g_{i}({\bf {x}})=0}$${\displaystyle \ g_{i}({\bf {x}})=c_{i}\ ,}$${\displaystyle \ c_{i}\ }$${\displaystyle {\mathcal {L}}}$

ラグランジュ乗数は、しばしば、何らかの興味ある量として解釈される。例えば、制約の等高線をパラメータ化することによって、つまりラグランジュ表現 が $${\displaystyle {\begin{aligned}&{\mathcal {L}}(x_{1},x_{2},\ldots ;\lambda _{1},\lambda _{2},\ldots ;c_{1},c_{2},\ldots )\\[4pt]={}&f(x_{1},x_{2},\ldots )+\lambda _{1}(c_{1}-g_{1}(x_{1},x_{2},\ldots ))+\lambda _{2}(c_{2}-g_{2}(x_{1},x_{2},\dots ))+\cdots \end{aligned}}}$$$${\displaystyle \ {\frac {\partial {\mathcal {L}}}{\partial c_{k}}}=\lambda _{k}~.}$$

したがって、λ _{k は}、制約パラメータの関数として最適化される量の変化率です。例として、ラグランジュ力学では、運動方程式は、作用、つまり運動エネルギーと位置エネルギーの差の時間積分 の静止点を見つけることによって導出されます。したがって、スカラーポテンシャルによる粒子への力F = −∇ Vは、粒子の制約された軌道の変化に伴う作用の変化（位置エネルギーから運動エネルギーへの変換）を決定するラグランジュ乗数として解釈できます。制御理論では、これは代わりに共状態方程式として定式化されます。

さらに、包絡線定理によれば、ラグランジュ乗数の最適値は、対応する制約定数が元の目的関数の最適達成値に及ぼす限界効果として解釈できる。最適値における値を星印（）で表すと、次のようになる。 ${\displaystyle \star }$$${\displaystyle {\frac {\ \operatorname {d} f\left(\ x_{1\star }(c_{1},c_{2},\dots ),\ x_{2\star }(c_{1},c_{2},\dots ),\ \dots \ \right)\ }{\operatorname {d} c_{k}}}=\lambda _{\star k}~.}$$

例えば、経済学では、プレイヤーの最適利益は行動の制約空間を前提として計算されます。ここで、ラグランジュ乗数は、与えられた制約の緩和（例えば、所得の変化を通じて）による目的関数（利益）の最適値の変化です。このような文脈では、制約の限界費用であり、影の価格と呼ばれます。^[15]${\displaystyle \ \lambda _{\star k}\ }$

制約付き局所的最大値または最小値に対する十分条件は、ラグランジアン表現の2次導関数の境界付きヘッセ行列の主要な小行列式（左上揃えのサブ行列の行列式）の列によって表すことができます。 ^{[6] [16]}

制約の下で最大化したいとします。実行可能集合は単位円であり、fの水準集合は対角線（傾き-1）であるため、最大値はで発生し、最小値はで発生することがグラフ上でわかります。${\displaystyle \ f(x,y)=x+y\ }$${\displaystyle \ x^{2}+y^{2}=1~.}$${\displaystyle \ \left({\tfrac {1}{\sqrt {2}}},{\tfrac {1}{\sqrt {2}}}\right)\ ,}$${\displaystyle \ \left(-{\tfrac {1}{\sqrt {2}}},-{\tfrac {1}{\sqrt {2}}}\right)~.}$

ラグランジュ乗数法の場合、制約は ラグランジュ関数であり、 が0に設定されている場合 と同等の関数です。 $${\displaystyle g(x,y)=x^{2}+y^{2}-1=0\ ,}$$$${\displaystyle {\begin{aligned}{\mathcal {L}}(x,y,\lambda )&=f(x,y)+\lambda \cdot g(x,y)\\[4pt]&=x+y+\lambda (x^{2}+y^{2}-1)\ ,\end{aligned}}}$$${\displaystyle \ f(x,y)\ }$${\displaystyle \ g(x,y)\ }$

これで勾配を計算できます。 したがって、次のようになります。 $${\displaystyle {\begin{aligned}\nabla _{x,y,\lambda }{\mathcal {L}}(x,y,\lambda )&=\left({\frac {\partial {\mathcal {L}}}{\partial x}},{\frac {\partial {\mathcal {L}}}{\partial y}},{\frac {\partial {\mathcal {L}}}{\partial \lambda }}\right)\\[4pt]&=\left(1+2\lambda x,1+2\lambda y,x^{2}+y^{2}-1\right)\ \color {gray}{,}\end{aligned}}}$$$${\displaystyle \nabla _{x,y,\lambda }{\mathcal {L}}(x,y,\lambda )=0\quad \Leftrightarrow \quad {\begin{cases}1+2\lambda x=0\\1+2\lambda y=0\\x^{2}+y^{2}-1=0\end{cases}}}$$

最後の方程式が元の制約であることに注意してください。

最初の2つの式は次式を得る。 最後の式に代入すると次式が得られる。 従って 、の定常点は $${\displaystyle x=y=-{\frac {1}{2\lambda }},\qquad \lambda \neq 0~.}$$$${\displaystyle {\frac {1}{4\lambda ^{2}}}+{\frac {1}{4\lambda ^{2}}}-1=0\ ,}$$$${\displaystyle \lambda =\pm {\frac {1}{\sqrt {2\ }}}\ ,}$$${\displaystyle {\mathcal {L}}}$$${\displaystyle \left({\tfrac {\sqrt {2\ }}{2}},{\tfrac {\sqrt {2\ }}{2}},-{\tfrac {1}{\sqrt {2\ }}}\right),\qquad \left(-{\tfrac {\sqrt {2\ }}{2}},-{\tfrac {\sqrt {2\ }}{2}},{\tfrac {1}{\sqrt {2\ }}}\right)~.}$$

これらの点で 目的関数fを評価すると、次の式が得られます。$${\displaystyle f\left({\tfrac {\sqrt {2\ }}{2}},{\tfrac {\sqrt {2\ }}{2}}\right)={\sqrt {2\ }}\ ,\qquad f\left(-{\tfrac {\sqrt {2\ }}{2}},-{\tfrac {\sqrt {2\ }}{2}}\right)=-{\sqrt {2\ }}~.}$$

したがって、制約付き最大値は であり、制約付き最小値は です。 ${\displaystyle \ {\sqrt {2\ }}\ }$${\displaystyle -{\sqrt {2}}}$

ここで、例1の目的関数を修正して 、円に沿って再び を最小化するのではなくを最小化するようにします。ここで のレベルセットは依然として傾きが −1 の線であり、これらのレベルセットに接する円上の点は再び および です。これらの接点は の最大値です。${\displaystyle \ f(x,y)=(x+y)^{2}\ }$${\displaystyle \ f(x,y)=x+y\ ,}$${\displaystyle \ g(x,y)=x^{2}+y^{2}-1=0~.}$${\displaystyle f}$${\displaystyle \ ({\sqrt {2}}/2,{\sqrt {2}}/2)\ }$${\displaystyle \ (-{\sqrt {2}}/2,-{\sqrt {2}}/2)~.}$${\displaystyle \ f~.}$

一方、最小値は、（構造上は負の値をとることができないため）のレベルで、およびで発生し、ここでのレベル曲線は制約に接しません。4つの点すべてを極値として正しく識別する条件は、最小値は によって特徴付けられ、最大値は によって特徴付けられます。${\displaystyle \ f=0\ }$${\displaystyle \ f\ }$${\displaystyle \ ({\sqrt {2}}/2,-{\sqrt {2}}/2)\ }$${\displaystyle \ (-{\sqrt {2}}/2,{\sqrt {2}}/2)\ ,}$${\displaystyle \ f\ }$${\displaystyle \ \nabla _{x,y,\lambda }\left(f(x,y)+\lambda \cdot g(x,y)\right)=0\ }$${\displaystyle \ \lambda =0\ }$${\displaystyle \ \lambda =-2~.}$

この例では、より複雑な計算を扱っていますが、それでも単一の制約の問題です。

の最大値を見つけたいとします。ただし 、 - 座標と- 座標が原点を中心とする半径 の円上にある必要があります。つまり、制約 $${\displaystyle f(x,y)=x^{2}y}$$${\displaystyle \ x\ }$${\displaystyle \ y\ }$${\displaystyle \ {\sqrt {3\ }}~.}$$${\displaystyle g(x,y)=x^{2}+y^{2}-3=0~.}$$

制約は1つだけなので、乗数も1つだけあります。${\displaystyle \ \lambda ~.}$

制約は、半径の円上ではゼロです。 の任意の倍数を追加しても、関心領域（元の制約が満たされる円上）では変更され ません。${\displaystyle \ g(x,y)\ }$${\displaystyle \ {\sqrt {3\ }}~.}$${\displaystyle \ g(x,y)\ }$${\displaystyle \ g(x,y)\ }$${\displaystyle \ g(x,y)\ }$

通常のラグランジュ乗数法を適用すると、 勾配を計算できる次の式が得られます。 したがって、 (iii)は元の制約式です。(i)は、またはを意味します。したがって、 (iii)により、 (ii)から次の式が得られます。これを(ii)に代入すると、次の式が得られます。これを(iii)に代入して解くと、次の式が得られます。したがって、次の6つの臨界点があります。$${\displaystyle {\begin{aligned}{\mathcal {L}}(x,y,\lambda )&=f(x,y)+\lambda \cdot g(x,y)\\&=x^{2}y+\lambda (x^{2}+y^{2}-3)\ ,\end{aligned}}}$$$${\displaystyle {\begin{aligned}\nabla _{x,y,\lambda }{\mathcal {L}}(x,y,\lambda )&=\left({\frac {\partial {\mathcal {L}}}{\partial x}},{\frac {\partial {\mathcal {L}}}{\partial y}},{\frac {\partial {\mathcal {L}}}{\partial \lambda }}\right)\\&=\left(2xy+2\lambda x,x^{2}+2\lambda y,x^{2}+y^{2}-3\right)~.\end{aligned}}}$$$${\displaystyle \nabla _{x,y,\lambda }{\mathcal {L}}(x,y,\lambda )=0\quad \iff \quad {\begin{cases}2xy+2\lambda x=0\\x^{2}+2\lambda y=0\\x^{2}+y^{2}-3=0\end{cases}}\quad \iff \quad {\begin{cases}x(y+\lambda )=0&{\text{(i)}}\\x^{2}=-2\lambda y&{\text{(ii)}}\\x^{2}+y^{2}=3&{\text{(iii)}}\end{cases}}}$$${\displaystyle \ x=0\ }$${\displaystyle \ \lambda =-y~.}$${\displaystyle x=0}$${\displaystyle \ y=\pm {\sqrt {3\ }}\ }$${\displaystyle \ \lambda =0\ }$${\displaystyle \ \lambda =-y\ ,}$${\displaystyle \ x^{2}=2y^{2}~.}$${\displaystyle \ y\ }$${\displaystyle \ y=\pm 1~.}$${\displaystyle \ {\mathcal {L}}\ :}$ $${\displaystyle ({\sqrt {2\ }},1,-1);\quad (-{\sqrt {2\ }},1,-1);\quad ({\sqrt {2\ }},-1,1);\quad (-{\sqrt {2\ }},-1,1);\quad (0,{\sqrt {3\ }},0);\quad (0,-{\sqrt {3\ }},0)~.}$$

これらの点において目的を評価すると、 $${\displaystyle f(\pm {\sqrt {2\ }},1)=2;\quad f(\pm {\sqrt {2\ }},-1)=-2;\quad f(0,\pm {\sqrt {3\ }})=0~.}$$

したがって、目的関数は（制約条件の下で）で大域的最大値に達し、で大域的最小値に達する。この点はの極小値であり、の極大値は、ヘッセ行列の考慮によって決定される。${\displaystyle \ (\pm {\sqrt {2\ }},1\ )}$${\displaystyle \ (\pm {\sqrt {2\ }},-1)~.}$${\displaystyle \ (0,{\sqrt {3\ }})\ }$${\displaystyle \ f\ }$${\displaystyle \ (0,-{\sqrt {3\ }})\ }$${\displaystyle \ f\ ,}$${\displaystyle \ {\mathcal {L}}(x,y,0)~.}$

は臨界点であるが、は極値では ないことに注意すること。${\displaystyle \ ({\sqrt {2\ }},1,-1)\ }$${\displaystyle \ {\mathcal {L}}\ ,}$${\displaystyle \ {\mathcal {L}}~.}$$${\displaystyle {\mathcal {L}}\left({\sqrt {2\ }}+\varepsilon ,1,-1+\delta \right)=2+\delta \left(\varepsilon ^{2}+\left(2{\sqrt {2\ }}\right)\varepsilon \right)~.}$$

の任意の近傍が与えられた場合、正の小さな値といずれかの符号の小さな値を選択して、より大きい値とより小さい値の両方を得ることができます。これは、この点（または実際には任意の臨界点）で評価されたのヘッセ行列からもわかります。これは不定行列です。 の臨界点のそれぞれは、 ^[4]の鞍点です。${\displaystyle \ ({\sqrt {2\ }},1,-1)\ ,}$${\displaystyle \ \varepsilon \ }$${\displaystyle \ \delta \ }$${\displaystyle \ {\mathcal {L}}}$${\displaystyle \ 2~.}$${\displaystyle \ {\mathcal {L}}\ }$${\displaystyle \ {\mathcal {L}}\ }$${\displaystyle \ {\mathcal {L}}~.}$

情報エントロピーが最大となる点上の離散確率分布を求めるとします。これは、点上の最も構造化されていない確率分布を求めるのと同じです。言い換えれば、シャノンのエントロピー方程式を最大化したいのです。 ${\displaystyle \ \{p_{1},p_{2},\ldots ,p_{n}\}\ }$${\displaystyle \ \{p_{1},p_{2},\cdots ,p_{n}\}~.}$$${\displaystyle f(p_{1},p_{2},\ldots ,p_{n})=-\sum _{j=1}^{n}p_{j}\log _{2}p_{j}~.}$$

これが確率分布であるためには、各点における確率の合計が1 に等しくなければならないため、制約は次のようになります。 ${\displaystyle \ p_{i}\ }$${\displaystyle \ x_{i}\ }$$${\displaystyle g(p_{1},p_{2},\ldots ,p_{n})=\sum _{j=1}^{n}p_{j}=1~.}$$

ラグランジュ乗数を使用して、すべての離散確率分布にわたって最大エントロピー点を見つけます。次のことが求められます。 これにより、次のn個の方程式 のシステムが得られます。 ${\displaystyle \ {\vec {p}}^{\,*}\ ,}$${\displaystyle \ {\vec {p}}\ }$${\displaystyle \ \{x_{1},x_{2},\ldots ,x_{n}\}~.}$$${\displaystyle \left.{\frac {\partial }{\partial {\vec {p}}}}(f+\lambda (g-1))\right|_{{\vec {p}}={\vec {p}}^{\,*}}=0\ ,}$$${\displaystyle \ k=1,\ \ldots ,n\ ,}$$${\displaystyle \left.{\frac {\partial }{\partial p_{k}}}\left\{-\left(\sum _{j=1}^{n}p_{j}\log _{2}p_{j}\right)+\lambda \left(\sum _{j=1}^{n}p_{j}-1\right)\right\}\right|_{p_{k}=p_{\star k}}=0~.}$$

これらのn方程式を微分すると、次の式が得られます。 $${\displaystyle -\left({\frac {1}{\ln 2}}+\log _{2}p_{\star k}\right)+\lambda =0~.}$$

これはすべてが等しいことを示しています（ λのみに依存するため）。制約条件を使用すると 、 ${\displaystyle \ p_{\star k}\ }$$${\displaystyle \sum _{j}p_{j}=1\ ,}$$$${\displaystyle p_{\star k}={\frac {1}{n}}~.}$$

したがって、一様分布は、 n点の分布の中でエントロピーが最大となる分布です。

ラグランジアンの臨界点は、極大値（または極小値）ではなく、鞍点で発生します。 ^{[4] [17]残念ながら、}山登り法、勾配降下法、一部の準ニュートン法などの多くの数値最適化手法は、鞍点ではなく、極大値（または極小値）を見つけるように設計されています。このため、定式化を修正して最小化問題になるようにするか（たとえば、以下のようにラグランジアン勾配の2乗を極値化する）、または必ずしも極値ではなく、定常点を見つける最適化手法（極値探索直線探索を使用しないニュートン法など）を使用する必要があります。

簡単な例として、制約を最小化するxの値を見つける問題を考えてみましょう (この問題は、この制約を満たす値が 2 つしかないため、やや典型的ではありませんが、対応する制約のない関数を 3 次元で視覚化できるため、説明には役立ちます)。 ${\displaystyle \ f(x)=x^{2}\ ,}$${\displaystyle \ x^{2}=1~.}$