数学的最適化

数学的最適化（最適化とも表記）または数理計画法は、いくつかの基準に関して、利用可能な選択肢の集合から最良の要素を選択することです。^{[1] [2]一般的に、}離散最適化と連続最適化の2つのサブフィールドに分けられます。最適化問題は、コンピュータサイエンスやエンジニアリング^[3]からオペレーションズリサーチや経済学に至るまで、あらゆる定量的分野で発生し、その解決方法の開発は数世紀にわたって数学の関心を集めてきました。^{[4] [5]}

より一般的なアプローチでは、最適化問題は、許容されたセット内から入力値を体系的に選択し、関数の値を計算することによって、実関数を最大化または最小化することです。最適化理論と手法を他の定式化に一般化することは、応用数学の大きな領域を構成します。^[6]

最適化問題は、変数が連続か離散かによって 2 つのカテゴリに分けられます。

• 離散変数を持つ最適化問題は離散最適化と呼ばれ、整数、順列、グラフなどのオブジェクトを可算集合から見つける必要があります。
• 連続変数の問題は連続最適化と呼ばれ、連続セットから最適な引数を見つける必要があります。これには制約付き問題やマルチモーダル問題が含まれます。

最適化問題は次のように表すことができます。

与えられた関数 f : A  →ある集合${\displaystyle \mathbb {R} }$Aから 実数への

求められるもの:すべてのx ∈ Aに対してf ( x ₀ ) ≤ f ( x )となる要素x 0 ∈ A (「最小化」)、またはすべての x ∈ A に対して_f ( x ₀ ) ≥ f ( x )となる要素x 0 ∈ A ( 「最大化」)。

このような定式化は、最適化問題または数理計画問題と呼ばれます(この用語はコンピュータ プログラミングとは直接関係ありませんが、線形計画法などでは現在でも使用されています。下記の履歴を参照してください)。多くの現実世界の問題と理論上の問題は、この一般的なフレームワークでモデル化できます。

以下は有効です

${\displaystyle f(\mathbf {x} _{0})\geq f(\mathbf {x} )\Leftrightarrow -f(\mathbf {x} _{0})\leq -f(\mathbf {x} ),}$

最小化問題だけを解けば十分です。しかし、最大化問題だけを考えるという逆の観点も有効です。

物理学の分野でこの手法を使用して定式化された問題は、この手法をエネルギー最小化と呼ぶことがあります。^{[7]これは、関数}fの値がモデル化されているシステムのエネルギーを表すことを意味します。機械学習では、コスト関数を使用してデータモデルの品質を継続的に評価することが常に必要であり、最小値は、最適な（最低の）誤差を持つおそらく最適なパラメータのセットを意味します。

通常、A はユークリッド空間のサブセットであり、多くの場合、 Aのメンバーが満たす必要のある一連の制約、等式、または不等式によって指定されます。 fのドメインAは検索空間または選択セットと呼ばれ、 Aの要素は候補解または実行可能解と呼ばれます。 ${\displaystyle \mathbb {R} ^{n}}$

関数fは、目的関数、基準関数、損失関数、コスト関数（最小化）^{[8] 、} 効用関数または適応度関数（最大化）、あるいは特定の分野ではエネルギー関数またはエネルギー汎関数など、さまざまな名前で呼ばれます。目的関数を最小化（または最大化）する実行可能な解は最適解と呼ばれます。

数学では、従来の最適化問題は通常、最小化の観点から表現されます。

局所最小値 x *は、 δ > 0が存在し、

${\displaystyle \forall \mathbf {x} \in A\;{\text{where}}\;\left\Vert \mathbf {x} -\mathbf {x} ^{\ast }\right\Vert \leq \delta ,\,}$

式f ( x *) ≤ f ( x )が成立する。

つまり、x * の周りの領域では、すべての関数の値は、その要素の値以上になります。局所最大値も同様に定義されます。

局所的最小値は、少なくとも近傍の要素と同程度に優れていますが、大域的最小値は、少なくともすべての実行可能要素と同程度に優れています。一般に、最小化問題で目的関数が凸でない限り、局所的最小値は複数存在する可能性があります。凸問題では、内部にある局所的最小値 (実行可能要素の集合の端ではない) がある場合、それは大域的最小値でもありますが、非凸問題では、複数の局所的最小値が存在する可能性があり、そのすべてが大域的最小値である必要はありません。

非凸問題を解くために提案されている多数のアルゴリズム (市販のソルバーの大半を含む) は、局所最適解と大域最適解を区別することができず、前者を元の問題に対する実際の解として扱います。大域最適化は、非凸問題の実際の最適解に有限時間内に収束することを保証できる決定論的アルゴリズムの開発に関係する 応用数学と数値解析の分野です。

最適化の問題は、多くの場合、特別な表記法で表現されます。次に例をいくつか示します。

次の表記法を考えてみましょう。

${\displaystyle \min _{x\in \mathbb {R} }\;\left(x^{2}+1\right)}$

これは、実数集合からx を選択する場合の目的関数x ² + 1の最小値を表します。この場合の最小値は 1 で、x = 0のときに発生します。 ${\displaystyle \mathbb {R} }$

同様に、表記

${\displaystyle \max_{x\in\mathbb{R}}\;2x}$

目的関数2 xの最大値を要求します。ここで、 x は任意の実数です。この場合、目的関数は無制限であるため、そのような最大値は存在せず、答えは「無限大」または「未定義」になります。

次の表記法を考えてみましょう。

${\displaystyle {\underset {x\in (-\infty ,-1]}{\operatorname {arg\,min} }}\;x^{2}+1,}$

または同等

${\displaystyle {\underset {x}{\operatorname {arg\,min} }}\;x^{2}+1,\;{\text{ただし:}}\;x\in (-\infty ,-1].}$

これは、目的関数x ² + 1を最小化する (または最小化する)区間[−∞,−1]内の引数 xの値 (複数可) を表します(その関数の実際の最小値は、問題で要求されているものではありません)。この場合、x = 0は実行不可能、つまり実行可能集合に属していないため、答え はx = −1です。

同様に、

${\displaystyle {\underset {x\in [-5,5],\;y\in \mathbb {R} }{\operatorname {arg\,max} }}\;x\cos y,}$

または同等

${\displaystyle {\underset {x,\;y}{\operatorname {arg\,max} }}\;x\cos y,\;{\text{次の値に従う:}}\;x\in [-5,5],\;y\in \mathbb {R} ,}$

は、目的関数x cos yの値を最大化する（または最大化する） { x、y }のペア（複数可）を表します。ただし、 x は区間[−5,5]内にあるという制約が追加されます（この場合も、式の実際の最大値は関係ありません）。この場合、解は{5, 2 k π }と{−5, (2 k + 1) π }の形式のペアです。ここで、k はすべての整数にわたります。

演算子arg minとarg max は、 argminとargmaxと表記されることもあり、最小値の引数と最大値の引数を表します。

フェルマーとラグランジュは最適値を特定するための微積分ベースの公式を発見し、ニュートンとガウスは最適値に向かう反復法を提案しました。

特定の最適化ケースにおける「線形計画法」という用語はジョージ・B・ダンツィグによるものですが、理論の大部分は1939年にレオニード・カントロヴィッチによって導入されていました。（この文脈におけるプログラミングはコンピュータプログラミングを指すのではなく、当時ダンツィグが研究していた問題である提案された訓練と兵站スケジュールを指すために米国軍がプログラムを使用したことに由来しています。）ダンツィグは1947年にシンプレックスアルゴリズムを発表し、ジョン・フォン・ノイマンと他の研究者もほぼ同時期に線形計画法の理論的側面（双対理論など）に取り組んでいました。 ^[9]

数学的最適化におけるその他の著名な研究者は次のとおりです。

• 凸計画法は、目的関数が凸（最小化）または凹（最大化）であり、制約セットが凸である場合を研究します。これは、非線形計画法の特殊なケースとして、または線形または凸二次計画法の一般化として見ることができます。
  • 凸計画法の一種である線形計画法(LP) は、目的関数fが線形であり、制約が線形等式と不等式のみを使用して指定される場合を研究します。このような制約セットは、有界である場合は多面体または多面体と呼ばれます。
  • 2 次錐計画法(SOCP) は凸計画法であり、特定の種類の二次計画法が含まれます。
  • 半正定値計画法(SDP) は、基礎となる変数が半正 定値行列である凸最適化のサブフィールドです。これは、線形および凸二次計画法の一般化です。
  • 円錐計画法は凸計画法の一般的な形式です。LP、SOCP、SDP はすべて、適切なタイプの円錐を持つ円錐計画法として考えることができます。
  • 幾何計画法は、正項式として表現される目的制約と不等式制約、および単項式として表現される等式制約を凸計画法に変換する手法です。
• 整数計画法では、一部またはすべての変数が整数値を取るように制約されている線形計画法を研究します。これは凸型ではなく、一般に通常の線形計画法よりもはるかに困難です。
• 二次計画法では、目的関数に二次項を持たせることができますが、実行可能な集合は線形等式と不等式で指定する必要があります。二次項の特定の形式の場合、これは凸計画法の一種です。
• 分数計画法は、 2 つの非線形関数の比の最適化を研究します。凹分数計画法の特殊なクラスは、凸最適化問題に変換できます。
• 非線形計画法では、目的関数または制約、あるいはその両方に非線形部分が含まれる一般的なケースを研究します。これは凸計画である場合もそうでない場合もあります。一般に、計画が凸であるかどうかは、計画を解く難しさに影響します。
• 確率的計画法では、制約またはパラメータの一部がランダム変数に依存するケースを研究します。
• ロバスト最適化は、確率的プログラミングと同様に、最適化問題の基礎となるデータの不確実性を捉えようとする試みです。ロバスト最適化は、不確実性セットによって定義された不確実性のすべての可能な実現の下で有効なソリューションを見つけることを目指します。
• 組み合わせ最適化は、実行可能なソリューションの集合が離散的であるか、離散的なものに縮小できる問題を扱います。
• 確率的最適化は、検索プロセスでランダムな (ノイズの多い) 関数測定またはランダムな入力に使用されます。
• 無限次元最適化では、実行可能な解の集合が関数の空間などの無限次元空間のサブセットである場合を研究します。
• ヒューリスティックとメタヒューリスティックでは、最適化される問題についてほとんど、あるいはまったく仮定を行いません。通常、ヒューリスティックでは、最適な解決策が必ず見つかるとは限りません。一方、ヒューリスティックは、多くの複雑な最適化問題に対して近似的な解決策を見つけるために使用されます。
• 制約満足度は、目的関数fが定数である場合を研究します(これは人工知能、特に自動推論で使用されます)。
  • 制約プログラミングは、変数間の関係が制約の形式で記述されるプログラミング パラダイムです。
• 分離プログラミングは、少なくとも 1 つの制約を満たす必要があるが、すべてを満たす必要はない場合に使用されます。これは、特にスケジューリングで役立ちます。
• 空間マッピングは、物理的に意味のある適切な粗いモデルまたは代替モデルを利用して、エンジニアリング システムを高忠実度 (細かい) モデル精度にモデリングおよび最適化するための概念です。

多くのサブフィールドでは、これらの手法は主に動的なコンテキスト（つまり、時間の経過に伴う意思決定）での最適化を目的として設計されています。

• 変分法は、境界が特定の曲線でありながら面積が最小である表面を見つけるなど、何らかの目標を達成するための最善の方法を見つけることに関係する無限次元最適化の分野です。
• 最適制御理論は、制御ポリシーを導入する変分法の一般化です。
• 動的計画法は、確率的、ランダム性、および未知のモデルパラメータを持つ確率的最適化問題を解決するアプローチです。最適化戦略が問題をより小さなサブ問題に分割することに基づくケースを研究します。これらのサブ問題間の関係を記述する方程式は、ベルマン方程式と呼ばれます。
• 均衡制約を伴う数理計画法では、制約に変分不等式または相補性が含まれます。

最適化問題に複数の目的を追加すると、複雑さが増します。たとえば、構造設計を最適化するには、軽量かつ堅牢な設計が望まれます。2 つの目的が矛盾する場合は、トレードオフを作成する必要があります。最も軽量な設計が 1 つ、最も堅牢な設計が 1 つ、重量と堅牢性の妥協案となる設計が無数に存在する可能性があります。1 つの基準を犠牲にして別の基準を改善するトレードオフ設計の集合は、パレート集合と呼ばれます。最適な設計の重量と剛性をプロットして作成された曲線は、パレート境界と呼ばれます。

あるデザインが他のデザインによって支配されていない場合、そのデザインは「パレート最適」(つまり「パレート効率的」またはパレート集合内にある) であると判断されます。ある点では別のデザインより劣っていて、どの点でも優れていない場合、そのデザインは支配されており、パレート最適ではありません。

「パレート最適」ソリューションの中から「最適なソリューション」を選択することは、意思決定者に委ねられています。言い換えれば、問題を多目的最適化として定義すると、一部の情報が欠落していることがわかります。望ましい目標は与えられていますが、それらの組み合わせは互いの相対的な評価がされていません。場合によっては、欠落している情報は意思決定者との対話型セッションによって導き出すことができます。

多目的最適化問題は、（部分的な）順序付けがパレート順序付けによって与えられなくなった ベクトル最適化問題へとさらに一般化されました。

最適化問題は多くの場合、マルチモーダルです。つまり、複数の優れたソリューションが存在します。すべてがグローバルに優れたソリューション (コスト関数値が同じ) である場合もあれば、グローバルに優れたソリューションとローカルに優れたソリューションが混在している場合もあります。複数のソリューションのすべて (または少なくとも一部) を取得することが、マルチモーダル オプティマイザーの目標です。

古典的な最適化手法は反復的なアプローチであるため、アルゴリズムを複数回実行して異なる開始点からでも異なるソリューションが得られるとは限らないため、複数のソリューションを取得するために使用した場合、満足のいくパフォーマンスが得られません。

複数の局所的極値が存在する可能性があるグローバル最適化問題に対する一般的なアプローチには、進化的アルゴリズム、ベイズ最適化、シミュレーテッドアニーリングなどがあります。

充足可能性問題(実現可能性問題とも呼ばれる) は、目的値に関係なく実行可能なソリューションを見つける問題です。これは、目的値がすべてのソリューションで同じであり、したがってどのソリューションも最適であるという数学的最適化の特殊なケースと見なすことができます。

多くの最適化アルゴリズムは、実行可能なポイントから開始する必要があります。そのようなポイントを取得する 1 つの方法は、スラック変数を使用して実行可能性条件を緩和することです。十分なスラックがあれば、どの開始ポイントも実行可能になります。次に、スラックがゼロまたは負になるまで、スラック変数を最小化します。

カール・ワイエルシュトラスの極値定理は、コンパクト集合上の連続実数値関数が最大値と最小値を達成することを述べています。より一般的には、コンパクト集合上の下半連続関数は最小値を達成し、コンパクト集合上の上半連続関数は最大点または最大ビューを達成します。

フェルマーの定理の 1 つに、制約のない問題の最適解は、目的関数の 1 次導関数または勾配が 0 になる定常点で見つかる、というものがあります( 1 次導関数テストを参照)。より一般的には、最適解は、目的関数の 1 次導関数または勾配が 0 または未定義になる臨界点、または選択集合の境界で見つかることがあります。内部最適解で 1 次導関数が 0 になることを示す方程式 (または方程式のセット) は、「1 次条件」または 1 次条件のセットと呼ばれます。

等式制約問題の最適値は、ラグランジュ乗数法で見つけることができます。等式制約および/または不等式制約のある問題の最適値は、「Karush-Kuhn-Tucker 条件」を使用して見つけることができます。

1 次微分テストでは極値となる可能性のある点が特定されますが、このテストでは、最小値である点と最大値である点、あるいはどちらでもない点を区別しません。目的関数が 2 回微分可能な場合、制約のない問題では 2 次微分または 2 次微分行列 (ヘッセ行列と呼ばれる) をチェックし、制約のある問題では目的関数と制約の 2 次微分行列(境界付きヘッセ行列と呼ばれる) をチェックすることで、これらのケースを区別できます。最大値または最小値を他の定常点と区別する条件は、「2 次条件」と呼ばれます (「2 次微分テスト」を参照)。候補ソリューションが 1 次条件を満たす場合、2 次条件も満たすだけで、少なくとも局所的最適性を確立するのに十分です。

エンベロープ定理は、基礎となるパラメータが変化したときに最適解の値がどのように変化するかを説明します。この変化を計算するプロセスは比較静力学と呼ばれます。

クロード・ベルジュ(1963)の最大値定理は、基礎となるパラメータの関数として最適解の連続性を記述します。

2回微分可能な関数を伴う制約のない問題の場合、目的関数の勾配がゼロになる点（つまり、定常点）を見つけることで、いくつかの臨界点を見つけることができます。より一般的には、ゼロのサブグラディエントは、ニューラルネットワークの損失関数の最小化で満たされる凸関数やその他の局所リプシッツ関数を伴う最小化問題で局所最小値が見つかったことを証明します。正負の運動量推定により、局所最小値を回避し、目的関数のグローバル最小値に収束することができます。^[10]

さらに、臨界点はヘッセ行列の定常性を使用して分類できます。ヘッセ行列が臨界点で正定値である場合、その点は局所的最小値です。ヘッセ行列が負定値である場合、その点は局所的最大値です。最後に、不定値である場合、その点は何らかの鞍点です。

制約付き問題は、多くの場合、ラグランジュ乗数を利用して制約なしの問題に変換できます。ラグランジュ緩和法は、難しい制約付き問題に対する近似解を提供することもできます。

目的関数が凸関数である場合、任意の局所最小値は大域最小値にもなります。内点法など、凸関数を最小化する効率的な数値手法が存在します。

より一般的には、目的関数が 2 次関数でない場合、多くの最適化手法では、反復のいくつかのサブシーケンスが最適解に収束することを保証する他の手法が使用されます。収束を保証する最初の、そして今でも一般的な手法は、関数を 1 つの次元に沿って最適化する直線探索に依存します。収束を保証する 2 番目の、そしてますます一般的になりつつある手法は、信頼領域を使用します。直線探索と信頼領域はどちらも、微分不可能な最適化の最新の手法で使用されます。通常、グローバル オプティマイザーは高度なローカル オプティマイザー ( BFGSなど) よりもはるかに遅いため、多くの場合、ローカル オプティマイザーを異なる開始点から開始することで、効率的なグローバル オプティマイザーを構築できます。

問題を解決するために、研究者は有限数のステップで終了するアルゴリズム、 （特定の種類の問題に対して）解に収束する反復法、または（反復が必ずしも収束するわけではないが）一部の問題に対して近似解を提供する ヒューリスティックを使用することがあります。

• 線形計画法のために設計されたジョージ・ダンツィグのシンプレックスアルゴリズム
• 二次計画法と線形分数計画法のために設計された単体アルゴリズムの拡張
• ネットワーク最適化に特に適したシンプレックスアルゴリズムのバリエーション
• 組み合わせアルゴリズム
• 量子最適化アルゴリズム

非線形計画法の問題を解決するために使用される反復法は、ヘッセ行列、勾配、または関数値のみを評価するかどうかによって異なります。ヘッセ行列 (H) と勾配 (G) を評価すると収束率が向上しますが、これらの量が存在し、十分に滑らかに変化する関数の場合、このような評価によって各反復の計算の複雑さ(または計算コスト) が増加します。場合によっては、計算の複雑さが過度に高くなることがあります。

オプティマイザにとっての 1 つの主要な基準は、必要な関数評価の数だけです。これは、多くの場合、すでに大きな計算労力であり、通常は主に N 個の変数に対して操作する必要があるオプティマイザ自体よりもはるかに多くの労力がかかるためです。導関数は、このようなオプティマイザに詳細な情報を提供しますが、計算がさらに困難です。たとえば、勾配を近似するには、少なくとも N+1 回の関数評価が必要です。2 次導関数 (ヘッセ行列に収集) の近似の場合、関数評価の数は N² のオーダーです。ニュートン法では 2 次導関数が必要なので、各反復で関数呼び出しの数は N² のオーダーですが、より単純な純粋な勾配オプティマイザの場合は N だけです。ただし、勾配オプティマイザでは通常、ニュートンのアルゴリズムよりも多くの反復が必要です。関数呼び出しの数に関してどちらが最適であるかは、問題自体によって異なります。

• ヘッセ行列（または有限差分を使用してヘッセ行列を近似する）を評価する方法：
  • ニュートン法
  • 逐次二次計画法: 小規模から中規模の制約付き問題に対するニュートンベースの方法。一部のバージョンでは、大規模問題を処理できます。
  • 内点法: これは制約付き最適化のための大規模なメソッドのクラスであり、その一部は (サブ) 勾配情報のみを使用し、その他はヘッセ行列の評価を必要とします。
• 勾配を評価する方法、または何らかの方法で勾配を近似する（または部分勾配）方法:
  • 座標降下法: 各反復で単一の座標を更新するアルゴリズム
  • 共役勾配法:大規模な問題に対する反復法。(理論的には、これらの方法は二次目的関数で有限数のステップで終了しますが、この有限終了は有限精度のコンピュータでは実際には観察されません。)
  • 勾配降下法(または「最急降下法」または「最急上昇法」): 歴史的および理論的に興味深い (遅い) 方法であり、膨大な問題の近似解を見つけるために新たな関心が寄せられています。
  • サブグラディエント法:一般化勾配を使用した大規模な局所 リプシッツ関数の反復法。Boris T. Polyak によれば、サブグラディエント射影法は共役勾配法に似ています。
  • バンドル降下法: 局所的にリプシッツ関数を使用する小規模から中規模の問題、特に凸最小化問題に対する反復法 (共役勾配法に類似)。
  • 楕円体法:準凸目的関数を持つ小規模な問題に対する反復法であり、特にいくつかの組み合わせ最適化問題の多項式時間計算量を確立する際に理論的に大きな関心を集めています。準ニュートン法と類似点があります。
  • 条件付き勾配法 (Frank–Wolfe) は、特に交通ネットワークなどの線形制約を伴う特殊な構造の問題を近似的に最小化します。一般的な制約のない問題の場合、この方法は勾配法に簡略化されますが、勾配法は (ほとんどすべての問題に対して) 時代遅れと見なされています。
  • 準ニュートン法: 中規模から大規模の問題 (例: N<​​1000) に対する反復法。
  • 確率的最適化のための同時摂動確率的近似(SPSA) 法。ランダム (効率的) 勾配近似を使用します。
• 関数値のみを評価する方法: 問題が連続的に微分可能な場合は、勾配を有限差分を使用して近似できます。この場合は、勾配ベースの方法を使用できます。
  • 補間法
  • 以下に挙げるNelder-Mead ヒューリスティック (単体を使用)よりも優れた収束特性を持つパターン検索方法。
  • ミラー降下

(有限終了)アルゴリズムと (収束)反復法の他に、ヒューリスティックがあります。ヒューリスティックとは、(数学的に) 解が見つかる保証はないものの、特定の実用的な状況では役立つアルゴリズムです。よく知られているヒューリスティックをいくつか挙げます。

剛体力学（特に関節式剛体力学）の問題では、しばしば数理計画法の手法が必要となる。これは、剛体力学を制約多様体上の常微分方程式を解こうとしているものと見なすことができるためである。 ^[11]制約とは、「これら 2 つの点は常に一致しなければならない」、「この表面は他のどの面にも侵入してはならない」、「この点は常にこの曲線上のどこかになければならない」など、さまざまな非線形幾何学的制約である。また、接触力を計算する問題は、線形相補性問題を解くことによって行うことができ、これは QP（二次計画）問題とも見なすことができる。

多くの設計上の問題は、最適化プログラムとして表現することもできます。この応用は設計最適化と呼ばれます。1 つのサブセットはエンジニアリング最適化であり、この分野の最近成長している別のサブセットは、学際的設計最適化です。これは多くの問題で役立ちますが、特に航空宇宙工学の問題に適用されています。

このアプローチは宇宙論や天体物理学にも応用できるかもしれない。^[12]

経済学はエージェントの最適化と密接に関連しており、影響力のある定義では、経済学を科学として「目的と希少な手段の関係としての人間の行動の研究」と表現し、代替用途も挙げています。^{[13]現代の最適化理論には伝統的な最適化理論が含まれますが、}ゲーム理論や経済均衡の研究とも重複しています。Journal of Economic Literatureの コードは、数理計画法、最適化手法、および関連トピックをJEL:C61-C63に分類しています。

ミクロ経済学では、効用最大化問題とその双対問題である支出最小化問題は、経済の最適化問題である。消費者は、一貫して行動する限りにおいて、効用を最大化すると想定され、企業は通常、利益を最大化すると想定される。また、エージェントはリスク回避的であるとしてモデル化されることが多く、リスクを回避することを好む。資産価格も最適化理論を使用してモデル化されるが、基礎となる数学は、静的最適化ではなく、確率過程の最適化に依存している。国際貿易理論でも、国家間の貿易パターンを説明するために最適化が使用されている。ポートフォリオの最適化は、経済学における多目的最適化の一例である。

1970年代以降、経済学者は制御理論を用いて時間の経過に伴う動的な意思決定をモデル化してきた。^[14]例えば、動的探索モデルは労働市場行動の研究に使用されている。^[15]決定論的モデルと確率論的モデルの間には重要な区別がある。^{[16] マクロ}経済学者は、労働者、消費者、投資家、政府の相互依存的な最適化決定の結果としての経済全体のダイナミクスを記述する動的確率的一般均衡（DSGE）モデルを構築している。^{[17] [18] [19]}

電気工学における最適化技術の一般的な応用としては、アクティブフィルタ設計、^[20]超伝導磁気エネルギー貯蔵システムにおける漂遊磁場の低減、マイクロ波構造の空間マッピング設計、^[21]携帯電話アンテナ、^{[22] [23] [24]}電磁気学に基づく設計などがあります。 1993年に空間マッピングが発見されて以来、電磁気的に検証されたマイクロ波部品およびアンテナの設計最適化では、適切な物理ベースまたは経験的代替モデルと空間マッピング手法が広く利用されてきました。[ 25 ] ^{[ 26]最適化技術は}電力フロー解析にも使用されています。^[27]

最適化は土木工学で広く利用されている。土木工学の中でも、建設管理や交通工学は最適化に大きく依存する主要な分野である。最適化によって解決される最も一般的な土木工学上の問題は、道路の切土と盛土、構造物やインフラのライフサイクル分析、^[28] 資源平準化、^{[29] [30]} 水資源の割り当て、交通管理^[31]およびスケジュール最適化である。

最適化技術を広く使用するもう一つの分野はオペレーションズ・リサーチです。^[32]オペレーションズ・リサーチでは、確率的モデリングとシミュレーションも使用して、意思決定の改善をサポートします。オペレーションズ・リサーチでは、イベントに適応する動的な意思決定をモデル化するために、確率的計画法を使用することが増えています。このような問題は、大規模最適化と確率的最適化の方法で解決できます。

数学的最適化は、現代の多くのコントローラ設計で使用されています。モデル予測制御(MPC) やリアルタイム最適化 (RTO) などの高レベル コントローラでは、数学的最適化が採用されています。これらのアルゴリズムはオンラインで実行され、制約と制御対象システムのモデルを含む数学的最適化問題を反復的に解くことで、プロセス プラントのチョーク開度などの決定変数の値を繰り返し決定します。

最適化技術は、地球物理学的パラメータ推定問題で頻繁に使用されます。地震記録などの地球物理学的測定のセットが与えられた場合、基礎となる岩石や流体の物理的特性と幾何学的形状を解くのが一般的です。地球物理学における問題の大部分は非線形であり、決定論的手法と確率論的手法の両方が広く使用されています。

非線形最適化法は、構造解析において広く使用されています。

最適化技術は、モデル構築、最適実験設計、代謝工学、合成生物学など、計算システム生物学の多くの側面で使用されています。^[33] 線形計画法は、発酵製品の最大収量の計算に適用され、^{[33 ]}複数のマイクロアレイデータセットからの遺伝子制御ネットワークの推測や、高スループットデータからの転写制御ネットワークの推測にも使用されています。^[35]非線形計画法は、エネルギー代謝の解析に使用されており^[36]、生化学経路における代謝工学やパラメータ推定にも適用されています。^[37]

• Boyd, Stephen P. ; Vandenberghe, Lieven (2004). 凸最適化。ケンブリッジ: ケンブリッジ大学出版局。ISBN 0-521-83378-7。
• Gill, PE; Murray, W.; Wright, MH (1982).実践的最適化. ロンドン: Academic Press. ISBN 0-12-283952-8。
• リー、ジョン（2004）。組み合わせ最適化入門。ケンブリッジ大学出版局。ISBN 0-521-01012-8。
• Nocedal, Jorge ; Wright, Stephen J. (2006). 数値最適化 (第 2 版). ベルリン: Springer. ISBN 0-387-30303-0。

• 「最適化ソフトウェアのための決定木」。最適化ソースコードへのリンク
• 「グローバル最適化」。
• 「EE364a: 凸最適化 I」。スタンフォード大学のコース。
• Varoquaux、Gaël。「数学的最適化：関数の最小値の発見」。