ベイズ最適化

ベイズ最適化は、評価にコストがかかるブラックボックス目的関数のグローバル最適化のための逐次モデルベース戦略です。 ^{[ 1 ] [ 2 ] [ 3 ]}これは、単一の観測に対して実験、工学的計算、数値シミュレーション、または機械学習の実行が必要な場合、および導関数が利用できないか信頼できない場合によく使用されます。目的関数は閉形式の式を持つ必要はありません。

この手法では、未知の関数の確率モデル（多くの場合、ガウス過程（GP））を構築し、得られた予測分布を使用して次の評価点を選択します。この選択は、取得関数とも呼ばれるサンプリング基準を最適化することによって行われます。^{[ 3 ] [ 2 ]}

一般的な応用例としては、機械学習におけるハイパーパラメータ最適化があり、各試行でモデルのトレーニングと検証が必要になる場合がある^{[ 4 ] [ 5 ]}、および高価な数値シミュレーションによって駆動されるエンジニアリング設計問題などがある^{[ 6 ] [ 2 ] 。}

初期のベイズ的アプローチによるグローバル最適化には、ノイズのある関数の極値を見つけるハロルド・J・クシュナーの研究や、極値を探すためのベイズ法に関するジョナス・モッカスの研究などがある。^{[ 7 ] [ 8 ] [ 9 ] [ 1 ]}

期待される改善は、この分野の研究における重要なサンプリング基準です。1998年、Donald R. Jones、Matthias Schonlau、およびWilliam J. Welchは、高コストなブラックボックス関数に対する期待される改善を伴うクリギングまたはガウス過程モデルを使用する効率的なグローバル最適化（EGO）アルゴリズムを導入しました。^{[ 6 ]}

その後の研究により、ベイズ最適化はノイズのある観測、制約、バッチおよび並列評価、複数の目的、混合または高次元の探索空間に拡張されました。^{[ 3 ] [ 10 ]}

標準的な単一目的設定では、ベイズ最適化は点を探索します

${\displaystyle x^{\star }\in \operatorname {arg\,min} _{x\in {\mathcal {X}}}f(x)}$

どこ$\displaystyle {\mathcal {X}}}$は検索空間であり、${\displaystyle f}$は未知の目的関数です。最大化問題は、を最小化することによって同じ形式で記述できます。${\displaystyle -f}$探索空間は原理的には連続的、離散的、カテゴリ的、または混合的になり得るが、標準的な定式化は連続的で低次元から中次元の領域に最も直接的に適用できる。後期の手法では、混合変数、高次元空間、制約、並列評価、および複数の目的を扱うことで、これらの制約を緩和しようとしている。^{[ 3 ] [ 10 ]}

有用な区別として、ノイズのない最適化とノイズのある最適化があります。多くの実際のアプリケーションでは、制約、並列評価、または複数の目的も含まれています。これらのバリアントは、確率モデル、現在の解、およびサンプリング基準の定義方法を変更します。^{[ 3 ] [ 10 ]}

典型的なベイズ最適化手順では、一連の評価点を構築します。^{[ 3 ] [ 2 ]}初期設計から開始します。${\displaystyle X_{0}}$アルゴリズムは追加の評価ポイントを生成する${\displaystyle x_{1},x_{2},\ldots }$。 後${\displaystyle n}$逐次評価、${\displaystyle X_{n}=X_{0}\cup \{x_{1},\ldots ,x_{n}\}}$評価された点を表し、${\displaystyle {\mathcal {D}}_{n}}$対応する観測値を示します。次のポイント${\displaystyle x_{n+1}}$、または点のバッチは、現在の確率モデルから計算されたサンプリング基準を最適化することによって選択されます。

手続きは以下の形式をとる。

1. 最初のデザインを選択してください${\displaystyle X_{0}}$多くの場合、空間充填デザインまたはランダムサンプリングによって行われる。
2. 初期設計点において、目的関数および存在する場合は制約条件を評価する。
3. 観測データを用いて確率モデルを構築または更新する${\displaystyle {\mathcal {D}}_{n}}$。
4. 確率モデルから、サンプリング基準（取得関数または充填基準とも呼ばれる）を定義します。
5. サンプリング基準を最適化して選択する${\displaystyle x_{n+1}}$評価のための、または一連のポイント。
6. 選択した地点を評価し、データセットを更新します。
7. 評価予算、収束基準、または停止ルールに達するまで繰り返します。

ベイズ戦略では、未知の目的関数を確率関数として扱い、その関数に事前分布を設定します。事前分布は、関数の挙動に関する仮定を捉えたものです。観測データが収集された後、事前分布が更新され、目的関数に関する事後分布が形成されます。そして、この事後分布を用いて、次のクエリポイントを決定するサンプリング基準が構築されます。

ベイズ最適化では、未知の目的関数と、存在する場合は未知の制約の確率モデルが必要です。これまでに観測された評価に基づいて、モデルは探索空間内の未評価の点の予測分布を与えます。サンプリング基準はこの予測分布から定義されるため、モデルは予測された目的値と不確実性の推定値の両方を提供します。^{[ 3 ] [ 2 ]}このような確率モデルは、候補点を選択する際にコストのかかる目的関数の直接評価の代わりに使用されるため、代理モデルまたはメタモデルと呼ばれることがよくあります。

ガウス過程回帰は、ベイズ最適化の古典的な表現における標準的な確率モデルであり、アプリケーションでも依然として一般的です。ガウス過程事前分布は、関数の分布を定義します。観測が収集された後、事後予測平均と分散は、期待される改善、改善の確率、信頼区間上限などのサンプリング基準によって使用されます。^{[ 6 ] [ 3 ]}探索空間、次元、またはデータサイズが別の表現を好む場合は、他の確率モデルを使用できます。^{[ 10 ] [ 2 ]}

ベイズ最適化は、ノイズのない単一目的問題として説明されることが多いが、同じモデルベースのループは、いくつかの関連する設定にも適用できる。

ノイズのあるベイズ最適化では、評価によって次のような観測値が返されます。${\displaystyle y=f(x)+\varepsilon }$潜在目的の正確な値の代わりに、確率モデルは不確実性も表現できます。${\displaystyle f}$および観測ノイズ。最良の観測値に対する古典的な期待改善は、ノイズのない基準です。ノイズのある設定では、潜在的な目的、将来のノイズのある観測、または情報の価値に対して、推奨ルールとサンプリング基準を定義できます。例としては、知識勾配基準と情報理論的基準があります。^{[ 3 ] [ 11 ] [ 12 ] [ 13 ]}

制約付きベイズ最適化では、目的関数は実現可能性制約の下で最適化されます。制約も未知のブラックボックス関数である場合、目的関数と制約に対して個別の確率モデルを構築でき、サンプリング基準は予測される改善と実現可能性の確率を組み合わせることができます。^{[ 14 ]}

バッチまたは並列ベイズ最適化では、対応する観測値が利用可能になる前に、この手法は複数の候補点を提案します。バッチ法は、実験、シミュレーション、または機械学習ジョブを同時に実行できる場合に便利です。バッチ法は、共同サンプリング基準を最適化したり、保留中の評価を考慮しながら点を順次選択したりすることができます。^{[ 15 ]}

多目的ベイズ最適化では、複数の目的関数が同時に最適化され、その結果は通常パレートフロンティアの近似値となります。手法には、問題を一連の単一目的部分問題に縮小する ParEGO などのスカラー化アプローチや、期待されるハイパーボリューム改善などの基準を使用する指標ベースのアプローチなどがあります。^{[ 16 ] [ 17 ]}制約付き多目的ベイズ最適化は、目的と制約をモデル化し、拡張支配ルールと期待されるハイパーボリューム改善に基づくサンプリング基準を使用することで、これらの拡張を組み合わせます。^{[ 18 ]}

サンプリング基準は、機械学習の文献では取得関数、代理ベース最適化ではインフィル基準とも呼ばれ、現在の予測分布を使用して候補点にスコアを付けます。通常、評価コストが低く、コストのかかる目的関数の代わりに最適化されます。サンプリング基準は、予測目的値が低い、不確実性が高い、またはその両方を持つ点に高い値を割り当てることで、探索と活用のトレードオフを表現します。 ^{[ 3 ] [ 2 ]}ノイズのない設定における代表的な例は期待改善であり、これまでに観測された最良の値に対する事後期待ゲインによって候補点にスコアを付けます。^{[ 6 ] [ 3 ]}その他の基準には、改善確率、^{[ 7 ]} GP-UCB などの上限または下限信頼限界基準、^{[ 19 ]}トンプソン サンプリング、^{[ 20 ]}知識勾配基準、^{[ 11 ]} IAGO 最小化エントロピー基準、エントロピー探索、予測エントロピー探索などの情報理論的基準、^{[ 12 ] [ 13 ] [ 21 ]}および複数の基準のポートフォリオまたはハイブリッドが含まれます。^{[ 22 ]}

サンプリング基準は通常、目的関数に比べて評価コストが低いが、それを最適化すると非凸な補助問題になることがある。その最適解は、離散化、マルチスタート局所最適化、ニュートン法やBroyden–Fletcher–Goldfarb–Shannoアルゴリズムなどの準ニュートン法といった決定論的数値法によって求められることが多い。特に多峰性または混合変数基準の場合、この補助探索には確率的手法も用いられる。例としては、遺伝的アルゴリズムやその他の進化的アルゴリズム、逐次モンテカルロ法などが挙げられる。^{[ 3 ] [ 2 ] [ 18 ]}

導関数を用いない最適化手法のいくつかは、未知の目的関数自体をモデル化することなく確率分布を使用します。分布推定アルゴリズムは、選択された候補解の明示的な確率モデルを構築し、サンプリングします。^{[ 23 ]}クロスエントロピー法とCMA-ESもパラメトリックサンプリング分布を更新し、CMA-ESは多変量正規分布の平均、ステップサイズ、および共分散行列を適応させます。^{[ 24 ] [ 25 ]}これらの手法は、目的値を使用して候補点の分布を更新します。ベイズ最適化では、確率モデルは目的または制約を表し、次の点はそのモデルから導出された基準を最適化することによって選択されます。

ガウス過程逐次設計は、信頼性解析において故障確率を推定するためにも使用される。限界状態関数の場合${\displaystyle f}$ランダム入力${\displaystyle X}$、および閾値${\displaystyle t}$ターゲットは${\displaystyle \mathbb {P} (f(X)\leq t)}$、あるいはより一般的には、逸脱セットの尺度。段階的不確実性低減戦略は、この確率に関する不確実性を低減するために評価を選択するのであって、の最小値または最大値を見つけるためではない。${\displaystyle f}$[ ^{26 ]​}

ベイズ最適化は、マルチアームバンディット問題とも関連しています。どちらも探索と活用のトレードオフを伴う逐次的な決定を研究しており、信頼区間の上限やトンプソンサンプリングなどの基準が両方の設定に現れます。^{[ 19 ] [ 20 ]}一般的な違いは、バンディットアルゴリズムは一連のアクションにわたる累積後悔を制御するように定式化されることが多いのに対し、ベイズ最適化は少ない評価予算で高コスト関数の優れた最適化を見つけることが重要視されることが多い点です。^{[ 3 ] [ 2 ]}

ベイズ最適化は、客観的な評価にコストがかかるアプリケーションで使用されます。調査や教科書で議論されている例としては、ハイパーパラメータ最適化とアルゴリズム構成、エンジニアリング設計とシミュレーションベースの最適化^{[ 27 ]}、ロボット工学、センサーネットワーク、物理科学における実験計画などがあります。^{[ 3 ] [ 2 ] [ 10 ]}

• 多腕強盗
• クリギング
• トンプソンサンプリング
• グローバル最適化
• ベイズ実験計画法
• 確率数値
• パレート最適
• アクティブラーニング（機械学習）
• 多目的最適化