メタ最適化

数値最適化において、メタ最適化とは、ある最適化手法を用いて別の最適化手法を調整することです。メタ最適化は、1970年代後半にMercerとSampson ^{[1]によって}遺伝的アルゴリズムの最適なパラメータ設定を見つけるために使用されたと報告されています。

メタ最適化と関連する概念は、文献ではメタ進化、スーパー最適化、自動パラメータ調整、ハイパーヒューリスティックなどとしても知られています。

遺伝的アルゴリズムや微分進化などの最適化手法には、特定の問題を最適化する際の動作と効率を制御する複数のパラメータがあり、満足のいく結果を得るには、これらのパラメータを実践者が選択する必要があります。動作パラメータを手作業で選択するのは面倒な作業であり、最適化ツールのパフォーマンスを向上させる要因について人間が誤解しやすくなります。

オプティマイザーの動作パラメータは変更可能であり、最適化パフォーマンスはランドスケープとしてプロットされます。これは、動作パラメータが少なく、計算が高速な最適化問題を持つオプティマイザーでは計算上実行可能ですが、動作パラメータの数が増えると、そのようなパフォーマンス ランドスケープの計算にかかる時間は指数関数的に増加します。これは、オプティマイザーの動作パラメータで構成される検索空間の次元の呪いです。したがって、動作パラメータの空間を検索する効率的な方法が必要です。

オプティマイザに適した動作パラメータを見つける簡単な方法は、メタオプティマイザと呼ばれる別のオーバーレイオプティマイザを使用することです。調整する動作パラメータが実数値か離散値か、またどのようなパフォーマンス測定基準が使用されているかなどに応じて、 これを行う方法は異なります。

遺伝的アルゴリズムのパラメータのメタ最適化は、Grefenstette ^[2]や Keane ^[3]らによって行われ、パラメータと遺伝的演算子の両方をメタ最適化する実験は Bäck ^{[4]によって報告されました。COMPLEX-RF アルゴリズムのメタ最適化は、Krus と Andersson [5]}および^[6]によって行われ、情報理論に基づく最適化のパフォーマンス指標が導入され、さらに発展しました。粒子群最適化のメタ最適化は、Meissner ら^[7]、 Pedersen と Chipperfield ^[8]、Mason ら^[9 ]によって行われました。Pedersenと Chipperfield は、メタ最適化を微分進化に適用しました。^{[10] Birattari ら[11] [12]}は、アリコロニー最適化をメタ最適化しました。統計モデルは、行動パラメータの選択と最適化パフォーマンスの関係性をさらに明らかにするためにも使用されており、例えば、FrancoisとLavergne ^[13]やNannenとEiben ^[14]を参照。さまざまなメタ最適化手法の比較は、SmitとEibenによって行われた^{[15] 。}

• 自動機械学習（AutoML）
• ハイパーヒューリスティック