代理モデル

代理モデルとは、関心のある結果を容易に測定または計算できない場合に使用される工学的手法であり、その結果の近似的な数学モデルが代わりに使用されます。ほとんどの工学設計問題では、設計変数の関数として設計目的関数と制約関数を評価するために、実験やシミュレーションが必要です。たとえば、航空機の翼の最適な翼型を見つけるために、エンジニアはさまざまな形状変数（長さ、曲率、材料など）について翼の周りの気流をシミュレーションします。しかし、多くの現実世界の問題では、1回のシミュレーションの完了に数分、数時間、あるいは数日かかる場合があります。その結果、設計最適化、設計空間探索、感度分析、「もしも」分析などのルーチン作業は、数千回、あるいは数百万回のシミュレーション評価が必要となるため、不可能になります。

この負担を軽減する一つの方法は、シミュレーション モデルの動作をできるだけ忠実に模倣しつつ、計算コストを抑えて評価できる近似モデル（代理モデル、メタモデル、エミュレータとも呼ばれる）を構築することです。代理モデルは、データ駆動型のボトムアップ アプローチを使用して構築されます。シミュレーション コードの正確な内部動作は既知（あるいは理解）であるとは想定されず、入出力動作のみに依存します。モデルは、厳選された少数のデータ ポイントに対するシミュレータの応答をモデル化することに基づいて構築されます。このアプローチは、動作モデリングまたはブラック ボックスモデリングとも呼ばれますが、用語は必ずしも一貫していません。単一の設計変数のみが関係する場合、このプロセスは曲線フィッティングと呼ばれます。

工学設計において実験やシミュレーションの代わりに代理モデルを用いることはより一般的であるが、代理モデリングは、高額な実験や機能評価が必要とされる他の多くの科学分野でも利用できる。

サロゲートモデリングにおける科学的な課題は、可能な限り少ないシミュレーション評価で、可能な限り正確なサロゲートを生成することである。このプロセスは、繰り返し実行可能な3つの主要なステップから構成される。

• サンプル選択（逐次設計、最適実験計画（OED）、またはアクティブラーニングとも呼ばれる）
• 代理モデルの構築とモデルパラメータの最適化（すなわち、バイアス・バリアンスのトレードオフ）
• 代理指標の精度評価。

代理モデルの精度は、設計空間におけるサンプルの数と位置（高価な実験またはシミュレーション）に依存します。トレーニング中に体系的なデータ表現を行うことで、モデルのスケーラビリティが向上し、高価なシミュレーションの必要性が軽減されます。^{[ 1 ]}さまざまな実験計画法（DOE）手法は、特にデータのノイズによるエラーや不適切な代理モデルによるエラーなど、さまざまなエラー源に対応します。

一般的な代理モデル化手法としては、多項式応答曲面、クリギング、より一般化されたベイズ的手法^{[ 2 ]} 、勾配強化クリギング（GEK）、放射基底関数、サポートベクターマシン、空間マッピング[ ^{3 ] 、}人工ニューラルネットワーク、ベイズネットワーク^{[ 4 ]}などがある。最近検討されている他の手法としては、フーリエ代理モデル化^{[ 5 ] [ 6 ]}、ランダムフォレスト^{[ 7 ]}、畳み込みニューラルネットワーク、敵対的生成ネットワーク^{[ 1 ] [ 8 ]などがある。}

一部の問題では、真の関数の性質が事前にわかっていないため、どの代理モデルが最も正確になるかは明らかではありません。さらに、与えられた代理モデルの精度の最も信頼できる推定値を取得する方法についても合意がありません。他の多くの問題では、既知の物理的特性があります。このような場合、空間マッピングベースのモデルなどの物理ベースの代理モデルが一般的に使用されます。^{[ 3 ] [ 9 ]}

最近提案された、 CMA-ESなどの進化アルゴリズム用の比較ベースの代理モデル (ランキングサポートベクターマシンなど)は、代理モデル支援オプティマイザのいくつかの不変性特性の維持を可能にします。^{[ 10 ]}

1. 関数の単調変換（スケーリング）に対する不変性
2. 探索空間の直交変換（回転）に対する不変性

代理モデルの2つの異なる応用例、すなわち設計最適化と設計空間近似（エミュレーションとも呼ばれる）の間には、重要な区別がある。

サロゲートモデルに基づく最適化では、まず、高額な実験やシミュレーションに利用可能な予算の一部を用いて、初期サロゲートモデルを構築します。残りの実験やシミュレーションは、サロゲートモデルが有望な性能を示すと予測する設計に対して実行されます。このプロセスは通常、以下の探索／更新手順の形式をとります。

1. 初期サンプル選択（実施する実験および／またはシミュレーション）
2. 代理モデルを構築する
3. 代替モデルを探索する（モデルは評価コストが低いため、例えば遺伝的アルゴリズムを用いて広範囲に探索できる）。
4. 検索によって見つかった新しい場所で実験/シミュレーションを実行および更新し、サンプルに追加する
5. 時間切れになるか、デザインが「十分」になるまで、手順2～4を繰り返します。

使用される代理モデルの種類と問題の複雑さによっては、プロセスは局所的または全体的な最適解に収束する場合もあれば、全く収束しない場合もある。^{[ 11 ]}

設計空間近似では、最適なパラメータベクトルを見つけることではなく、システムの全体的な挙動に関心があります。ここでは、サロゲートモデルは、設計空間全体にわたって、必要に応じて基礎となるモデルをできるだけ忠実に模倣するように調整されます。このようなサロゲートモデルは、システムの全体的な挙動を理解するための有用かつ安価な方法です。最適化は後処理ステップとして実行できますが、更新手順がない場合（上記参照）、見つかった最適値を検証することはできません。

• Surrogate Modeling Toolbox (SMT: https://github.com/SMTorg/smt ) は、代理モデリング手法、サンプリング技術、ベンチマーク関数のコレクションを含むPythonパッケージです。このパッケージは、使いやすく、追加の手法の実装を容易にする代理モデルのライブラリを提供します。SMT は、勾配強化モデリングに使用されるトレーニング デリバティブ、予測デリバティブ、トレーニング データに関するデリバティブなど、デリバティブに重点を置いている点で、既存の代理モデリング ライブラリとは異なります。また、部分最小二乗法によるクリギングやエネルギー最小化スプライン補間など、他では利用できない新しい代理モデルも含まれています。^{[ 12 ] [ 13 ]}
• PythonライブラリSAMBO Optimizationは、任意のモデルによる逐次最適化をサポートしており、ツリーベースモデルとガウス過程モデルが組み込まれています。^{[ 14 ]}
• Surrogates.jlは、ランダムフォレスト、放射基底関数法、クリギングなどのツールを提供するJuliaパッケージです。

SAEAは、進化アルゴリズム（EA）と代理モデルを統合した高度な最適化手法です。従来のEAでは、候補解の適合性を評価するために、計算コストの高いシミュレーションや実験が必要になることがよくあります。SAEAは、目的関数または制約関数の計算コストの低い近似である代理モデルを構築することで、この課題に対処します。代理モデルは、進化探索中の実際の評価プロセスの代替として機能します。これにより、アルゴリズムは新しい候補解の適合性を迅速に推定できるため、必要なコストの高い評価の数を減らすことができます。これは、特に目的関数の評価に時間がかかったり、リソースを大量に消費したりする場合に、最適化プロセスを大幅に高速化します。SAEAは通常、次の3つの主要なステップで構成されます。（1）初期サンプリングされたデータポイントのセットを使用して代理モデルを構築する、（2）選択、交叉、突然変異操作をガイドするために代理モデルを使用して進化探索を実行する、（3）進化プロセス中に生成された新しいデータポイントを使用して代理モデルを定期的に更新し、精度を向上させる。 SAEAは、探索（解空間内の新しい領域を探すこと）と活用（既知の有望な領域を改良すること）のバランスを取ることで、複雑な最適化問題に対して高品質の解を効率的に見つけることができます。SAEAは、適合度評価の計算コストが高いため従来の最適化手法が困難となる可能性のある、エンジニアリング設計、機械学習、計算金融などのさまざまな分野で成功裏に適用されています。^{[ 15 ] [ 16 ]}

• 線形近似
• 応答曲面法
• クリギング
• 動径基底関数
• 勾配強化クリギング(GEK)
• オプティ
• 空間マッピング
• 代替エンドポイント
• 代替データ
• 適合度近似
• コンピュータ実験
• 概念モデル
• ベイズ回帰
• ベイズモデル選択

• Queipo, NV、Haftka, RT、Shyy, W.、Goel, T.、Vaidyanathan, R.、Tucker, PK (2005)、「代理モデルに基づく解析と最適化」、Progress in Aerospace Sciences、41、1–28。
• D. Gorissen、I. Couckuyt、P. Demeester、T. Dhaene、K. Crombecq、（2010）「コンピュータベース設計のための代理モデリングと適応サンプリングツールボックス」、Journal of Machine Learning Research、第11巻、pp.  2051−2055、2010年7月。
• TQ. Pham、A. Kamusella、H. Neubert、「有限要素解析または測定データからのModelicaコードの自動抽出」、第8回国際Modelica会議、2011年3月20～22日、ドレスデン。
• Forrester, Alexander、Andras Sobester、Andy Keane、「代理モデルによるエンジニアリング設計：実践ガイド」、John Wiley & Sons、2008年。
• Bouhlel, MA、Bartoli, N.、Otsmane, A.、Morlier, J. (2016)「部分最小二乗次元削減による高次元設計モデルのクリギング代理モデルの改善」、Structural and Multidisciplinary Optimization 53 (5)、935–952
• Bouhlel, MA、Bartoli, N.、Otsmane, A.、Morlier, J. (2016)「部分最小二乗法による高次元問題に対するクリギングモデルのハイパーパラメータ推定のための改良されたアプローチ」、Mathematical Problems in Engineering

• 代理モデル作成のためのMATLABコード
• Matlab SUロゲートMOデリング ツールボックス – Matlab SUMO ツールボックス
• サロゲートモデリングツールボックス -- Python