ハイパーパラメータ最適化

ハイパーパラメータ最適化の従来の方法は、グリッドサーチ、またはパラメータスイープと呼ばれるもので、学習アルゴリズムのハイパーパラメータ空間の手動で指定した部分集合を網羅的に探索するものです。グリッドサーチアルゴリズムは、何らかのパフォーマンス指標によってガイドされる必要があり、通常はトレーニングセットでの交差検証^{[ 6 ]} またはホールドアウト検証セットでの評価によって測定されます。

機械学習器のパラメータ空間には、特定のパラメータに対して実数値または無制限の値空間が含まれる可能性があるため、グリッドサーチを適用する前に、手動で境界を設定して離散化する必要がある場合があります。たとえば、RBFカーネルを備えた典型的なソフトマージンSVM分類器には、未知のデータで良好なパフォーマンスを得るために調整する必要のあるハイパーパラメータが少なくとも2つあります。それは、正則化定数Cとカーネルハイパーパラメータγです。どちらのパラメータも連続であるため、グリッドサーチを実行するには、それぞれに「妥当な」値の有限セットを選択します。

${\displaystyle C\in \{10,100,1000\}}$

${\displaystyle \gamma \in \{0.1,0.2,0.5,1.0\}}$

グリッドサーチでは、これら2つのセットの直積に含まれる各ペア（C、γ）を用いてSVMを学習させ、保持検証セット（または、トレーニングセットに対する内部交差検証。この場合、ペアごとに複数のSVMが学習される）でその性能を評価します。最後に、グリッドサーチアルゴリズムは、検証手順で最も高いスコアを獲得した設定を出力します。

グリッドサーチは次元の呪いに悩まされるが、評価するハイパーパラメータ設定は通常互いに独立しているため、並列処理が非常に容易であることが多い。 ^{[ 5 ]}

ランダムサーチは、すべての組み合わせを網羅的に列挙する代わりに、それらをランダムに選択します。これは、上述の離散的な設定に簡単に適用できますが、連続空間や混合空間にも一般化できます。グリッドサーチに対する利点は、ランダムサーチは連続ハイパーパラメータの場合、グリッドサーチよりもはるかに多くの値を探索できることです。特に、少数のハイパーパラメータのみが機械学習アルゴリズムの最終的なパフォーマンスに影響を与える場合、ランダムサーチはグリッドサーチを上回ることができます。^{[ 5 ]}この場合、最適化問題は低次元であると言われます。^{[ 7 ]}ランダムサーチは並列処理が容易であり、さらに、サンプリングする分布を指定することで事前知識を組み込むことができます。その単純さにもかかわらず、ランダムサーチは新しいハイパーパラメータ最適化手法のパフォーマンスを比較するための重要なベースラインの1つであり続けています。

ベイズ最適化は、ノイズのあるブラックボックス関数に対するグローバル最適化手法です。ハイパーパラメータ最適化に適用すると、ベイズ最適化は、検証セットで評価された目的関数にハイパーパラメータ値をマッピングする関数の確率モデルを構築します。現在のモデルに基づいて有望なハイパーパラメータ構成を繰り返し評価し、それを更新することで、ベイズ最適化は、この関数、特に最適値の位置について可能な限り多くの情報を明らかにする観測データを収集することを目指します。探索（結果が最も不確実なハイパーパラメータ）と活用（最適値に近いと予想されるハイパーパラメータ）のバランスを取ろうとします。実際には、ベイズ最適化は、実験を実行する前に実験の質について推論できるため、グリッドサーチやランダムサーチと比較して、より少ない評価でより良い結果が得られることが示されています^{[ 8 ] [ 9 ] [ 10 ] [ 11 ] [ 12 ]}。

特定の学習アルゴリズムでは、ハイパーパラメータに関する勾配を計算し、勾配降下法を使用してハイパーパラメータを最適化することが可能です。これらの技術の最初の使用はニューラルネットワークに焦点を当てていました。^{[ 13 ]}それ以来、これらの方法はサポートベクターマシン^{[ 14 ]やロジスティック回帰[ 15 ]}などの他のモデルに拡張されています。

ハイパーパラメータに関する勾配を得るための別のアプローチは、 自動微分を使用して反復最適化アルゴリズムのステップを微分することです。^{[ 16 ] [ 17 ] [ 18 ] [ 19 ]}この方向のより最近の研究では、陰関数定理を使用してハイパー勾配を計算し、逆ヘッセ行列の安定した近似を提案しています。この方法は数百万のハイパーパラメータに拡張可能で、一定のメモリを必要とします。^{[ 20 ]}

別のアプローチとして、^{[ 21 ]}ハイパーネットワークを訓練して最適な応答関数を近似します。この方法の利点の 1 つは、離散ハイパーパラメータも処理できることです。自己調整ネットワーク^{[ 22 ]}は、ハイパーネットワークのコンパクトな表現を選択することで、このアプローチのメモリ効率の良いバージョンを提供します。最近では、Δ-STN ^{[ 23 ]}がハイパーネットワークのわずかな再パラメータ化によってこの方法をさらに改善し、トレーニングを高速化しました。Δ-STN はまた、重みに関してネットワークを線形化することで、最適な応答ヤコビアンをより良く近似し、重みの大きな変化による不要な非線形効果を取り除きます。

ハイパーネットワークアプローチとは別に、勾配ベースの手法は、パラメータの連続的な緩和を採用することによって、離散ハイパーパラメータを最適化するためにも使用できます。^{[ 24 ]}このような手法は、ニューラルアーキテクチャ探索におけるアーキテクチャハイパーパラメータの最適化に広く使用されています。

進化的最適化は、ノイズのあるブラックボックス関数のグローバル最適化のための手法です。ハイパーパラメータ最適化において、進化的最適化は進化的アルゴリズムを使用して、与えられたアルゴリズムのハイパーパラメータ空間を探索します。^{[ 9 ]}進化的ハイパーパラメータ最適化は、生物学的進化の概念に触発されたプロセスに従います。

1. ランダムな解の初期集団を作成する（つまり、ハイパーパラメータのタプルをランダムに生成する。通常100個以上）。
2. ハイパーパラメータのタプルを評価し、それらの適合度関数（例えば、それらのハイパーパラメータを用いた機械学習アルゴリズムの10分割交差検証精度）を取得します。
3. ハイパーパラメータのタプルを相対的な適合度に基づいてランク付けする
4. 最もパフォーマンスの低いハイパーパラメータのタプルを、交叉と突然変異によって生成された新しいタプルに置き換える。
5. アルゴリズムの性能が満足できるレベルに達するか、あるいはそれ以上改善しなくなるまで、手順2～4を繰り返してください。

進化的最適化は、統計的機械学習アルゴリズムのハイパーパラメータ最適化^{[ 9 ]} 、自動機械学習、典型的なニューラルネットワーク^{[ 25 ]}、深層ニューラルネットワークアーキテクチャ探索^{[ 26 ] [ 27 ]}、および深層ニューラルネットワークの重みのトレーニング^{[ 28 ]に使用されています。}

集団ベース学習（PBT）は、ハイパーパラメータ値とネットワーク重みの両方を学習します。複数の学習プロセスが独立して動作し、それぞれ異なるハイパーパラメータを使用します。進化的手法と同様に、性能の低いモデルは、性能の高いモデルに基づいてハイパーパラメータ値と重みを修正したモデルに繰り返し置き換えられます。この置き換えモデルのウォームスタートは、PBTと他の進化的手法との主な違いです。PBTではハイパーパラメータが進化するため、手動でのハイパーパラメータ調整は不要です。このプロセスでは、モデルアーキテクチャ、損失関数、学習手順に関して一切の仮定を置きません。

PBTとその派生手法は適応型手法であり、モデルのトレーニング中にハイパーパラメータを更新します。一方、非適応型手法は、トレーニング全体を通して一定のハイパーパラメータセットを割り当てるという最適とは言えない戦略をとります。^{[ 29 ]}

早期停止ベースのハイパーパラメータ最適化アルゴリズムの一種は、連続的および離散的なハイパーパラメータの大規模な探索空間向けに特化して構築されており、特に一連のハイパーパラメータのパフォーマンスを評価するための計算コストが高い場合に有効です。Irace は反復レーシング アルゴリズムを実装しており、統計的テストを使用してパフォーマンスの低いものを破棄し、最も有望な構成を中心に探索を集中させます。^{[ 30 ] [ 31 ]} 早期停止ハイパーパラメータ最適化アルゴリズムのもう 1 つは、逐次半減法 (SHA) ^{[ 32 ]}です。これはランダム探索として開始しますが、定期的にパフォーマンスの低いモデルを剪定し、より有望なモデルに計算リソースを集中させます。非同期逐次半減法 (ASHA) ^{[ 33 ]}は、パフォーマンスの低いモデルを同期的に評価および剪定する必要性をなくすことで、SHA のリソース利用プロファイルをさらに改善します。 Hyperband ^{[ 34 ]}は、より広範囲に適用でき、必要な入力が少ないように、剪定の積極性の異なるレベルで SHA または ASHA を複数回呼び出す、より高レベルの早期停止ベースのアルゴリズムです。

RBF ^{[ 35 ]}およびスペクトル^{[ 36 ]}アプローチも開発されている。