Loading article…
機械学習において、ハイパーパラメータとは、モデルの学習プロセスの構成可能な部分を定義するために設定できるパラメータです。ハイパーパラメータは、モデル ハイパーパラメータ (ニューラル ネットワークのトポロジやサイズなど) またはアルゴリズム ハイパーパラメータ (オプティマイザの学習率やバッチ サイズなど) に分類できます。これらは、モデルがデータから学習する特性である パラメータとは対照的に、ハイパーパラメータと呼ばれます。
ハイパーパラメータは、すべてのモデルやアルゴリズムに必要なわけではありません。通常の最小二乗回帰などの単純なアルゴリズムでは、ハイパーパラメータは必要ありません。ただし、たとえばLASSOアルゴリズムでは、通常の最小二乗に正則化ハイパーパラメータが追加され、トレーニング前に設定する必要があります。 [1]ハイパーパラメータを厳密に定義する必要がないモデルやアルゴリズムでも、ハイパーパラメータを慎重に選択しないと、意味のある結果が得られない場合があります。ただし、ハイパーパラメータの最適値を予測するのは必ずしも簡単ではありません。一部のハイパーパラメータは意味のある効果を持たなかったり、重要な変数の1つが別の変数の値の条件になっている場合があります。多くの場合、データとタスクに適した組み合わせを見つけるには、 ハイパーパラメータを調整する別のプロセスが必要です。
モデルのパフォーマンスを向上させるだけでなく、特に乱数生成を組み込んだモデルを使用する場合、研究者はハイパーパラメータを使用して作業に堅牢性と再現性を導入できます。
考慮事項
モデルのトレーニングとテストに必要な時間は、ハイパーパラメータの選択によって異なります。[2]ハイパーパラメータは通常、連続型または整数型であり、混合型の最適化問題につながります。[2]一部のハイパーパラメータの存在は、他のハイパーパラメータの値に条件付けられています。たとえば、ニューラルネットワークの各隠れ層のサイズは、層の数に条件付けられる場合があります。[2]
難易度学習パラメータ
目的関数は、通常、ハイパーパラメータに関して微分不可能です。 [説明が必要]その結果、ほとんどの場合、モデルパラメータを学習するために一般的に使用される勾配ベースの最適化手法（勾配降下法など）を使用してハイパーパラメータを学習することはできません。 これらのハイパーパラメータは、一般的な最適化方法では学習できないモデル表現を記述するパラメータですが、それでも損失関数に影響します。 例としては、サポートベクターマシンのエラーに対する許容ハイパーパラメータが挙げられます。
トレーニング不可能なパラメータ
ハイパーパラメータは、データの構造の豊かさを正しくマッピングするのではなく、モデルの容量を積極的に増加させ、損失関数を望ましくない最小値（データへの過剰適合）に押し上げる可能性があるため、トレーニング データから学習できない場合があります。たとえば、回帰モデルに適合する多項式方程式の次数をトレーニング可能なパラメータとして扱うと、次数はモデルがデータに完全に適合するまで増加し、トレーニング エラーは低くなりますが、一般化のパフォーマンスは低下します。
調整可能性
パフォーマンスの変動のほとんどは、ほんの数個のハイパーパラメータに起因する。[3] [2] [4]アルゴリズム、ハイパーパラメータ、または相互作用するハイパーパラメータの調整可能性は、それを調整することでどれだけのパフォーマンスが得られるかの尺度である。[5] LSTMの場合、学習率とそれに続くネットワークサイズが最も重要なハイパーパラメータであるが、[6]バッチ処理とモメンタムはパフォーマンスに大きな影響を与えない。[7]
いくつかの研究では数千のミニバッチサイズの使用を推奨していますが、他の研究では2〜32のミニバッチサイズで最高のパフォーマンスが得られることがわかりました。[8]
堅牢性
学習における固有の確率性は、経験的なハイパーパラメータのパフォーマンスが必ずしもその真のパフォーマンスではないことを直接的に意味します。[2]ハイパーパラメータ、ランダムシード、または同じアルゴリズムの異なる実装の単純な変更に対して堅牢でない方法は、大幅な簡素化と堅牢化なしにミッションクリティカルな制御システムに統合することはできません。[9]
特に強化学習アルゴリズムでは、多数のランダムシードに対するパフォーマンスを測定する必要があり、ハイパーパラメータの選択に対する感度も測定する必要があります。[9]少数のランダムシードによる評価では、分散が大きいためパフォーマンスを適切に把握できません。[9] DDPG（Deep Deterministic Policy Gradient）などの一部の強化学習方法は、他の方法よりもハイパーパラメータの選択に敏感です。[9]
最適化
ハイパーパラメータ最適化は、与えられたテストデータに対して事前定義された損失関数を最小化する最適なモデルを生成するハイパーパラメータの組を見つけます。 [2] 目的関数はハイパーパラメータの組を受け取り、関連する損失を返します。[2]通常、これらの方法は勾配ベースではなく、代わりに導関数フリー最適化またはブラックボックス最適化の概念を適用します。
再現性
ハイパーパラメータの調整とは別に、機械学習ではパラメータと結果を保存して整理し、再現可能であることを確認する必要があります。 [ 10 ]この目的のための堅牢なインフラストラクチャがない場合、研究コードは急速に進化することが多く、簿記や再現性などの重要な側面が損なわれます。 [11]機械学習のオンラインコラボレーションプラットフォームは、科学者が実験、データ、アルゴリズムを自動的に共有、整理、議論できるようにすることでさらに進んでいます。[12]再現性は、ディープラーニングモデルでは特に難しい場合があります。 [13]たとえば、研究によると、ディープラーニングモデルは乱数ジェネレーターのランダムシード選択にさえ大きく依存しています。[14]
参照
参考文献
- ^ Yang, Li; Shami, Abdallah (2020-11-20). 「機械学習アルゴリズムのハイパーパラメータ最適化について:理論と実践」。Neurocomputing . 415 : 295–316. arXiv : 2007.15745 . doi :10.1016/j.neucom.2020.07.061. ISSN 0925-2312. S2CID 220919678.
- ^ abcdefg 「Claesen, Marc、Bart De Moor。『 機械学習におけるハイパーパラメータ検索』arXiv プレプリント arXiv:1502.02127 (2015)」。arXiv : 1502.02127。Bibcode : 2015arXiv150202127C。
- ^ Leyton-Brown, Kevin; Hoos, Holger; Hutter, Frank (2014 年 1 月 27 日)。「ハイパーパラメータの重要度を評価するための効率的なアプローチ」: 754–762 – proceedings.mlr.press 経由。
{{cite journal}}:ジャーナルを引用するには|journal=(ヘルプ)が必要です - ^ 「van Rijn、Jan N.、Frank Hutter。「データセット間のハイパーパラメータの重要性」arXivプレプリントarXiv:1710.04725 (2017)」。arXiv : 1710.04725。Bibcode : 2017arXiv171004725V。
- ^ 「Probst, Philipp, Bernd Bischl, Anne-Laure Boulesteix. 「調整可能性: 機械学習アルゴリズムのハイパーパラメータの重要性」arXiv プレプリント arXiv:1802.09596 (2018)」。arXiv : 1802.09596。Bibcode : 2018arXiv180209596P 。
- ^ Greff, K.; Srivastava, RK; Koutník, J.; Steunebrink, BR; Schmidhuber, J. (2017 年 10 月 23 日). 「LSTM: 探索空間の旅」. IEEE Transactions on Neural Networks and Learning Systems . 28 (10): 2222–2232. arXiv : 1503.04069 . doi :10.1109/TNNLS.2016.2582924. PMID 27411231. S2CID 3356463.
- ^ 「Breuel, Thomas M. 「LSTM ネットワークのベンチマーク」」arXiv プレプリント arXiv: 1508.02774 (2015)」。arXiv : 1508.02774。Bibcode : 2015arXiv150802774B。
- ^ 「ディープニューラルネットワークの小規模バッチトレーニングの再検討 (2018)」。arXiv : 1804.07612。Bibcode : 2018arXiv180407612M。
- ^ abcd 「Mania、Horia、Aurelia Guy、Benjamin Recht。「単純なランダム探索は強化学習への競合的アプローチを提供する。」arXivプレプリントarXiv：1803.07055（2018）". arXiv：1803.07055。Bibcode：2018arXiv180307055M。
- ^ 「Greff、Klaus、Jürgen Schmidhuber。『Sacred の紹介: 再現可能な研究を促進するツール。』」(PDF)。2015 年。
- ^ 「Greff, Klaus, et al. 「The Sacred Infrastructure for Computational Research.」」(PDF) . 2017年。 2020年9月29日時点のオリジナル(PDF)からアーカイブ。 2018年4月6日閲覧。
- ^ 「Vanschoren, Joaquin、et al. 「OpenML: 機械学習におけるネットワーク科学」arXiv プレプリント arXiv:1407.7722 (2014)」。arXiv : 1407.7722。Bibcode :2014arXiv1407.7722V 。
- ^ Villa, Jennifer; Zimmerman, Yoav (2018年5月25日). 「MLにおける再現性：それが重要な理由とそれを実現する方法」. Defined AI Blog . 2020年8月31日閲覧。
- ^ Bethard, S. (2022). ランダムシードについて話す必要がある。ArXiv、abs / 2210.13393。