確率的勾配降下法

確率的勾配降下法（SGDと略されることが多い）は、適切な平滑性（例えば、微分可能または微分可能）を持つ目的関数を最適化するための反復法である。これは、実際の勾配（データセット全体から計算）をその推定値（ランダムに選択されたデータのサブセットから計算）に置き換えるため、勾配降下最適化の確率的近似とみなすことができる。特に高次元の最適化問題では、これにより非常に高い計算負荷が軽減され、収束率が低下する代わりに反復が高速化される。^[1]

確率的近似の基本的な考え方は、1950年代のロビンズ・モンローアルゴリズムにまで遡ることができます。今日、確率的勾配降下法は機械学習における重要な最適化手法となっています。^[2]

統計的 推定と機械学習はどちらも、合計の形式を持つ 目的関数を最小化する問題を考慮します。 ここで、最小化するパラメータは推定されます。各加数関数は通常、データセット内の番目の観測値に関連付けられます(トレーニングに使用されます)。 $${\displaystyle Q(w)={\frac {1}{n}}\sum _{i=1}^{n}Q_{i}(w),}$$ ${\displaystyle w}$${\displaystyle Q(w)}$${\displaystyle Q_{i}}$${\displaystyle i}$

古典的統計学では、最小二乗法と最大尤度推定（独立した観測値の場合）で和の最小化問題が生じる。和を最小化する推定量の一般的なクラスはM推定量と呼ばれる。しかし、統計学では、局所的最小化を要求することは、最大尤度推定の問題によっては制限が厳しすぎることが長い間認識されてきた。^[3]そのため、現代の統計理論家は、尤度関数の定常点（またはその導関数、スコア関数、およびその他の推定方程式のゼロ）を考慮することが多い。

合計最小化問題は、経験的リスク最小化でも発生します。ここで、は - 番目の例における損失関数の値であり、は経験的リスクです。 ${\displaystyle Q_{i}(w)}$${\displaystyle i}$${\displaystyle Q(w)}$

上記の関数を最小化するために使用される場合、標準の（または「バッチ」）勾配降下法は次の反復を実行します。 ステップ サイズは（機械学習では学習率と呼ばれることもあります）で示され、ここで「」はアルゴリズム内の変数の更新を示します。 $${\displaystyle w:=w-\eta \,\nabla Q(w)=w-{\frac {\eta }{n}}\sum _{i=1}^{n}\nabla Q_{i}(w).}$$${\displaystyle \eta }$${\displaystyle :=}$

多くの場合、加数関数は単純な形式を持ち、これにより、和関数と和勾配を低コストで評価できます。たとえば、統計学では、1 パラメータ指数族により、経済的な関数評価と勾配評価が可能になります。

しかし、他のケースでは、和勾配を評価するには、すべての加数関数からの勾配を評価する必要があり、コストがかかる場合があります。トレーニング セットが膨大で、単純な式が存在しない場合は、勾配の合計を評価するのは非常にコストがかかります。これは、勾配を評価するには、すべての加数関数の勾配を評価する必要があるためです。各反復での計算コストを節約するために、確率的勾配降下法では、各ステップで加数関数のサブセットをサンプリングします。これは、大規模な機械学習の問題の場合に非常に効果的です。^[4]

確率的（または「オンライン」）勾配降下法では、真の勾配は単一サンプルの勾配で近似されます。 アルゴリズムがトレーニング セットをスキャンすると、各トレーニング サンプルに対して上記の更新が実行されます。アルゴリズムが収束するまで、トレーニング セットに対して複数のパスが実行されることがあります。これを実行すると、サイクルを防ぐために、パスごとにデータをシャッフルできます。一般的な実装では、アルゴリズムが収束するように適応学習率が使用されます。 ^[5]${\displaystyle Q(w)}$$${\displaystyle w:=w-\eta \,\nabla Q_{i}(w).}$$

疑似コードでは、確率的勾配降下法は次のように表すことができます。

真の勾配と単一サンプルの勾配の計算の間の妥協案は、各ステップで複数のトレーニング サンプル (「ミニバッチ」と呼ばれる) に対して勾配を計算することです。この方法は、コードがベクトル化ライブラリを利用できるため、各ステップを個別に計算する必要がなく、前述の「真の」確率的勾配降下法よりも大幅に優れたパフォーマンスを発揮します。これは、 ^[6]で初めて示され、「バンチ モード バックプロパゲーション アルゴリズム」と呼ばれていました。また、各ステップで計算された勾配がより多くのトレーニング サンプルにわたって平均化されるため、収束がスムーズになる可能性もあります。

確率的勾配降下法の収束は、凸最小化理論と確率的近似理論を用いて分析されてきた。簡単に言えば、学習率が 適切な割合で減少し、比較的緩やかな仮定に従うと、目的関数が凸または擬似凸である場合、確率的勾配降下法はほぼ確実に大域的最小値に収束し、それ以外の場合はほぼ確実に局所的最小値に収束する。^{[2] [7]これは実際にはロビンス・}ジークムント の定理の結果である。^[8]${\displaystyle \eta }$

最小二乗法を使用して、観測値と対応する推定応答を含むトレーニング セットに直線を当てはめたいとします。最小化される目的関数は、 この特定の問題に対する上記の疑似コードの最後の行は次のようになります。 各反復または更新ステップでは、勾配は 1 つの でのみ評価されることに注意してください。これが、確率的勾配降下法とバッチ勾配降下法の主な違いです。 ${\displaystyle {\hat {y}}=w_{1}+w_{2}x}$${\displaystyle ((x_{1},y_{1}),(x_{2},y_{2})\ldots ,(x_{n},y_{n}))}$${\displaystyle ({\hat {y}}_{1},{\hat {y}}_{2},\ldots ,{\hat {y}}_{n})}$$${\displaystyle Q(w)=\sum _{i=1}^{n}Q_{i}(w)=\sum _{i=1}^{n}\left({\hat {y}}_{i}-y_{i}\right)^{2}=\sum _{i=1}^{n}\left(w_{1}+w_{2}x_{i}-y_{i}\right)^{2}.}$$$${\displaystyle {\begin{bmatrix}w_{1}\\w_{2}\end{bmatrix}}\leftarrow {\begin{bmatrix}w_{1}\\w_{2}\end{bmatrix}}-\eta {\begin{bmatrix}{\frac {\partial }{\partial w_{1}}}(w_{1}+w_{2}x_{i}-y_{i})^{2}\\{\frac {\partial }{\partial w_{2}}}(w_{1}+w_{2}x_{i}-y_{i})^{2}\end{bmatrix}}={\begin{bmatrix}w_{1}\\w_{2}\end{bmatrix}}-\eta {\begin{bmatrix}2(w_{1}+w_{2}x_{i}-y_{i})\\2x_{i}(w_{1}+w_{2}x_{i}-y_{i})\end{bmatrix}}.}$$${\displaystyle x_{i}}$

一般に、線形回帰問題が与えられた場合、確率的勾配降下法は、 （パラメータ不足）と（パラメータ過剰）の場合には異なる動作をする。パラメータ過剰の場合、確率的勾配降下法は に収束する。つまり、SGDは開始 からの距離が最小の補間解に収束する。これは学習率が一定の場合でも当てはまる。パラメータ不足の場合、学習率が一定の場合、SGDは収束しない。^[9]${\displaystyle {\hat {y}}=\sum _{k\in 1:m}w_{k}x_{k}}$${\displaystyle m<n}$${\displaystyle m\geq n}$${\displaystyle \arg \min _{w:w^{T}x_{k}=y_{k}\forall k\in 1:n}\|w-w_{0}\|}$${\displaystyle w_{0}}$

1951年、ハーバート・ロビンスとサットン・モンローは、確率的勾配降下法に先立つ最も初期の確率的近似法を発表しました。^[10]この研究を基にして、1年後、ジャック・キーファーとジェイコブ・ウォルフォウィッツは、中心差分を勾配の近似として使用した、確率的勾配降下法に非常に近い最適化アルゴリズムを発表しました。 ^[11] 1950年代後半、フランク・ローゼンブラットは、 SGDを使用してパーセプトロンモデルを最適化し、ニューラルネットワークへの確率的勾配降下法の初めての適用性を実証しました。^[12]

バックプロパゲーションは1986年に初めて説明され、確率的勾配降下法は複数の隠れ層を持つニューラルネットワーク全体のパラメータを効率的に最適化するために使用されました。その後すぐに、別の改良が開発されました。それは、小さなバッチのデータで単一のサンプルを置き換えるミニバッチ勾配降下法です。1997年には、このような小さなバッチで達成できるベクトル化による実用的なパフォーマンス上の利点が初めて調査され、^{[13]機械学習における効率的な最適化への道を開きました。2023年現在、このミニバッチアプローチはニューラルネットワークのトレーニングの標準であり、確率的勾配降下法と}勾配降下法の利点のバランスをとっています。^[14]

1980年代までに、モメンタムはすでに導入されており、1986年にSGD最適化手法に追加されました。 ^[15]しかし、これらの最適化手法は、一定のハイパーパラメータ、つまり固定された学習率とモメンタムパラメータを前提としていました。2010年代には、パラメータごとの学習率でSGDを適用する適応型アプローチが、2011年にAdaGrad（「適応勾配」の略）^[16]、2012年にRMSprop（「二乗平均平方根伝播」の略）^[17]で導入されました。2014年には、RMSpropの適応型アプローチをモメンタムに適用したAdam（「適応モーメント推定」の略）が公開されました。その後、Adadelta、Adagrad、AdamW、Adamaxなど、Adamの多くの改良とブランチが開発されました。^{[18] [19]}

機械学習では、2023年の最適化へのアプローチはAdam由来の最適化装置が主流です。TensorFlowとPyTorchは、圧倒的に人気のある機械学習ライブラリですが、^[20] 2023年時点では、主にAdam由来の最適化装置と、RMSpropやクラシックSGDなどのAdamの前身のみが含まれています。PyTorchは、ラインサーチ法であるLimited-memory BFGSも部分的にサポートしていますが、パラメータグループのない単一デバイス設定のみです。^{[19] [21]}

確率的勾配降下法は、（線形）サポートベクターマシン、ロジスティック回帰（例えば、Vowpal Wabbitを参照）、グラフィカルモデルなど、機械学習の幅広いモデルのトレーニングによく使われるアルゴリズムです。^[22]バックプロパゲーションアルゴリズムと組み合わせると、人工ニューラルネットワークのトレーニングにおける事実上の標準アルゴリズムになります。^[23]地球物理学コミュニティでも、特にフル波形反転（FWI）のアプリケーションでの使用が報告されています。 ^[24]

確率的勾配降下法は、同様に広く使用されているL-BFGSアルゴリズム^[要出典]と競合する。確率的勾配降下法は、少なくとも1960年以来、線形回帰モデルのトレーニングに使用されており、当初はADALINEという名前で使用されていた。^[25]

もう 1 つの確率的勾配降下アルゴリズムは、最小平均二乗 (LMS)適応フィルタです。

基本的な確率的勾配降下法アルゴリズムの改良が数多く提案され、使用されている。特に、機械学習では、学習率（ステップサイズ）を設定する必要性が問題視されてきた。このパラメータを高く設定しすぎるとアルゴリズムが発散する可能性があり、低く設定しすぎると収束が遅くなる。^[26]確率的勾配降下法の概念的に単純な拡張では、学習率が反復回数tの減少関数η _tとなり、学習率スケジュールが与えられ、最初の反復ではパラメータに大きな変化が生じ、その後の反復では微調整のみが実行される。このようなスケジュールは、 k平均法クラスタリングに関するMacQueenの研究以来知られている。^[27] SGDのいくつかの変種におけるステップサイズの選択に関する実用的なガイダンスは、Spallによって提供されている。^[28]

前述のように、古典的な確率的勾配降下法は一般に学習率 ηに敏感である。高速収束には大きな学習率が必要であるが、これは数値的不安定性を引き起こす可能性がある。この問題は、確率的勾配が現在の反復ではなく次の反復で評価される 暗黙の更新を考慮することで、ほぼ解決できる^{[29] 。}$${\displaystyle w^{\text{new}}:=w^{\text{old}}-\eta \,\nabla Q_{i}(w^{\text{new}}).}$$

この式は暗黙的です。 は式の両辺に現れるからです。更新は次のようにも書けるので、 これは近位勾配法の確率的形式です。${\displaystyle w^{\text{new}}}$$${\displaystyle w^{\text{new}}:=\arg \min _{w}\left\{Q_{i}(w)+{\frac {1}{2\eta }}\left\|w-w^{\text{old}}\right\|^{2}\right\}.}$$

例として、特徴と観測値 を持つ最小二乗法を考えてみましょう。次の式を解きます。 は内積を表します。 には、切片を含む最初の要素として「1」が含まれる可能性がある ことに注意してください。古典的な確率的勾配降下法は、次のように進行します。 ${\displaystyle x_{1},\ldots ,x_{n}\in \mathbb {R} ^{p}}$${\displaystyle y_{1},\ldots ,y_{n}\in \mathbb {R} }$$${\displaystyle \min _{w}\sum _{j=1}^{n}\left(y_{j}-x_{j}'w\right)^{2},}$$${\displaystyle x_{j}'w=x_{j1}w_{1}+x_{j,2}w_{2}+...+x_{j,p}w_{p}}$${\displaystyle x}$$${\displaystyle w^{\text{new}}=w^{\text{old}}+\eta \left(y_{i}-x_{i}'w^{\text{old}}\right)x_{i}}$$

ここで、は 1 から の間で均一にサンプリングされます。この手順の理論的収束は比較的穏やかな仮定の下で発生しますが、実際には手順は非常に不安定になる可能性があります。特に、が誤って指定され、 が大きな絶対固有値を持つ確率が高い場合、手順は数回の反復で数値的に発散する可能性があります。対照的に、暗黙的確率的勾配降下法(ISGD と略記) は、次のように閉じた形式で解くことができます。 ${\displaystyle i}$${\displaystyle n}$${\displaystyle \eta }$${\displaystyle I-\eta x_{i}x_{i}'}$$${\displaystyle w^{\text{new}}=w^{\text{old}}+{\frac {\eta }{1+\eta \left\|x_{i}\right\|^{2}}}\left(y_{i}-x_{i}'w^{\text{old}}\right)x_{i}.}$$

この手順は、学習率が正規化されているため、事実上すべての場合において数値的に安定したままです。最小二乗問題における古典的な勾配降下法と暗黙的な確率的勾配降下法の比較は、最小平均二乗法 (LMS)と 正規化最小平均二乗フィルター (NLMS)の比較と非常によく似ています。 ${\displaystyle \eta }$

ISGD の閉形式の解は最小二乗法でのみ可能ですが、この手順はさまざまなモデルで効率的に実装できます。具体的には、が との線形結合を通じてのみに依存すると仮定すると、 と書くことができます。ここで、 はにも依存しますが、 を除くと には依存しません。最小二乗法はこの規則に従い、ロジスティック回帰、およびほとんどの一般化線形モデルもこの規則に従います。たとえば、最小二乗法では 、ロジスティック回帰では、ここで はロジスティック関数です。ポアソン回帰では、などとなります。 ${\displaystyle Q_{i}(w)}$${\displaystyle w}$${\displaystyle x_{i}}$${\displaystyle \nabla _{w}Q_{i}(w)=-q(x_{i}'w)x_{i}}$${\displaystyle q()\in \mathbb {R} }$${\displaystyle x_{i},y_{i}}$${\displaystyle w}$${\displaystyle x_{i}'w}$${\displaystyle q(x_{i}'w)=y_{i}-x_{i}'w}$${\displaystyle q(x_{i}'w)=y_{i}-S(x_{i}'w)}$${\displaystyle S(u)=e^{u}/(1+e^{u})}$${\displaystyle q(x_{i}'w)=y_{i}-e^{x_{i}'w}}$

このような設定では、ISGD は次のように簡単に実装されます。、ここで はスカラーとします。この場合、ISGD は次の式と同等になります。 ${\displaystyle f(\xi )=\eta q(x_{i}'w^{\text{old}}+\xi \|x_{i}\|^{2})}$${\displaystyle \xi }$$${\displaystyle w^{\text{new}}=w^{\text{old}}+\xi ^{\ast }x_{i},~{\text{where}}~\xi ^{\ast }=f(\xi ^{\ast }).}$$

前述の一般化線形モデルなどのほとんどの通常のモデルでは関数は減少しており、したがって の探索境界は であるため、スケーリング係数は二分法で見つけることができます。 ${\displaystyle \xi ^{\ast }\in \mathbb {R} }$${\displaystyle q()}$${\displaystyle \xi ^{\ast }}$${\displaystyle [\min(0,f(0)),\max(0,f(0))]}$

さらなる提案には、運動量法やヘビーボール法があり、これは機械学習の文脈では、ルメルハート、ヒントン、ウィリアムズのバックプロパゲーション学習に関する論文^{[30]に登場し、ソ連の数学者ボリス・ポリャックの1964年の関数方程式の解法に関する論文[31]}からアイデアを借用した。運動量法による確率的勾配降下法は、各反復で更新Δwを記憶し、次の更新を勾配と前回の更新の線形結合として決定する：^{[32] [33]} これは以下につながる： $${\displaystyle \Delta w:=\alpha \Delta w-\eta \,\nabla Q_{i}(w)}$$ $${\displaystyle w:=w+\Delta w}$$$${\displaystyle w:=w-\eta \,\nabla Q_{i}(w)+\alpha \Delta w}$$

ここで、を最小化するパラメータは 推定され、はステップ サイズ（機械学習では学習率と呼ばれることもあります）であり、 は 0 から 1 の間の指数関数的減衰係数であり、重みの変化に対する現在の勾配と以前の勾配の相対的な寄与を決定します。 ${\displaystyle w}$${\displaystyle Q(w)}$${\displaystyle \eta }$${\displaystyle \alpha }$

運動量という名前は物理学の運動量との類似性から来ている。重みベクトルはパラメータ空間を移動する粒子として考えられ、^[30]損失の勾配（「力」）による加速を受ける。古典的な確率的勾配降下法とは異なり、同じ方向に移動し続ける傾向があるため、振動を防ぐことができる。運動量は数十年にわたって人工ニューラルネットワークのトレーニングにコンピュータ科学者によって効果的に使用されてきた。 ^[34] 運動量法は減衰不足のランジュバン動力学 と密接に関連しており、シミュレーテッドアニーリングと組み合わせることができる。^[35]${\displaystyle w}$

1980年代半ばに、この方法はユーリ・ネステロフによって次の点で予測される勾配を使用するように修正され、その結果得られたいわゆるネステロフ加速勾配は2010年代にMLで時々使用されるようになりました。^[36]

平均確率的勾配降下法は、1980年代後半にルパートとポリアックが独立に発明したもので、時間の経過に伴うパラメータベクトルの平均を記録する通常の確率的勾配降下法である。つまり、更新は通常の確率的勾配降下法と同じであるが、アルゴリズムは^[37]も追跡する。

$${\displaystyle {\bar {w}}={\frac {1}{t}}\sum _{i=0}^{t-1}w_{i}.}$$最適化が完了すると、この平均化されたパラメータベクトルがwの代わりに使用されます。

AdaGrad（適応勾配アルゴリズム）は、パラメータごとの学習率を持つ修正された確率的勾配降下法アルゴリズムで、2011年に初めて公開されました。^{[38]非公式には、これは}よりスパースなパラメータの学習率を上げ、よりスパースでないパラメータの学習率を下げます。この戦略は、データがスパースでスパースなパラメータの方が情報量が多い設定では、標準的な^確率的勾配降下法よりも収束性能が向上することがよくあります。このようなアプリケーションの例としては、自然言語処理や画像認識などがあります。^[38]

基本学習率η は依然として存在するが、これは外積行列 の対角要素であるベクトル{ G _{j , j} }の要素と乗算される。

$${\displaystyle G=\sum _{\tau =1}^{t}g_{\tau }g_{\tau }^{\mathsf {T}}}$$

ここで、 は反復τにおける勾配である。対角線は次のように与えられる。 ${\displaystyle g_{\tau }=\nabla Q_{i}(w)}$

$${\displaystyle G_{j,j}=\sum _{\tau =1}^{t}g_{\tau ,j}^{2}.}$$このベクトルは、基本的に次元ごとの勾配平方の履歴合計を格納し、反復ごとに更新されます。更新の式は^[a] または、パラメータごとの更新として記述され、 各{ G _{( i , i )} } は、単一のパラメータw _iに適用される学習率のスケーリング係数を生み出します。この係数の分母は、以前の導関数のℓ ₂ノルムであるため、極端なパラメータ更新は抑制され、更新が少ないパラメータや小さなパラメータはより高い学習率を受け取ります。^[34]$${\displaystyle w:=w-\eta \,\mathrm {diag} (G)^{-{\frac {1}{2}}}\odot g}$$$${\displaystyle w_{j}:=w_{j}-{\frac {\eta }{\sqrt {G_{j,j}}}}g_{j}.}$$${\textstyle {\sqrt {G_{i}}}={\sqrt {\sum _{\tau =1}^{t}g_{\tau }^{2}}}}$

AdaGradは凸問題向けに設計されているが、非凸最適化にもうまく適用されている。^[39]

RMSProp (Root Mean Square Propagation の略) は、2012 年にジェフリー・ヒントン グループの博士課程の学生だったジェームズ・マーテンスとイリヤ・スツケヴァーによって発明された手法で、Adagrad と同様に、各パラメータに対して学習率が調整されます。その考え方は、重みの学習率を、その重みの最近の勾配の大きさの移動平均で割るというものです。^[40]珍しいことに、この手法は論文として発表されたのではなく、Coursera の講義で説明されただけです。^[要出典]

まず移動平均は二乗平均で計算されます。

$${\displaystyle v(w,t):=\gamma v(w,t-1)+\left(1-\gamma \right)\left(\nabla Q_{i}(w)\right)^{2}}$$

ここで、は忘却係数です。履歴勾配を平方和として保存するという概念は Adagrad から借用したものですが、「忘却」は古いデータの影響を徐々に減らすことで非凸問題における Adagrad の学習率の減少を解決するために導入されました。^{[引用が必要]}${\displaystyle \gamma }$

そしてパラメータは次のように更新されます。

$${\displaystyle w:=w-{\frac {\eta }{\sqrt {v(w,t)}}}\nabla Q_{i}(w)}$$

RMSPropはさまざまなアプリケーションで学習率の適応性に優れていることが示されています。RMSPropはRpropの一般化と見なすことができ、フルバッチだけでなくミニバッチでも動作することができます。^[40]

Adam ^[41] (Adaptive Moment Estimationの略) は、2014年にRMSPropオプティマイザーを更新したもので、 Momentum法^[42]の主な機能と組み合わせたものです。この最適化アルゴリズムでは、勾配と勾配の2次モーメントの両方の指数忘却を伴う移動平均が使用されます。パラメータと損失関数（ は現在のトレーニング反復のインデックス）が与えられた場合、Adamのパラメータ更新は次のように表されます。 ${\displaystyle w^{(t)}}$${\displaystyle L^{(t)}}$${\displaystyle t}$${\displaystyle 0}$

$${\displaystyle m_{w}^{(t+1)}:=\beta _{1}m_{w}^{(t)}+\left(1-\beta _{1}\right)\nabla _{w}L^{(t)}}$$ $${\displaystyle v_{w}^{(t+1)}:=\beta _{2}v_{w}^{(t)}+\left(1-\beta _{2}\right)\left(\nabla _{w}L^{(t)}\right)^{2}}$$

$${\displaystyle {\hat {m}}_{w}={\frac {m_{w}^{(t+1)}}{1-\beta _{1}^{t}}}}$$ $${\displaystyle {\hat {v}}_{w}={\frac {v_{w}^{(t+1)}}{1-\beta _{2}^{t}}}}$$

$${\displaystyle w^{(t+1)}:=w^{(t)}-\eta {\frac {{\hat {m}}_{w}}{{\sqrt {{\hat {v}}_{w}}}+\varepsilon }}}$$ ここで、 は0 による除算を防ぐために使用される小さなスカラー (例) であり、(例 0.9) と(例 0.999) はそれぞれ勾配と勾配の 2 番目のモーメントの忘却係数です。平方と平方根は要素ごとに行われます。 ${\displaystyle \varepsilon }$${\displaystyle 10^{-8}}$${\displaystyle \beta _{1}}$${\displaystyle \beta _{2}}$

Adamの収束を証明する最初の証明は不完全であり、その後の分析により、Adamはすべての凸目的関数に対して収束しないことが明らかになりました。^{[43] [44]}それにもかかわらず、Adamは実践で優れたパフォーマンスを発揮するため、引き続き使用されています。^[45]

Adamの人気により、多くのバリエーションや機能強化が生まれました。いくつかの例を以下に示します。

• Nesterov 強化勾配: NAdam、^[46] FASFA ^[47]
• 二次情報の様々な解釈：Powerpropagation ^[48]とAdaSqrt ^[49 ]
• 無限大ノルムの使用：AdaMax ^[41]
• AMSGrad ^[50]は指数平均の代わりに過去の二乗勾配の最大値を使用することでAdamの収束性を改善します。 ^[51] AdamX ^[52]はさらにAMSGradの収束性を改善します。
• AdamW、^[53]は重みの減衰を改善します。

符号ベースの最適化は前述のRpropに遡りますが、2018年に研究者は確率的勾配の大きさを考慮に入れず、その符号のみを考慮することでAdamを簡素化しようとしました。^{[54] [55]}

バックトラッキング ライン サーチは、勾配降下法の別のバリエーションです。以下はすべて、前述のリンクから引用したものです。これは、Armijo-Goldstein 条件と呼ばれる条件に基づいています。どちらの方法でも、反復ごとに学習率を変更できますが、変更方法は異なります。バックトラッキング ライン サーチでは、関数評価を使用して Armijo の条件をチェックし、原則として、学習率を決定するアルゴリズムのループは長く、事前に不明になることがあります。適応型 SGD では、学習率を決定する際にループは必要ありません。一方、適応型 SGD では、バックトラッキング ライン サーチが持つ「降下特性」、つまりすべての n に対してその特性が保証されません。コスト関数の勾配が全体的に Lipschitz 連続で、Lipschitz 定数 L であり、学習率が 1/L のオーダーで選択される場合、SGD の標準バージョンは、バックトラッキング ライン サーチの特殊なケースになります。 ${\displaystyle f(x_{n+1})\leq f(x_{n})}$

標準的な（決定論的）ニュートン・ラプソン法の確率的類似物（「2次」法）は、確率的近似の設定において、漸近的に最適またはほぼ最適な反復最適化形式を提供します^{[要出典] 。経験的リスク関数の加数の}ヘッセ行列を直接測定する方法は、バード、ハンセン、ノセダル、シンガーによって開発されました。^[56]ただし、最適化に必要なヘッセ行列を直接決定することは実際には不可能です。直接的なヘッセ情報を必要としないSGDの2次バージョンの実用的かつ理論的に健全な方法は、スポールらによって提供されています。^{[57] [58] [59]}（同時摂動法の代わりに有限差分法に基づく効率の低い方法が Ruppert によって提案されている。^[60]）近似ヘッセ行列に対する別のアプローチは、通常の勾配を自然に変換するフィッシャー情報行列でそれを置き換えることである。^[61]直接ヘッセ情報を必要としないこれらの方法は、上記の経験的リスク関数の加数の値、または加数の勾配の値（つまり SGD 入力）のいずれかに基づいています。特に、経験的リスク関数の加数のヘッセ行列を直接計算しなくても、2 次最適性は漸近的に達成できます。目的関数が非線形最小二乗損失 （ ここでは予測モデル）である場合（たとえば、ディープ ニューラル ネットワーク）、目的関数の構造を利用して勾配のみを使用して 2 次情報を推定できます。結果として得られる方法は単純で、多くの場合効果的です^[62]$${\displaystyle Q(w)={\frac {1}{n}}\sum _{i=1}^{n}Q_{i}(w)={\frac {1}{n}}\sum _{i=1}^{n}(m(w;x_{i})-y_{i})^{2},}$$${\displaystyle m(w;x_{i})}$

学習率が小さい場合、確率的勾配降下法は勾配フロー常微分方程式 の離散化として考えることができる。${\textstyle \eta }$${\textstyle (w_{n})_{n\in \mathbb {N} _{0}}}$

$${\displaystyle {\frac {d}{dt}}W_{t}=-\nabla Q(W_{t})}$$

追加の確率的ノイズの影響を受ける。この近似は、次の意味で有限の時間範囲でのみ有効である。すべての係数が 十分に滑らかであると仮定する。およびを十分に滑らかなテスト関数とする。すると、すべての${\textstyle Q_{i}}$${\textstyle T>0}$${\textstyle g:\mathbb {R} ^{d}\to \mathbb {R} }$${\textstyle C>0}$${\textstyle \eta >0}$

$${\displaystyle \max _{k=0,\dots ,\lfloor T/\eta \rfloor }\left|\mathbb {E} [g(w_{k})]-g(W_{k\eta })\right|\leq C\eta ,}$$

ここで、は確率的勾配降下法におけるインデックスのランダム選択に関する期待値を取ることを表します。 ${\textstyle \mathbb {E} }$

この近似は確率的勾配降下法の平均挙動の周りのランダムな変動を捉えることができないため、確率微分方程式（SDE）の解が限界オブジェクトとして提案されている。^[63]より正確には、SDEの解は

$${\displaystyle dW_{t}=-\nabla \left(Q(W_{t})+{\tfrac {1}{4}}\eta |\nabla Q(W_{t})|^{2}\right)dt+{\sqrt {\eta }}\Sigma (W_{t})^{1/2}dB_{t},}$$

ブラウン運動に関する伊藤積分を表すここで、定数が存在するという意味でより正確な近似である。 $${\displaystyle \Sigma (w)={\frac {1}{n^{2}}}\left(\sum _{i=1}^{n}Q_{i}(w)-Q(w)\right)\left(\sum _{i=1}^{n}Q_{i}(w)-Q(w)\right)^{T}}$$${\textstyle dB_{t}}$${\textstyle C>0}$

$${\displaystyle \max _{k=0,\dots ,\lfloor T/\eta \rfloor }\left|\mathbb {E} [g(w_{k})]-\mathbb {E} [g(W_{k\eta })]\right|\leq C\eta ^{2}.}$$

しかし、このSDEは確率的勾配降下法の1点運動を近似するだけである。確率的流れを近似するには、無限次元ノイズを含むSDEを考慮する必要がある。^[64]

• バックトラックライン検索
• 破綻した神経スケーリング則
• 座標降下– 1つの例ではなく、一度に1つの座標を変更します
• 線形分類器
• オンライン機械学習
• 確率的ヒルクライミング
• 確率的分散の低減

• Bottou, Léon (2004)、「確率的学習」、機械学習に関する上級講義、LNAI、vol. 3176、Springer、pp. 146–168、ISBN 978-3-540-23122-6
• Buduma, Nikhil; Locascio, Nicholas (2017)、「勾配降下法を超えて」、ディープラーニングの基礎：次世代の機械知能アルゴリズムの設計、O'Reilly、ISBN 9781491925584
• LeCun, Yann A. ; Bottou, Léon; Orr, Genevieve B.; Müller, Klaus-Robert (2012)、「Efficient BackProp」、Neural Networks: Tricks of the Trade、Springer、pp. 9–48、ISBN 978-3-642-35288-1
• スパル、ジェームズ C. (2003)、確率的探索と最適化入門、Wiley、ISBN 978-0-471-33052-3

• 「勾配降下法、ニューラルネットワークの学習方法」。3Blue1Brown 2017年10月16日。2021年12月22日時点のオリジナルよりアーカイブ – YouTube経由。
• Goh (2017年4月4日). 「なぜモメンタムが本当に機能するのか」. Distill . 2 (4). doi : 10.23915/distill.00006 .勢いを説明するインタラクティブなペーパー。