神経微分方程式

機械学習において、ニューラル微分方程式は、右辺がニューラルネットワークの重みθによってパラメータ化された微分方程式である。^[1]特に、ニューラル常微分方程式（ニューラルODE）は、次の形式の 常微分方程式である。

$${\displaystyle {\frac {\mathrm {d} \mathbf {h} (t)}{\mathrm {d} t}}=f_{\theta }(\mathbf {h} (t),t).}$$従来のニューラル ネットワークでは、レイヤーは自然数でインデックス付けされたシーケンスに配置されます。ただし、ニューラル ODE では、レイヤーは正の実数でインデックス付けされた連続したファミリを形成します。具体的には、関数は各正のインデックスt を実数値にマッピングし、そのレイヤーでのニューラル ネットワークの状態を表します。 ${\displaystyle h:\mathbb {R} _{\geq 0}\to \mathbb {R} }$

ニューラルODEは連続時間制御システムとして理解することができ、データの補間能力は制御可能性の観点から解釈することができます。^[2]

ニューラルODEは、離散的な層ではなく、連続した層を持つ残差ニューラルネットワークとして解釈できます。 ^{[1]単位時間ステップの}オイラー法をニューラルODEに適用すると、残差ニューラルネットワークの順伝播方程式が得られます。

$${\displaystyle \mathbf {h} _{\ell +1}=f_{\theta }(\mathbf {h} _{\ell },\ell )+\mathbf {h} _{\ell },}$$

ここでℓは残差ニューラルネットワークのℓ番目の層である。残差ニューラルネットワークの順方向伝播は入力層から始まる一連の変換を適用することによって行われるが、ニューラルODEの順方向伝播計算は微分方程式を解くことによって行われる。より正確には、ニューラルODEの入力に関連付けられた出力は、初期値問題を解くことによって得られる。${\displaystyle \mathbf {h} _{\text{out}}}$${\displaystyle \mathbf {h} _{\text{in}}}$

$${\displaystyle {\frac {\mathrm {d} \mathbf {h} (t)}{\mathrm {d} t}}=f_{\theta }(\mathbf {h} (t),t),\クワッド \mathbf {h} (0)=\mathbf {h} _{\text{in}},}$$

値を に割り当てます。 ${\displaystyle \mathbf {h} (T)}$${\displaystyle \mathbf {h} _{\text{out}}}$

追加情報がわかっている物理学に基づいたコンテキストでは、ニューラルODEを既存の第一原理モデルと組み合わせて、普遍微分方程式（UDE）と呼ばれる物理学に基づいたニューラルネットワークモデルを構築することができます。^{[3] [4] [5] [6]}たとえば、ロトカ・ヴォルテラモデルのUDEバージョンは次のように記述できます^[7]

$${\displaystyle {\begin{aligned}{\frac {dx}{dt}}&=\alpha x-\beta xy+f_{\theta }(x(t),y(t)),\\{\frac {dy}{dt}}&=-\gamma y+\delta xy+g_{\theta }(x(t),y(t)),\end{aligned}}}$$

ここで、項と項はニューラルネットワークによってパラメータ化された補正項です。 ${\displaystyle f_{\theta }}$${\displaystyle g_{\theta }}$

• 物理学に基づくニューラルネットワーク

• スティーブ・ブラントンによるニューラル常微分方程式に関する講義