睡眠・覚醒アルゴリズム

ウェイクスリープアルゴリズム^{[ 1 ]}は、特にヘルムホルツマシン^{[ 2 ]}などの深層生成モデル^のための教師なし学習アルゴリズムです。このアルゴリズムは期待値最大化アルゴリズム[ ^{3 ]}に似ており、観測データに対するモデル尤度を最適化します^{[ 4 ]} 。アルゴリズムの名前は、「ウェイク」フェーズと「スリープ」フェーズという2つの学習フェーズを交互に実行することに由来しています^{[ 1 ]} 。脳の学習モデルとして考えることができますが^{[ 5 ]} 、機械学習にも応用されています^{[ 6 ]}。

ウェイクスリープアルゴリズムの目標は、観測データの階層的表現を見つけることです。^{[ 7 ]}アルゴリズムの図式表現では、データは最下層でアルゴリズムに適用され、上位層では徐々に抽象的な表現が形成されます。各層のペアの間には、2組の重みがあります。1つは認識重みで、これは表現がデータからどのように推論されるかを定義します。もう1つは生成重みで、これはこれらの表現がデータとどのように関連しているかを定義します。 ^{[ 8 ]}

トレーニングは「覚醒」フェーズと「睡眠」フェーズの2つのフェーズで構成されます。この学習アルゴリズムは収束することが証明されています。^{[ 3 ]}

認識ネットワークは柔軟性に限界があるため、潜在変数の事後分布をうまく近似できない可能性があります。^{[ 6 ]}事後分布をより良く近似するために、認識ネットワークを提案分布として用いた重点サンプリングを用いることができます。この事後分布の近似の改善は、モデル全体のパフォーマンスも向上させます。^{[ 6 ]}

• 制限付きボルツマンマシンとは、概念的に類似したアルゴリズムで学習されるニューラルネットワークの一種である。
• ヘルムホルツマシンとは、覚醒・睡眠アルゴリズムによって学習されたニューラルネットワークモデルである。