オプティカルフロー

開口問題に対処する最も自然なアプローチは、流れ場に平滑化制約または正則化制約を適用することかもしれません。これらの制約の両方を組み合わせることで、オプティカルフローの推定を最適化問題として定式化できます。その目的は、次の形式のコスト関数を最小化することです。

${\displaystyle E=\iint _{\Omega }\Psi (I(x+u,y+v,t+1)-I(x,y,t))+\alpha \Psi (|\nabla u|)+\alpha \Psi (|\nabla v|)dxdy,}$

どこ${\displaystyle \Omega }$画像の範囲${\displaystyle I(x,y)}$、${\displaystyle \nabla }$は勾配演算子です。${\displaystyle \alpha }$は定数であり、${\displaystyle \Psi ()}$は損失関数です。^{[ 7 ] [ 8 ]}

この最適化問題は非線形性のため解決が困難です。この問題を解決するために、変分法を用いて、輝度一定制約を1次テイラー級数近似で線形化することができます。具体的には、輝度一定制約は次のように近似されます。

$\displaystyle {\frac {\partial I}{\partial x}}u+{\frac {\partial I}{\partial y}}v+{\frac {\partial I}{\partial t}}=0.}$

便宜上、画像の派生関数は、$\displaystyle {\tfrac {\partial I}{\partial x}}}$、${\displaystyle {\tfrac {\partial I}{\partial y}}}$そして${\displaystyle {\tfrac {\partial I}{\partial t}}}$しばしば凝縮されて${\displaystyle I_{x}}$、${\displaystyle I_{y}}$そして${\displaystyle I_{t}}$こうすることで、線形化された輝度一定制約を次のように書き換えることができる。^{[ 9 ]}

${\displaystyle I_{x}u+I_{y}v+I_{t}=0.}$

最適化問題は次のように書き換えることができる。

${\displaystyle E=\iint _{\Omega }\Psi (I_{x}u+I_{y}v+I_{t})+\alpha \Psi (|\nabla u|)+\alpha \Psi (|\nabla v|)dxdy.}$

選択のために$\displaystyle \Psi (x)=x^{2}}$この方法は、 Horn-Schunck法と同じです。^{[ 3 ]} もちろん、他のコスト関数も使用されています。$\displaystyle \Psi (x)={\sqrt {x^{2}+\epsilon ^{2}}}}$これは、$\displaystyle L^{1}}$規範。^{[ 7 ] [ 10 ]}

前述の最適化問題を解決するには、オイラー・ラグランジュ方程式を使用して、各点に対する偏微分方程式系を与えることができます。${\displaystyle I(x,y,t)}$最も単純なケースでは、$\displaystyle \Psi (x)=x^{2}}$これらの式は、

${\displaystyle I_{x}(I_{x}u+I_{y}v+I_{t})-\alpha \Delta u=0,}$

${\displaystyle I_{y}(I_{x}u+I_{y}v+I_{t})-\alpha \Delta v=0,}$

どこ${\displaystyle \Delta ={\frac {\partial ^{2}}{\partial x^{2}}}+{\frac {\partial ^{2}}{\partial y^{2}}}}$はラプラス演算子を表します。画像データは離散的なピクセルで構成されているため、これらの式は離散化されます。そうすることで、を解くことができる線形方程式系が得られます。${\displaystyle (u,v)}$各ピクセルで、ガウス・ザイデル法などの反復スキームを使用する。^{[ 3 ]}

輝度一定制約を線形化することで最適化問題が大幅に簡略化されるものの、線形化は小さな変位や滑らかな画像に対してのみ有効です。この問題を回避するために、マルチスケールまたは粗密アプローチがよく用いられます。このようなスキームでは、まず画像をダウンサンプリングし、線形化されたオイラー・ラグランジュ方程式を縮小された解像度で解きます。このスケールで推定された流れ場は、次のスケールでのプロセスの初期化に使用されます。^{[ 11 ]}この初期化プロセスは、流れ場の現在の推定値を使用して1つのフレームをワープし、他のフレームとできるだけ類似するようにすることがよくあります。^{[ 8 ] [ 12 ]}

別の方法としては、最適化問題を離散化してから、可能な解を探索するという方法がある。${\displaystyle (u,v)}$線形化せずに値を取得します。^{[ 13 ]} この探索は、最大フロー最小カット定理アルゴリズム、線形計画法、または信念伝播法を使用して実行されることがよくあります。

これらの正則化手法では、通常、ラグランジュ乗数、いわゆる正則化パラメータを手動で調整する必要があります。粒子画像流速測定法（PIV）データに適用されるオプティカルフローの文脈では、これらのパラメータの自動決定に関してある程度の進歩が見られます。^{[ 14 ] [ 15 ]}

正則化モデルのように点ごとに正則化制約を適用する代わりに、ピクセルを領域にグループ化して、これらの領域の動きを推定することができます。これらの領域の動きはパラメータ化されているため、これはパラメトリックモデルとして知られています。このようにオプティカルフロー推定を定式化する場合、各領域の動き場は一連のパラメータによって完全に特徴付けられるという仮定を置きます。したがって、パラメトリックモデルの目標は、次のように記述できる損失関数を最小化する動きパラメータを推定することです。

${\displaystyle {\hat {\boldsymbol {\alpha }}}=\arg \min _{\boldsymbol {\alpha }}\sum _{(x,y)\in {\mathcal {R}}}g(x,y)\rho (x,y,I_{1},I_{2},u_{\boldsymbol {\alpha }},v_{\boldsymbol {\alpha }}),}$

どこ${\displaystyle {\boldsymbol {\alpha }}}$は、その領域の動きを決定するパラメータのセットです。${\displaystyle {\mathcal {R}}}$、${\displaystyle \rho ()}$データコスト用語は、${\displaystyle g()}$はピクセルの影響を決定する重み付け関数です${\displaystyle (x,y)}$総費用に関して、${\displaystyle I_{1}}$そして${\displaystyle I_{2}}$これらは、連続するフレームのペアからのフレーム1とフレーム2です。^{[ 7 ]}

最も単純なパラメトリックモデルは、ルーカス・カナデ法です。これは矩形領域を使用し、動きを純粋に並進運動としてパラメータ化します。ルーカス・カナデ法は、元の輝度一定制約をデータコスト項として使用し、${\displaystyle g(x,y)=1}$これにより、局所損失関数が得られます。

${\displaystyle {\hat {\boldsymbol {\alpha }}}=\arg \min _{\boldsymbol {\alpha }}\sum _{(x,y)\in {\mathcal {R}}}|I(x+u_{\boldsymbol {\alpha }},y+v_{\boldsymbol {\alpha }},t+1)-I(x,y,t)|.}$

その他の局所損失関数としては、2つのフレーム間の負の正規化相互相関などが挙げられる。 ^{[ 16 ]}