オプティカルフロー

オプティカルフローまたはオプティカルフローは、観察者とシーンの相対的な動きによって引き起こされる視覚シーン内のオブジェクト、表面、エッジの見かけの動きのパターンです。 ^{[1] [2]}オプティカルフローは、画像内の明るさパターンの見かけの動きの速度の分布として定義することもできます。^[3]

オプティカルフローの概念は、1940年代にアメリカの心理学者ジェームズ・J・ギブソンによって、世界を移動する動物に提供される視覚刺激を説明するために導入されました。^[4]ギブソンは、環境内での行動の可能性を識別する能力であるアフォーダンス知覚におけるオプティカルフローの重要性を強調しました。ギブソンと彼の心理学への生態学的アプローチの追随者は、観察者による世界における動きの知覚、世界における物体の形状、距離、動きの知覚、および移動の制御におけるオプティカルフロー刺激の役割をさらに実証しました。^[5]

オプティカルフローという用語はロボット工学者によっても使用され、動き検出、物体分割、接触時間情報、拡大焦点計算、輝度、動き補償符号化、ステレオ視差測定など、画像処理やナビゲーション制御の関連技術を包含している。^{[6] [7]}

順序付けられた画像のシーケンスにより、瞬間的な画像速度または離散的な画像変位として動きを推定できます。^[7] Fleet と Weiss は、勾配ベースのオプティカルフローのチュートリアルを提供しています。^[8] John L. Barron、David J. Fleet、および Steven Beauchemin は、いくつかのオプティカルフロー技術のパフォーマンス分析を提供しています。これは、測定の精度と密度に重点を置いています。^[9]

オプティカル フロー法は、ある時点およびすべてのボクセル位置で撮影された 2 つの画像フレーム間の動きを計算します。これらの方法は、画像信号のローカルテイラー級数近似に基づいているため、微分法と呼ばれます。つまり、空間座標と時間座標に関する偏微分を使用します。 ${\displaystyle t}$${\displaystyle t+\Delta t}$

(2D +  t )次元の場合（3Dまたはn -Dの場合も同様）、強度のある位置にあるボクセルは2つの画像フレーム間で移動し、次の明るさの一定性制約が与えられます。 ${\displaystyle (x,y,t)}$${\displaystyle I(x,y,t)}$${\displaystyle \Delta x}$${\displaystyle \Delta y}$${\displaystyle \Delta t}$

${\displaystyle I(x,y,t)=I(x+\Delta x,y+\Delta y,t+\Delta t)}$

動きが小さいと仮定すると、テイラー級数での像制約は次のように展開できます。 ${\displaystyle I(x,y,t)}$

${\displaystyle I(x+\Delta x,y+\Delta y,t+\Delta t)=I(x,y,t)+{\frac {\partial I}{\partial x}}\,\Delta x+{\frac {\partial I}{\partial y}}\,\Delta y+{\frac {\partial I}{\partial t}}\,\Delta t+{}}$高階項

高次の項を切り捨てる（線形化を実行する）と、次のようになります。

${\displaystyle {\frac {\partial I}{\partial x}}\Delta x+{\frac {\partial I}{\partial y}}\Delta y+{\frac {\partial I}{\partial t}}\Delta t=0}$

または、 で割ると、 ${\displaystyle \Delta t}$

${\displaystyle {\frac {\partial I}{\partial x}}{\frac {\Delta x}{\Delta t}}+{\frac {\partial I}{\partial y}}{\frac {\Delta y}{\Delta t}}+{\frac {\partial I}{\partial t}}{\frac {\Delta t}{\Delta t}}=0}$

その結果

${\displaystyle {\frac {\partial I}{\partial x}}V_{x}+{\frac {\partial I}{\partial y}}V_{y}+{\frac {\partial I}{\partial t}}=0}$

ここで、および の速度またはオプティカルフローのおよび成分であり、は対応する方向における画像の微分です。、および は、次のように微分に対して書くことができます。 ${\displaystyle V_{x},V_{y}}$${\displaystyle x}$${\displaystyle y}$${\displaystyle I(x,y,t)}$${\displaystyle {\tfrac {\partial I}{\partial x}}}$${\displaystyle {\tfrac {\partial I}{\partial y}}}$${\displaystyle {\tfrac {\partial I}{\partial t}}}$${\displaystyle (x,y,t)}$${\displaystyle I_{x}}$${\displaystyle I_{y}}$${\displaystyle I_{t}}$

したがって：

${\displaystyle I_{x}V_{x}+I_{y}V_{y}=-I_{t}}$

または

${\displaystyle \nabla I\cdot {\vec {V}}=-I_{t}}$

これは 2 つの未知数を持つ方程式であり、そのままでは解くことができません。これは、オプティカル フロー アルゴリズムのアパーチャ問題として知られています。オプティカル フローを見つけるには、追加の制約によって与えられる別の方程式のセットが必要です。すべてのオプティカル フロー メソッドでは、実際のフローを推定するための追加条件が導入されます。

• 位相相関– 正規化されたクロスパワースペクトルの逆数
• ブロックベースの方法 - 二乗差の合計または絶対差の合計を最小化、または正規化された相互相関を最大化
• 画像信号および/または求められているフローフィールドの偏微分と高次偏微分に基づいて光学フローを推定する微分法:
  • ルーカス・カナデ法– 画像パッチと流れ場のアフィンモデルに関するもの^[10]
  • ホーン・シュンク法- 輝度一定制約からの残差と流れ場の予想される滑らかさを表現する特定の正則化項に基づいて関数を最適化する^[10]
  • バクストン・バクストン法 – 画像シーケンスのエッジの動きのモデルに基づく^[11]
  • ブラック・ジェプソン法 – 相関による粗い光学フロー^[7]
  • 一般変分法– 他のデータ項と他の滑らかさ項を使用した、Horn–Schunck のさまざまな修正/拡張。
• 離散最適化法 - 検索空間を量子化し、各ピクセルにラベルを割り当てることで画像マッチングを行い、対応する変形がソース画像とターゲット画像間の距離を最小化するようにします。^[12]最適解は、多くの場合、最大フロー最小カット定理アルゴリズム、線形計画法、またはビリーフプロパゲーション法によって回復されます。

これらの多くは、現在の最先端のアルゴリズムに加えて、ミドルベリーベンチマークデータセットで評価されています。^{[13] [14]}その他の人気のあるベンチマークデータセットには、 KITTIとSintelがあります。

動き推定とビデオ圧縮は、オプティカルフロー研究の主要な側面として発展してきました。オプティカルフローフィールドは、動き推定の技術から得られる密な動きフィールドに表面的には似ていますが、オプティカルフローは、オプティカルフローフィールド自体の決定だけでなく、シーンの3次元の性質と構造、およびシーンに対するオブジェクトと観察者の3Dモーションの推定におけるその使用法の研究でもあり、そのほとんどは画像ヤコビアンを使用しています。^[15]

オプティカルフローは、物体検出と追跡、画像支配面抽出、動き検出、ロボットナビゲーション、視覚オドメトリなど、多くの分野でロボット研究者によって使用されています。^[6]オプティカルフロー情報は、超小型航空機の制御に有用であることが認識されています。^[16]

オプティカルフローの応用には、観察者やシーン内の物体の動きを推測するだけでなく、物体や環境の構造を推測するという問題も含まれます。動きの認識と環境構造のメンタルマップの生成は動物（および人間）の視覚の重要な要素であるため、この生来の能力をコンピューターの機能に変換することは、マシンビジョンの分野でも同様に重要です。^[17]

視野の左下から右上にボールが動いている 5 フレームのクリップを考えてみましょう。動き推定技術により、2 次元平面上でボールが右上に動いていることがわかり、この動きを記述するベクトルをフレームのシーケンスから抽出できます。ビデオ圧縮 ( MPEGなど) の目的では、シーケンスは必要なだけ記述されるようになりました。ただし、マシン ビジョンの分野では、ボールが右に動いているのか、それとも観察者が左に動いているのかという問題は、知ることはできませんが、重要な情報です。5 つのフレームに静的なパターンの背景があったとしても、パターンが観察者に対して無限の距離にある可能性があるため、ボールが右に動いていると自信を持って述べることはできません。

オプティカルフローセンサーにはさまざまな構成があります。1つの構成は、オプティカルフローアルゴリズムを実行するようにプログラムされたプロセッサに接続されたイメージセンサーチップです。別の構成では、イメージセンサーとプロセッサの両方が同じダイ上にある集積回路であるビジョンチップを使用し、コンパクトな実装を可能にします。^{[18] [19]}この例としては、光学マウスで使用される汎用光学マウスセンサーがあります。場合によっては、処理回路をアナログまたはミックスドシグナル回路を使用して実装し、最小限の電流消費で高速なオプティカルフロー計算を可能にすることがあります。

現代の研究の1つの分野は、神経形態工学技術を使用して光の流れに反応する回路を実装することであり、したがって光の流れセンサーでの使用に適している可能性があります。^[20]このような回路は、同様に光の流れに反応する生物学的神経回路からインスピレーションを得ている可能性があります。

オプティカルフローセンサーは、表面上のマウスの動きを測定するための主要な感知コンポーネントとして、 コンピューターの光学式マウスで広く使用されています。

光学フローセンサーはロボット工学の分野でも利用されており、主にロボットとその周辺の物体との間の視覚的な動きや相対的な動きを測定する必要がある場合に利用されています。無人航空機（UAV）の安定性と障害物回避のための光学フローセンサーの使用も現在研究されている分野です。^[21]

• 周囲光アレイ
• 光学式マウス
• 距離画像
• ビジョン処理ユニット
• 連続方程式
• モーションフィールド

ウィキメディア・コモンズには、オプティックフローに関連するメディアがあります。

• オプティカルフローの検出
• fxguide.com のオプティカルフローの芸術に関する記事 (視覚効果におけるオプティカルフローの使用)
• オプティカルフロー評価とグラウンドトゥルースシーケンス。
• ミドルベリーオプティカルフロー評価とグラウンドトゥルースシーケンス。
• mrf-registration.net - MRFによる光学フロー推定
• フランス航空宇宙研究所: Lucas-Kanade ベースのオプティカルフローの GPU 実装
• CUVI (CUDA Vision & Imaging Library) による CUDA 実装
• Horn と Schunck のオプティカルフロー: Horn と Schunck 法のオンラインデモとソースコード
• TV-L1 オプティカルフロー: Zach らの方法のオンラインデモとソースコード
• ロバストなオプティカルフロー: Brox らの方法のオンラインデモとソースコード