モーショングラム

モーショングラムは、ビデオ録画から作成された、動きの空間的・時間的表示です。モーショングラムは、動画処理技術を使用して作成されます。この技術では、動画が 1 ピクセル幅のストライプにまとめられ、隣り合ってプロットされます。

人間の動きを視覚的に表現する従来の方法は、ビデオ ファイルの個々のフレームをキーフレーム表示として表示するか、1 つ以上の形式の特徴抽出を行って結果データをプロットするかのいずれかです。どちらも、シーケンス内で実際に起こっている動きの印象を与えるには理想的ではありません。キーフレーム表示は姿勢のみを表示し、動きは表示しませんが、特徴グラフは複数の分析ステップに依存することがよくあります。モーショングラムは、動きのシーケンスの時空間情報を表示する中間ステップとして役立ちますが、データの完全な分析を行う必要はありません。

モーショングラムという用語は、2006 年にアレクサンダー レフサム イェンセニウスによって初めて提案され、^[1]その後、彼と他の人によってこの手法が改良されました。この手法は、 19 世紀のマイブリッジとマレーの先駆的な研究、および20 世紀のスリット スキャンコミュニティに触発されました。モーショングラムはスリット スキャン写真に似ていますが、フレーム差分のモーション イメージから作成されるという点で異なります。その結果、最終的な表示ではモーションのみが表示されます。

モーショングラムの作成の概要を図 1 に示します。プロセスは、ビデオ ストリームを読み取り、明るさやコントラストの変更などの簡単な画像調整を行うことから始まります。次のステップでは、連続するビデオ フレーム間の絶対フレーム差を計算してモーション イメージを作成し、その後、ノイズ除去アルゴリズムを適用します。モーショングラムは、モーション イメージの各行または列の正規化された平均値を計算することで作成されます。つまり、サイズ MxN の各イメージ マトリックスに対して、Mx1 または 1xN マトリックスが計算されます。これらの 1 ピクセル幅の「ストライプ」を時間の経過とともに隣り合わせて描画すると、最終的なモーショングラムが作成されます。

モーショングラム技術は、 Max用のオープン フレームワーク Jamoma のモジュールとして実装されているほか、EyesWeb プラットフォームやMatlabにも実装されています。また、OSX および Windows 用のスタンドアロン アプリケーションとして、VideoAnalysis (非リアルタイム) と AudioVideoAnalysis (リアルタイム) の 2 つもあります。

モーショングラムを使用すると、ビデオ素材をすばやくナビゲートしたり、モーションの品質を比較分析したりできます。かなり大まかではありますが、モーション シーケンス間のモーション量の違いや上向き/下向きのパターンの類似性を簡単に確認できます。

モーショングラムはビデオ ファイルの行または列のいずれかを平均化して作成されるため、最終的なモーショングラムには 1 つの次元のみが表示されます。したがって、水平モーショングラムは主に垂直方向の動きを表し、垂直モーショングラムは主に水平方向の動きを表します。