関節体の姿勢推定

コンピュータビジョンにおける関節体の姿勢推定は、関節と剛体部分からなる関節体の姿勢を画像ベースの観測から復元するアルゴリズムとシステムの研究です。これは、観測と姿勢を関連付けるモデルの複雑さと、それが役立つ状況の多様性のため、コンピュータビジョンにおける最も長く続いている問題の1つです。^{[1] [2]}

周囲の環境における人間の認識は、ロボットが備えていなければならない重要な能力です。人がジェスチャーを使って特定の物体を指し示す場合、対話する機械は現実世界の状況でその状況を理解できなければなりません。したがって、姿勢推定はコンピューター ビジョンにおける重要かつ困難な問題であり、過去 20 年間にこの課題を解決するために多くのアルゴリズムが採用されてきました。多くのソリューションでは、大規模なデータ セットを使用して複雑なモデルをトレーニングする必要があります。

人間の体は 230 個の関節と 244 個の自由度を持っているため、姿勢推定は難しい問題であり、活発に研究されている主題です。関節間のすべての動きが明らかというわけではありませんが、人間の体は 20 個の自由度を持つ 10 個の大きな部分で構成されています。アルゴリズムは、衣服、体型、サイズ、髪型による外観の違いによって生じる大きな変動性を考慮する必要があります。さらに、人の手が顔を覆っているなど、自己表現による部分的な遮蔽や外部の物体による遮蔽により、結果があいまいになる場合があります。最後に、ほとんどのアルゴリズムは、通常のカメラで撮影した単眼 (2 次元) 画像から姿勢を推定します。その他の問題には、照明やカメラ構成の変化が含まれます。追加のパフォーマンス要件がある場合は、困難さが増します。これらの画像には実際の体の姿勢の 3 次元情報が欠けているため、さらにあいまいになります。この分野では、RGBD カメラからの画像が色と深度に関する情報を提供する最近の研究があります。 ^[3]

典型的な関節体の姿勢推定システムにはモデルベースのアプローチが含まれ、姿勢推定は観測（入力）とテンプレート モデル間の類似性/相違性を最大化/最小化することで実現されます。観測を行うために、次のようなさまざまな種類のセンサーが検討されてきました。

• 可視波長画像、
• 長波熱赤外線画像、^[4]
• 飛行時間画像、および
• レーザー距離スキャナ画像。

これらのセンサーは、モデルによって直接使用される中間表現を生成します。表現には次のものが含まれます。

• 画像の外観、
• ボクセル（体積要素）再構成、
• 3D点群とガウスカーネルの合計^[5]
• 3D サーフェス メッシュ。

パーツベースモデルの基本的な考え方は、人間の骨格に由来しています。関節の特性を持つオブジェクトは、より小さなパーツに分解することができ、各パーツは異なる方向を取ることができ、同じオブジェクトでも異なる関節を作ることができます。メインオブジェクトの異なるスケールと方向は、対応するパーツのスケールと方向に関節付けすることができます。モデルを数学的に表現できるように定式化するために、パーツはスプリングを使用して互いに接続されています。そのため、このモデルはスプリングモデルとも呼ばれています。各パーツ間の近さの度合いは、スプリングの圧縮と拡張によって決まります。スプリングの方向には幾何学的な制約があります。たとえば、脚の四肢は 360 度動くことはできません。したがって、パーツはそのような極端な方向を取ることはできません。これにより、可能な順列が減ります。^[6]

スプリングモデルはグラフ G(V,E) を形成します。ここで、V (ノード) はパーツに対応し、E (エッジ) は 2 つの隣接するパーツを接続するスプリングを表します。画像内の各位置は、ピクセル位置の座標と座標で到達できます。位置の点を とします。すると、スプリングをと点の間に接続するのに必要なコストは で与えられます。したがって、各位置にコンポーネントを配置するのに必要な総コストは で与えられます。 ${\displaystyle x}$${\displaystyle y}$${\displaystyle \mathbf {p} _{i}(x,\,y)}$${\displaystyle \mathbf {i} ^{th}}$${\displaystyle \mathbf {i} ^{th}}$${\displaystyle \mathbf {j} ^{th}}$${\displaystyle S(\mathbf {p} _{i},\,\mathbf {p} _{j})=S(\mathbf {p} _{i}-\mathbf {p} _{j})}$${\displaystyle l}$${\displaystyle \mathbf {P} _{l}}$

${\displaystyle S(\mathbf {P} _{l})=\displaystyle \sum _{i=1}^{l}\;\displaystyle \sum _{j=1}^{i}\;\mathbf {s} _{ij}(\mathbf {p} _{i},\,\mathbf {p} _{j})}$

上記の式は、体の姿勢を記述するために使用されるスプリングモデルを単純に表しています。画像から姿勢を推定するには、コストまたはエネルギー関数を最小化する必要があります。このエネルギー関数は2つの項で構成されています。1つ目は各コンポーネントが画像データとどの程度一致するかに関連し、2つ目は方向付けられた（変形された）パーツがどの程度一致するかを扱い、物体検出とともに関節を考慮します。^[7]

パーツモデルは、絵画構造とも呼ばれ、わずかな変更を加えることで他の効率的なモデルを構築するための基本モデルの1つです。その一例は、局所剛性の概念を利用して数百または数千の変形パーツのデータベースを削減する柔軟な混合モデルです。^[8]

運動学的骨格は木構造の鎖によって構成される。^[9]各剛体セグメントはローカル座標系を持ち、4×4変換行列を介してワールド座標系に変換することができる。 ${\displaystyle T_{l}}$

${\displaystyle T_{l}=T_{\operatorname {par} (l)}R_{l},}$

ここで、 はボディセグメントからその親 へのローカル変換を表します。ボディの各ジョ​​イントには 3 自由度 (DoF) の回転があります。変換行列 が与えられると、T ポーズでのジョイント位置をワールド座標の対応する位置に転送できます。多くの研究では、3D ジョイント回転は連続性があるため正規化された四元数として表現され、パラメータ推定における勾配ベースの最適化が容易になります。 ${\displaystyle R_{l}}$${\displaystyle S_{l}}$${\displaystyle \operatorname {par} (S_{l})}$${\displaystyle T_{l}}$${\displaystyle [x,y,z,w]}$

2016 年頃から、ディープラーニングは、関節のある体の姿勢を正確に推定する主要な方法として登場しました。上記のようにパーツの明示的なモデルを構築するのではなく、体の関節の外観と関節間の関係を大規模なトレーニング セットから学習します。モデルは一般に、関節の 2D 位置 (キーポイント)、関節の 3D 位置、または体の 3D 形状を 1 枚または複数の画像から抽出することに重点を置いています。

最初に登場したディープラーニングモデルは、画像内の人間の関節の2D位置を抽出することに焦点を当てていました。このようなモデルは画像を取り込み、畳み込みニューラルネットワークに渡して、関節が検出された場所で高い値をとる一連のヒートマップ（関節ごとに1つ）を取得します。^{[10] [11]}

画像に複数の人物がいる場合、各人物の関節をグループ化するための 2 つの主な手法が生まれています。最初の「ボトムアップ」アプローチでは、ニューラル ネットワークは、手足の位置を示す「パーツ アフィニティ フィールド」も生成するようにトレーニングされます。これらのフィールドを使用して、一連の割り当て 問題を解決することで、手足ごとに関節をグループ化できます。^[11] 2 番目の「トップダウン」アプローチでは、追加のネットワークを使用して最初に画像内の人物を検出し、次にポーズ推定ネットワークを各画像に適用します。^[12]

複数のビューで人間のポーズが注釈付けされた複数のデータセットの出現により、^{[13] [14]} 3D 関節位置を検出するモデルがより一般的になった。これらもまた 2 つのカテゴリに分類される。1 つ目は、ニューラル ネットワークを使用して各ビューから 2D 関節位置を検出し、これらの検出結果を三角測量して 3D 関節位置を取得するものである。 ^[15] 2D ネットワークを改良して、3D データに基づいてより優れた検出を行うこともできる。^[16]さらに、このようなアプローチでは、検出されたポイントを改良するために、2D と 3D の両方にフィルターがあることが多い。^{[17] [18]} 2 つ目は、ニューラル ネットワークをエンドツーエンドでトレーニングして、2D 関節位置の中間検出を行わずに、一連の画像から直接 3D 関節位置を予測するものである。このようなアプローチでは、多くの場合、画像の特徴を立方体に投影し、3D 畳み込みニューラル ネットワークを使用して各関節の 3D ヒートマップを予測する。^{[19] [16] [20]}

上記の研究と並行して、科学者たちは一連の画像から人間や動物の完全な 3D 形状を推定する研究を行ってきました。研究のほとんどは、画像内でのスキンド マルチ パーソン リニア (SMPL) モデル^[21]の適切なポーズを推定することに基づいています。他の動物用の SMPL モデルのバリエーションも開発されています。^{[22] [23] [24]}一般的に、画像内の各動物についていくつかのキーポイントとシルエットが検出され、次に、キーポイントとシルエットの位置に一致するようにパラメーター 3D 形状モデルがフィッティングされます。

上記のアルゴリズムはすべて注釈付きの画像に依存しており、作成に時間がかかる場合があります。この問題に対処するために、コンピューター ビジョンの研究者は、単一のビューからの注釈付きの 2D 画像のみで 3D キーポイントを学習したり、注釈のないビデオでキーポイントを識別したりできる新しいアルゴリズムを開発しました。

将来、介護付き住宅にパーソナルケアロボットが導入されるかもしれません。これらのロボットでは、転倒検出などのさまざまなタスクを実行するために、高精度の人間検出と姿勢推定が必要です。さらに、このアプリケーションにはパフォーマンス上の制約がいくつかあります。^{[引用が必要]}

従来、キャラクターアニメーションは手作業で行われてきました。しかし、特殊なポーズ推定システムにより、実際の俳優のポーズと直接同期させることができます。古いシステムはマーカーや特殊なスーツに依存していました。ポーズ推定とモーションキャプチャの最近の進歩により、マーカーレスアプリケーションが可能になり、場合によってはリアルタイムで実現できるようになりました。^[25]

毎年、自動車事故は世界中で死亡者の約 2% を占めています。そのため、ドライバーの姿勢を追跡するインテリジェント システムは、緊急警報に役立つ可能性があります^{[疑わしい–議論]}。同様に、歩行者検出アルゴリズムは自動運転車で効果的に使用されており、車がよりスマートな判断を下せるようになっています。^{[引用が必要]}

商業的には、姿勢推定はビデオゲームの分野で使用されており、Microsoft Kinectセンサー（深度カメラ）によって普及しました。これらのシステムは、ユーザーを追跡してゲーム内のアバターをレンダリングするほか、ジェスチャー認識などのタスクを実行してユーザーがゲームと対話できるようにします。そのため、このアプリケーションには厳格なリアルタイム要件があります。^[26]

姿勢推定は、患者の姿勢の異常を分析することで脊柱側弯症などの姿勢の問題を検出するために使用されてきました。 ^[27] 理学療法や、運動機能のモニタリングによる幼児の認知脳の発達の研究にも使用されています。^[28]

その他のアプリケーションとしては、ビデオ監視、動物の追跡と行動の理解、手話検出、高度な人間とコンピュータの相互作用、マーカーレスのモーションキャプチャなどがあります。

商業的に成功しているが特殊なコンピュータ ビジョン ベースの関節体の姿勢推定技術は、光学モーション キャプチャです。このアプローチでは、各体の部位の 6 つの自由度をキャプチャするために、個人の戦略的な位置にマーカーを配置します。

ブラウン大学、カーネギーメロン大学、ザールブリュッケンMPI、スタンフォード大学、カリフォルニア大学サンディエゴ校、トロント大学、エコール・サントラル・パリ、チューリッヒ工科大学、フランス国立科学技術大学（NUST）^[29]、カリフォルニア大学アーバイン校、カタルーニャ工科大学などのグループを含む多くのグループや企業が姿勢推定を研究しています。

現在、いくつかの企業が関節体の姿勢推定に取り組んでいます。

• Bodylabs : Bodylabs は、マンハッタンを拠点とする人間認識型人工知能のソフトウェア プロバイダーです。

• マイケル・J・ブラック、ブラウン大学教授
• カーネギーメロン大学のGerman Cheungの研究プロジェクトページ
• ザールブリュッケン MPI 工学博士のホームページ
• スタンフォード大学のマーカーレスモーションキャプチャプロジェクト
• カリフォルニア大学サンディエゴ校コンピュータビジョンおよびロボット工学研究室
• トロント大学のデイビッド・J・フリートの研究プロジェクト
• トゥエンテ大学のロナルド・ポッペ氏。
• パリ・サントラル校のニコス・パラギオス教授
• カリフォルニア大学アーバイン校の柔軟なパーツ混合プロジェクトによる関節姿勢推定
• http://screenrant.com/crazy3dtechnologyjamescameronavatarkofi3367/
• 2D関節人間の姿勢推定ソフトウェア
• 柔軟なパーツの組み合わせによる関節姿勢推定