ジェスチャー認識

ジェスチャー認識は、人間のジェスチャーの認識と解釈に関するコンピュータ科学と言語技術の研究開発分野です。コンピュータビジョンのサブ分野であり、数学的アルゴリズムを使用してジェスチャーを解釈します。^{[ 1 ]}

ジェスチャー認識は、これまでテキストや簡略化されたグラフィカルユーザーインターフェース（GUI）では不可能だった、人間のボディランゲージをより深く理解し解釈するための道筋をコンピュータに提供する。

ジェスチャーはあらゆる身体の動きや状態から生じる可能性がありますが、一般的には顔や手の動きから生じます。この分野の一分野として、顔の表情や手のジェスチャーから感情を認識する技術があります。ユーザーは簡単なジェスチャーを行うことで、デバイスに物理的に触れることなく操作したり、インタラクションしたりすることができます。

手話を解釈するためにカメラやコンピュータビジョンアルゴリズムを用いた多くの手法が試みられてきたが、姿勢、歩行、近接空間、人間の行動の識別と認識もジェスチャー認識技術の対象となっている。^{[ 2 ]}

ジェスチャー認識は、以下のような分野で応用されています。

• 自動車
• 家電
• 公共交通機関
• ゲーム
• 携帯端末
• 防御^{[ 3 ]}
• ホームオートメーション
• 自動手話翻訳^{[ 4 ]}

ジェスチャー認識は、コンピュータビジョンや画像処理の技術を用いて行うことができる。^{[ 5 ]}

文献には、コンピュータに接続されたカメラでジェスチャーやより一般的な人間の姿勢や動きを捉えるコンピュータビジョン分野の継続的な研究が含まれています。 ^{[ 6 ] [ 7 ] [ 8 ] [ 9 ]}

「ジェスチャー認識」という用語は、グラフィックタブレットへのインク入力、マルチタッチジェスチャー、マウスジェスチャー認識など、テキスト入力以外の手書き記号をより狭義に指すために使用されてきました。これは、ポインティングデバイスのカーソルで記号を描くことによるコンピュータとのインタラクションです。^{[ 10 ] [ 11 ] [ 12 ]}ペンコンピューティングは、キーボードやマウスなどの従来の入力デバイスを超えてデジタルジェスチャー認識を拡張し、システムのハードウェアへの影響を軽減します。

コンピュータインターフェースでは、2種類のジェスチャーが区別されます。^{[ 13 ]}オンラインジェスチャーは、拡大縮小や回転などの直接的な操作とみなすこともできます。一方、オフラインジェスチャーは通常、インタラクションが終了した後に処理されます。たとえば、コンテキストメニューをアクティブにするために円が描画されます。

• オフラインジェスチャー：ユーザーがオブジェクトを操作した後に処理されるジェスチャー。例としては、メニューをアクティブにするジェスチャーなどが挙げられる。
• オンラインジェスチャー：直接操作を行うジェスチャー。実体のオブジェクトの拡大縮小や回転などに使用されます。

タッチレスユーザーインターフェース（TUI）は、キーボード、マウス、または画面に触れることなく、身体の動きやジェスチャーによってデバイスを制御する新しいタイプのテクノロジーです。^{[ 14 ]}

人の動きを追跡し、どのようなジェスチャーを行っているかを判断する能力は、さまざまなツールによって実現できます。キネティックユーザーインターフェース（KUI）は、物体や身体の動きを通してユーザーがコンピューティングデバイスと対話できるようにする、新しいタイプのユーザーインターフェースです。 ^{[ 16 ]} KUIの例としては、有形ユーザーインターフェースや、 WiiやMicrosoftのKinectなどのモーション認識ゲーム、その他のインタラクティブプロジェクトなどがあります。^{[ 17 ]}

画像や動画に基づくジェスチャー認識に関する研究は数多く行われているものの、実装によって使用されるツールや環境には多少のばらつきが見られる。

• 有線グローブ。これらは、磁気または慣性追跡装置を使用して、手の位置と回転に関する情報をコンピュータに提供できます。さらに、一部のグローブは、指の屈曲を高い精度（5～10度）で検出したり、触覚のシミュレーションである触覚フィードバックをユーザーに提供したりすることもできます。市販されている最初のハンドトラッキンググローブ型デバイスは、手の位置、動き、指の屈曲を検出できるグローブ型デバイスであるDataGlove ^{[ 18 ]}でした。これは、手の甲に沿って走る光ファイバーケーブルを使用します。光パルスが生成され、指が曲がると、小さな亀裂から光が漏れ、その損失が記録され、手の姿勢の近似値が得られます。
• 深度認識カメラ。構造化光カメラやタイムオブフライトカメラなどの特殊なカメラを使用すると、カメラを通して近距離で見えるものの深度マップを生成し、このデータを使用して、見えているものの3D表現を近似することができます。これらのカメラは、近距離での能力により、手のジェスチャーの検出に効果的です。^{[ 19 ]}
• ステレオカメラ。互いの位置関係が既知の2台のカメラを使用することで、カメラの出力から3D表現を近似することができます。カメラの位置関係を取得するには、レキシアンストライプや赤外線エミッターなどの位置決め基準を使用できます。^{[ 20 ]}直接モーション測定（ 6Dビジョン）と組み合わせることで、ジェスチャーを直接検出できます。
• ジェスチャーベースのコントローラー。これらのコントローラーは身体の延長として機能し、ジェスチャーが行われると、その動きの一部をソフトウェアが簡単にキャプチャできます。ジェスチャーベースのモーションキャプチャの新たな例として、拡張現実および仮想現実アプリケーション向けに開発されているスケルトンハンドトラッキングがあります。この技術の例は、トラッキング企業のuSensとGestigonによって示されており、ユーザーはコントローラーなしで周囲とインタラクトできます。^{[ 21 ] [ 22 ]}
• Wi-Fiセンシング^{[ 23 ]}
• マウスジェスチャー追跡では、マウスの動きが人の手によって描かれたシンボルと相関付けられ、時間の経過に伴う加速度の変化を研究してジェスチャーを表現できます。^{[ 24 ] [ 25 ] [ 26 ]} このソフトウェアは、人間の震えや不注意な動きも補正します。^{[ 27 ] [ 28 ] [ 29 ]} これらのスマート発光キューブのセンサーは、手や指、および近くにある他の物体を感知するために使用でき、データの処理に使用できます。ほとんどのアプリケーションは音楽とサウンド合成にありますが、^{[ 30 ]}他の分野にも適用できます。
• シングルカメラ。標準的な2Dカメラは、他の画像ベースの認識方法には適さないリソース/環境下でジェスチャー認識に使用できます。以前は、シングルカメラはステレオカメラや深度認識カメラほど効果的ではないと考えられていましたが、一部の企業はこの理論に異議を唱えています。標準的な2Dカメラを使用して強力な手のジェスチャーを検出できるソフトウェアベースのジェスチャー認識技術。

入力データの種類に応じて、ジェスチャーを解釈するアプローチはさまざまな方法で行うことができます。ただし、ほとんどの手法は、3D座標系で表現されたキーポインタに依存しています。これらの相対的な動きに基づいて、入力の品質とアルゴリズムのアプローチに応じて、ジェスチャーを高精度で検出できます。^{[ 31 ]}

身体の動きを解釈するためには、共通の特性と、その動きが表現するメッセージに基づいて分類する必要がある。例えば、手話では、それぞれのジェスチャーが単語やフレーズを表す。

文献によっては、ジェスチャー認識のアプローチを3Dモデルベースと外観ベースの2つに分類している。^{[ 32 ]}最も有力な方法は、体の主要部分の3D情報を使用して、手のひらの位置や関節の角度など、いくつかの重要なパラメータを取得する。ボリュームモデルなど、この方法から派生したアプローチは、計算能力の面で非常に負荷が高く、リアルタイム分析に実装するにはさらなる技術開発が必要であることがわかっている。一方、外観ベースのシステムは、画像やビデオを使用して直接解釈する。このようなモデルは処理が容易だが、通常、人間とコンピュータのインタラクションに必要な汎用性に欠ける。

3Dモデルベースのアルゴリズム

3Dモデルアプローチでは、ボリュームモデル、スケルトンモデル、あるいはその両方を組み合わせたモデルを使用できます。ボリュームモデルは、コンピュータアニメーション業界やコンピュータビジョン分野で広く利用されています。これらのモデルは一般的に、NURBSやポリゴンメッシュなどの複雑な3Dサーフェスから作成されます。

この方法の欠点は、計算負荷が非常に高いことであり、リアルタイム解析システムはまだ開発途上である。今のところ、より興味深いアプローチとしては、単純なプリミティブオブジェクトを人体の最も重要な部位（例えば、腕と首には円柱、頭には球体）にマッピングし、それらの相互作用を解析することが挙げられる。さらに、スーパークアッドリックや一般化円柱といった抽象的な構造の方が、身体部位の近似にはより適しているかもしれない。

骨格ベースのアルゴリズム

3Dモデルの集中的な処理や多数のパラメータを扱う代わりに、関節角度パラメータとセグメント長の簡略化されたバージョンを使用することもできます。これは身体の骨格表現として知られており、人の仮想骨格が計算され、身体の各部位が特定のセグメントにマッピングされます。ここでの解析は、これらのセグメントの位置と向き、および各セグメント間の関係（たとえば、関節間の角度と相対的な位置または向き）を使用して行われます。

骨格模型を使用する利点：

• アルゴリズムは、重要なパラメータのみを分析するため、処理速度が速くなります。
• テンプレートデータベースに対してパターンマッチングを行うことが可能です。
• キーポイントを使用することで、検出プログラムは身体の重要な部分に焦点を当てることができます。

外観ベースのモデル

外観ベースのモデルは、もはや身体の空間表現を使用せず、テンプレートデータベースを使用して画像や動画から直接パラメータを導出します。中には、特に手など、人体の部位の変形可能な2Dテンプレートに基づいているものもあります。変形可能なテンプレートは、オブジェクトの輪郭上の点の集合であり、オブジェクトの輪郭を近似するための補間ノードとして使用されます。最も単純な補間関数の1つは線形補間であり、点集合、点の変動パラメータ、および外部変形から平均形状を算出します。これらのテンプレートベースのモデルは主にハンドトラッキングに使用されますが、単純なジェスチャー分類にも使用できます。

外観ベースのモデルを用いたジェスチャー検出の2つ目のアプローチは、画像シーケンスをジェスチャーテンプレートとして使用するものです。この方法のパラメータは、画像そのもの、または画像から抽出された特定の特徴量です。ほとんどの場合、1つのビュー（単眼視）または2つのビュー（立体視）のみが使用されます。

ジェスチャー認識の精度と有用性、そしてそれを実装するためのソフトウェアには、多くの課題が伴います。画像ベースのジェスチャー認識の場合、使用する機器や画像ノイズに制約があります。画像や動画は、照明条件や撮影場所が一定でない場合があります。背景に写り込んだ物や、ユーザーの際立った特徴によって、認識が難しくなることもあります。

画像ベースのジェスチャー認識における実装方法の多様性は、この技術の汎用性を損なう可能性もある。例えば、あるカメラ用に調整されたアルゴリズムが、別のカメラでは機能しない場合がある。背景ノイズの量も、特に部分的または完全な遮蔽が発生した場合に、追跡と認識を困難にする。さらに、カメラからの距離、カメラの解像度、および画質も、認識精度にばらつきをもたらす。

視覚センサーで人間のジェスチャーを捉えるためには、例えば手の追跡や手の姿勢認識^{[ 33 ] [ 34][ 35 ] [ 36 ] [ 37 ] [ 38 ] [ 39 ] [ 40 ] [ 41 ] 、あるいは頭の動き、顔の表情、視線の方向を捉えるために、堅牢なコンピュータビジョン手法も必要となる}。

• 活動認識
• 関節可動式身体姿勢推定
• 車載用ヘッドユニット
• ボディランゲージのコンピュータ処理
• 3D姿勢推定
• ポインティングデバイスのジェスチャー

• ジェスチャーおよびペンコンピューティングに関する参考文献の注釈付き文献目録
• ペンベースコンピューティングの歴史に関するメモ（YouTube）
• 未来はすべてジェスチャーで決まる――ジェスチャーインターフェースとビデオゲーム
• フォードのジェスチャー操作型広告― デジタルサイネージとのインタラクションにジェスチャーを使用
• 3Dハンドトラッキング― 文献調査