ジェスチャー認識

ジェスチャー認識は、人間のジェスチャーの認識と解釈に関わるコンピュータサイエンスと言語技術の研究開発分野です。コンピュータビジョンのサブ分野^[要出典]であり、数学的アルゴリズムを使用してジェスチャーを解釈します。^[1]

ジェスチャー認識は、これまでテキストや非強化グラフィカル(GUI) ユーザー インターフェイスでは不可能だった、人間のボディ ランゲージをコンピューターがより良く理解し、解釈するための道を提供します。

ジェスチャーは、あらゆる身体の動きや状態から生じますが、一般的には顔や手から生じます。この分野の 1 つの領域は、顔の表情や手のジェスチャーから得られる感情認識です。ユーザーは、簡単なジェスチャーを行うことで、物理的に触れることなくデバイスを制御したり操作したりできます。

手話を解釈するためにカメラやコンピュータビジョンアルゴリズムを使用する多くのアプローチが行われてきましたが、姿勢、歩き方、近接性、人間の行動の識別と認識もジェスチャー認識技術の対象です。 ^[2]

ジェスチャー認識は次のような分野で応用されています: ^{[いつ? ]}

• 自動車
• 家電
• 交通
• ゲーム
• ハンドヘルドデバイス
• 防衛^[3]
• ホームオートメーション
• 自動手話翻訳^[4]

ジェスチャー認識はコンピュータビジョンと画像処理の技術を使って行うことができます。^[5]

文献には、コンピュータに接続されたカメラでジェスチャーやより一般的な人間の姿勢や動きを捉えるコンピュータビジョン分野の進行中の研究が含まれています。 ^{[6] [7] [8] [9]}

「ジェスチャ認識」という用語は、グラフィックタブレットでのインク入力、マルチタッチジェスチャ、マウスジェスチャ認識など、テキスト入力以外の手書き記号をより狭義に指すために使用されています。これは、ポインティングデバイスのカーソルで記号を描くことによるコンピュータインタラクションです。^{[10] [11] [12]} ペンコンピューティングは、キーボードやマウスなどの従来の入力デバイスを超えてデジタルジェスチャ認識を拡張し、システムのハードウェアへの影響を軽減します。^{[どのように？ ]}

コンピュータインターフェースでは、2種類のジェスチャが区別されます。^[13]ここでは、拡大縮小や回転などの直接的な操作とも言えるオンラインジェスチャについて考えます。これとは対照的に、オフラインジェスチャは通常、インタラクションが終了した後に処理されます。たとえば、円を描いてコンテキストメニューをアクティブにします。

• オフライン ジェスチャ: ユーザーがオブジェクトを操作した後に処理されるジェスチャ。例としては、メニューをアクティブにするジェスチャがあります。
• オンライン ジェスチャ: 直接操作するジェスチャ。有形のオブジェクトの拡大縮小や回転に使用されます。

タッチレスユーザーインターフェース（TUI）は、キーボード、マウス、画面に触れることなく、体の動きやジェスチャーでデバイスを制御する新しいタイプのテクノロジーです。^[14]

スマートフォン、ラップトップ、ゲーム、テレビ、音楽機器など、このタイプのインターフェースを利用するデバイスは数多くあります。

タッチレスインターフェースの1つは、スマートフォンのBluetooth接続を利用して企業の訪問者管理システムを起動するものです。これにより、利便性のため、またはCOVID-19パンデミックの際の潜在的な汚染源を避けるために、インターフェースに触れる必要がなくなります。^[15]

人の動きを追跡し、どのようなジェスチャーをしているのかを判断する機能は、さまざまなツールを通じて実現できます。キネティックユーザーインターフェイス（KUI）は、物体や体の動きを通じてユーザーがコンピューティングデバイスと対話できるようにする新しいタイプのユーザーインターフェイスです。 ^{[引用が必要]} KUIの例には、WiiやMicrosoftのKinectなどのタンジブルユーザーインターフェイスやモーション認識ゲーム、その他のインタラクティブプロジェクトが含まれます。^[16]

画像/ビデオベースのジェスチャ認識に関する研究は数多く行われていますが、実装によって使用されるツールや環境に多少の違いがあります。

• 有線手袋。磁気または慣性追跡装置を使用して、手の位置と回転についてコンピュータに入力することができます。さらに、手袋の中には指の曲がりを高精度（5〜10度）で検出したり、触覚のシミュレーションである触覚フィードバックをユーザーに提供したりできるものもあります。最初に市販された手の追跡手袋型デバイスはDataGlove ^[17]で、手の位置、動き、指の曲がりを検出できる手袋型デバイスです。これは手の甲に沿って走る光ファイバーケーブルを使用します。光パルスが生成され、指が曲がると小さな亀裂から光が漏れ、その損失が記録され、手のポーズのおおよその値が示されます。
• 深度認識カメラ。構造化光カメラや飛行時間型カメラなどの特殊なカメラを使用すると、カメラを通して近距離で見られるものの深度マップを生成し、このデータを使用して、見られるものの3D表現を近似することができます。これらは、近距離機能により、手のジェスチャーの検出に効果的です。^[18]
• ステレオカメラ。互いの関係が分かっている2台のカメラを使用すると、カメラの出力によって3D表現を近似することができます。カメラの関係を取得するには、レキシアンストライプや赤外線エミッターなどの位置決め基準を使用することができます。^{[19]直接運動測定（} 6Dビジョン）と組み合わせることで、ジェスチャーを直接検出できます。
• ジェスチャーベースのコントローラー。これらのコントローラーは体の延長として機能し、ジェスチャーを実行すると、その動きの一部をソフトウェアで簡単にキャプチャできます。ジェスチャーベースのモーションキャプチャの新興例としては、仮想現実や拡張現実のアプリケーション向けに開発されているスケルトンハンドトラッキングがあります。この技術の例として、トラッキング企業であるuSensとGestigonが挙げられます。これらにより、ユーザーはコントローラーなしで周囲と対話できます。^{[20] [21]}
• Wi-Fiセンシング^[22]
• マウスジェスチャトラッキングでは、マウスの動きが人の手で描かれたシンボルと相関しており、時間の経過に伴う加速度の変化を研究してジェスチャを表すことができます。^{[23] [24] [25]} このソフトウェアは、人間の震えや不注意な動きも補正します。^{[26] [27] [28]} これらのスマート発光キューブのセンサーは、手や指、近くにある他の物体を感知し、データを処理するために使用できます。ほとんどのアプリケーションは音楽とサウンド合成ですが、^[29]他の分野にも応用できます。
• 単一カメラ。リソースや環境が他の画像ベースの認識には適さない場合でも、標準の 2D カメラを使用してジェスチャ認識を行うことができます。以前は、単一カメラはステレオ カメラや深度認識カメラほど効果的ではないと考えられていましたが、一部の企業はこの理論に異議を唱えています。堅牢なハンド ジェスチャを検出できる標準の 2D カメラを使用したソフトウェア ベースのジェスチャ認識テクノロジ。^{[引用が必要]}

入力データのタイプに応じて、ジェスチャーを解釈するためのアプローチはさまざまな方法で行うことができます。ただし、ほとんどの技術は、3D座標系で表されたキーポインタに依存しています。これらの相対的な動きに基づいて、入力の品質とアルゴリズムのアプローチに応じて、ジェスチャーを高精度で検出できます。^[30]

体の動きを解釈するには、共通の特性と動きが表すメッセージに従って動作を分類する必要があります。たとえば、手話では、各ジェスチャーは単語またはフレーズを表します。

いくつかの文献では、ジェスチャー認識における2つの異なるアプローチ、3Dモデルベースと外観ベースを区別しています。^[31]最も一般的な方法は、手のひらの位置や関節の角度など、いくつかの重要なパラメータを取得するために、身体部位の主要要素に関する3D情報を使用します。ボリュームモデルなどのこの方法から派生したアプローチは、計算能力の点で非常に集中的であることが証明されており、リアルタイム分析のために実装するにはさらなる技術開発が必要です。一方、外観ベースのシステムでは、画像やビデオを直接解釈します。このようなモデルは処理が容易ですが、通常、人間とコンピュータの相互作用に必要な汎用性に欠けています。

3D モデル アプローチでは、ボリューム モデルまたはスケルトン モデル、あるいはその 2 つの組み合わせを使用できます。ボリューム アプローチは、コンピュータ アニメーション業界やコンピュータ ビジョンの目的で頻繁に使用されています。モデルは通常、NURBS やポリゴン メッシュなどの複雑な 3D サーフェスから作成されます。

この方法の欠点は、非常に計算量が多く、リアルタイム分析のシステムはまだ開発されていないことです。現時点では、より興味深いアプローチは、単純なプリミティブ オブジェクトを人の最も重要な体の部位にマッピングし (たとえば、腕と首には円筒、頭には球)、これらが互いにどのように相互作用するかを分析することです。さらに、超二次曲面や一般化された円筒などの抽象的な構造は、体の部位を近似するのにさらに適しているかもしれません。

3D モデルの集中的な処理や多数のパラメータの処理の代わりに、関節角度パラメータとセグメントの長さの簡略版を使用するだけで済みます。これは体の骨格表現として知られており、人の仮想骨格が計算され、体の部分が特定のセグメントにマッピングされます。ここでの分析は、これらのセグメントの位置と方向、および各セグメント間の関係 (たとえば、関節間の角度と相対的な位置または方向) を使用して行われます。

骨格モデルを使用する利点:

• 主要なパラメータのみが分析されるため、アルゴリズムは高速になります。
• テンプレートデータベースに対するパターンマッチングが可能
• キーポイントを使用すると、検出プログラムは体の重要な部分に焦点を当てることができます。

外観ベースのモデルでは、身体の空間表現は使用されなくなり、代わりにテンプレート データベースを使用して画像やビデオから直接パラメータが導出されます。一部のモデルは、人間の身体部分、特に手の変形可能な 2D テンプレートに基づいています。変形可能なテンプレートは、オブジェクトのアウトライン上の点のセットであり、オブジェクトのアウトライン近似の補間ノードとして使用されます。最も単純な補間関数の 1 つは線形であり、点セット、点の可変性パラメータ、および外部変形から平均形状を実行します。これらのテンプレートベースのモデルは、主に手の追跡に使用されますが、単純なジェスチャ分類にも使用できます。

外観ベースのモデルを使用したジェスチャ検出の 2 番目のアプローチでは、ジェスチャ テンプレートとして画像シーケンスを使用します。この方法のパラメーターは、画像自体、または画像から派生した特定の機能です。ほとんどの場合、1 つのビュー (モノスコピック) または 2 つのビュー (ステレオスコピック) のみが使用されます。

筋電図検査（EMG）は、体内の筋肉によって生成される電気信号の研究に関するものです。腕の筋肉から受信したデータを分類することで、動作を分類し、外部ソフトウェアにジェスチャーを入力することができます。^[1]消費者向けEMGデバイスは、腕や脚のバンドなどの非侵襲的なアプローチを可能にし、Bluetooth経由で接続します。これにより、EMGは視覚的な方法よりも優れており、ユーザーは入力を行うためにカメラに向き合う必要がなく、より自由に動くことができます。

ジェスチャ認識とそれを実装するために設計されたソフトウェアの精度と有用性には、多くの課題があります。画像ベースのジェスチャ認識の場合、使用する機器と画像ノイズに制限があります。画像やビデオは、一定の照明下または同じ場所にあるとは限りません。背景にあるアイテムやユーザーの明確な特徴によって、認識が難しくなる場合があります。

画像ベースのジェスチャ認識の実装が多様であることも、一般的な使用における技術の実現可能性に問題を引き起こす可能性があります。たとえば、あるカメラ用に調整されたアルゴリズムは、別のカメラでは機能しない可能性があります。背景ノイズの量も、特に遮蔽 (部分的または完全) が発生した場合に、追跡と認識の困難を引き起こします。さらに、カメラからの距離、カメラの解像度と品質も、認識精度の変動を引き起こします。

視覚センサーで人間のジェスチャーを捉えるためには、例えば手の追跡や手の姿勢認識^{[32] [33] [34 ] [35] [36] [ 37] [ 38] [ 39 ] [40]}、あるいは頭の動き、表情や視線の方向を捉えるための堅牢なコンピュータービジョン手法も必要です。

スマートフォンやスマートウォッチなどの消費者向けモバイルデバイスにジェスチャーインターフェースを採用する上での大きな課題の1つは、ジェスチャー入力の社会的受容性への影響です。ジェスチャーは多くの新しいフォームファクターのコンピューターで高速で正確な入力を可能にしますが、その採用と有用性は技術的な要因ではなく社会的要因によって制限されることがよくあります。このため、ジェスチャー入力方法の設計者は、技術的な考慮事項と、さまざまな社会的コンテキストでジェスチャーを実行するユーザーの意欲の両方のバランスを取ろうとする場合があります。^[41]さらに、さまざまなデバイスのハードウェアと感知メカニズムは、さまざまな種類の認識可能なジェスチャーをサポートします。

モバイルデバイスや小型フォームファクタデバイスのジェスチャインターフェースは、慣性計測ユニット（IMU）などのモーションセンサーによってサポートされていることがよくあります。これらのデバイスでは、ジェスチャセンシングは、これらのモーションセンサーが認識できる動きに基づくジェスチャをユーザーが実行することに依存しています。これにより、微妙なジェスチャや動きの少ないジェスチャからの信号のキャプチャが困難になる可能性があります。自然な動きやノイズと区別が難しくなる可能性があるためです。ジェスチャのユーザビリティに関する調査と研究を通じて、研究者は、微妙な動きを取り入れ、既存のテクノロジーに似ていて、あらゆるアクションに似ていて、楽しいジェスチャはユーザーに受け入れられる可能性が高いのに対し、奇妙に見えたり、実行するのが不快だったり、コミュニケーションを妨げたり、珍しい動きを伴うジェスチャは、ユーザーがその使用を拒否する可能性が高いことを発見しました。^[41]モバイルデバイスのジェスチャの社会的受容性は、ジェスチャの自然さと社会的文脈に大きく依存しています。

ウェアラブルコンピュータは、通常、使用とインタラクションの場所がユーザーの体上で行われるという点で、従来のモバイルデバイスとは異なります。これらのコンテキストでは、サイズが小さいためタッチスクリーンやキーボードの魅力が低下するため、ジェスチャーインターフェイスが従来の入力方法よりも好まれる可能性があります。それでも、ジェスチャーインタラクションに関しては、モバイルデバイスと同じ社会的受容性の障害を多く共有しています。ただし、ウェアラブルコンピュータは目に見えないように隠したり、衣服などの他の日常的なオブジェクトに統合したりできるため、シャツの襟を調整したり、ズボンの前ポケットをこすったりするなど、一般的な衣服の操作をジェスチャー入力で模倣できます。^{[42] [43]}ウェアラブルコンピュータのインタラクションで主に考慮されるのは、デバイスの配置とインタラクションの場所です。米国と韓国で実施された、ウェアラブルデバイスのインタラクションに対する第三者の態度を調査した調査では、社会的に敏感と見なされる体の領域が異なるため、男性と女性のウェアラブルコンピューティングの使用に対する認識に違いがあることがわかりました。^[43]身体に投影されたインターフェースの社会的受容性を調査した別の研究でも同様の結果が出ており、どちらの研究でも腰、股間、上半身（女性の場合）の周囲の領域が最も受容されにくいとされ、前腕と手首の周囲の領域が最も受容されやすいとされている。^[44]

インタラクティブな公共ディスプレイなどの公共設備は、博物館、ギャラリー、劇場などの公共の場で情報にアクセスしたり、インタラクティブなメディアを表示したりすることを可能にします。^[45]タッチスクリーンは公共ディスプレイの入力方法としてよく使用されますが、ジェスチャーインターフェースは、衛生状態の改善、離れた場所からのインタラクション、発見可能性の向上など、追加の利点を提供し、パフォーマンス的なインタラクションを促進する可能性があります。^[42]公共ディスプレイとのジェスチャーインタラクションに関する重要な考慮事項は、観客の可能性が高い、または観客が見込まれることです。^[45]

腕の疲労は、タッチスクリーンやライトペンを垂直に使用した場合に起こる副作用である。長時間使用すると、ユーザーの腕は疲労感や不快感を覚えるようになった。この影響により、1980年代に人気を博したにもかかわらず、タッチスクリーン入力は衰退の一因となった。^{[46] [47]}

腕の疲労の副作用を測定するために、研究者は消費持久力と呼ばれる技術を開発した。^{[48] [49]}

• アクティビティ認識
• 関節体の姿勢推定
• 自動車用ヘッドユニット
• ボディランゲージのコンピュータ処理
• 3D姿勢推定
• ポインティングデバイスのジェスチャー

• ジェスチャーとペンコンピューティングに関する参考文献の注釈付き書誌
• ペンベースのコンピューティングの歴史に関するメモ (YouTube)
• 未来はすべてジェスチャーです - ジェスチャーインターフェースとビデオゲーム
• フォードのジェスチャーインタラクティブ広告 - デジタルサイネージと対話するためにジェスチャーを使用
• 3Dハンドトラッキング - 文献調査