活動認識

センサーベースの活動認識は、センサーネットワークの新興分野と新しいデータマイニングおよび機械学習技術を統合し、幅広い人間の活動をモデル化します。^{[ 1 ] [ 2 ]}モバイルデバイス（スマートフォンなど）は、日常生活におけるエネルギー消費量の推定値を提供する身体活動認識を可能にするのに十分なセンサーデータと計算能力を提供します。センサーベースの活動認識の研究者は、ユビキタスコンピュータとセンサーがエージェントの行動を（同意の下で）監視できるようにすることで、これらのコンピュータが私たちの代わりに行動するのに適していると考えています。Kinect などの色と深度情報を取り入れたビジュアルセンサーは、より正確な自動アクション認識を可能にし、インタラクティブ教育^{[ 3 ]やスマート環境[ 4 ]}などの多くの新興アプリケーションを融合します。ビジュアルセンサーの複数のビューにより、自動ビュー不変アクション認識のための機械学習の開発が可能になります。^{[ 5 ]} 3Dモーションキャプチャシステムで使用されるより高度なセンサーは、より複雑なハードウェアシステム構成を犠牲にして、非常に正確な自動認識を可能にします。^{[ 6 ]}

身体装着型センサーを使用して複数ユーザーの活動を認識する手法は、1990年代初頭にORLがアクティブバッジシステムを使用して行った研究^{[ 7 ]で初めて登場しました。加速度センサーなどの他のセンサー技術は、オフィス環境におけるグループ活動パターンの識別に使用されました。 [ 8 ]}インテリジェント環境における複数ユーザーの活動については、Guら^{[ 9 ]}が取り上げています。この研究では、家庭環境におけるセンサー読み取り値から複数ユーザーの活動を認識するという根本的な問題を調査し、単一ユーザーと複数ユーザーの両方の活動を統一ソリューションで認識するための新しいパターンマイニングアプローチを提案しています。

グループ活動の認識は、グループ内の個々のメンバーの活動ではなく、グループを一つの実体として認識することを目標としている点で、単一ユーザーまたは複数ユーザーの活動認識とは根本的に異なります。^{[ 10 ]} グループの行動は創発的性質を持つため、グループの行動の特性は、グループ内の個人の行動の特性、またはそれらの行動の総和とは根本的に異なります。^{[ 11 ]} 主な課題は、個々のグループメンバーの行動、グループダイナミクスにおける個人の役割^{[ 12 ]} 、およびそれらとグループの創発的行動との関係を並行してモデル化することです。^{[ 13 ]} 今後取り組むべき課題には、グループに参加する個人の行動と役割の定量化、役割記述のための明示的なモデルの推論アルゴリズムへの統合、および非常に大規模なグループや群衆に対するスケーラビリティ評価などがあります。グループ活動認識は、群衆管理や緊急事態への対応、ソーシャルネットワーキング、およびクオンティファイドセルフアプリケーションに応用できます。^{[ 14 ]}

論理ベースのアプローチでは、観察された行動の論理的に一貫した説明をすべて追跡します。したがって、考えられるすべての一貫性のある計画または目標を考慮する必要があります。Kautz は計画認識の形式理論を提供しました。彼は計画認識を限定の論理推論プロセスとして説明しました。すべての行動と計画は一律に目標と呼ばれ、認識者の知識はイベント階層と呼ばれる一階述語のステートメントの集合によって表されます。イベント階層は一階述語論理でエンコードされ、イベントの種類間の抽象化、分解、および機能的関係を定義します。^{[ 15 ]}

カウツの計画認識のための一般的なフレームワークは、最悪の場合、入力階層のサイズで測ると指数関数的な時間計算量を持つ。レシュとエツィオーニはさらに一歩進んで、計算量を増やすために目標認識を拡張する方法を提示した。計画ライブラリが明示的に表現されるカウツのアプローチとは対照的に、レシュとエツィオーニのアプローチは、ドメインプリミティブからの計画ライブラリの自動構築を可能にする。さらに、彼らは大規模な計画ライブラリに対する目標認識のためのコンパクトな表現と効率的なアルゴリズムを導入した。^{[ 16 ]}

矛盾する計画や目標は、新しい行動が発生するたびに繰り返し剪定されます。さらに、個人の最近の行動のサンプルに基づいて、個人の特異な行動を処理するように目標認識器を適応させる方法も提示しました。Pollack らは、信念と意図の説明に関するいくつかの種類の議論の相対的な強さを知ることができる直接的な議論モデルについて説明しました。

論理に基づくアプローチの深刻な問題点は、不確実性を表現する能力、あるいは本質的に不可能性にある。これらのアプローチは、一貫性のあるアプローチを優先する仕組みを提供しておらず、どちらのアプローチも観察された行動を説明できるほど一貫性がある限り、特定の計画が他の計画よりも可能性が高いかどうかを判断することができない。また、論理に基づく手法には学習能力が欠けているという問題もある。

論理ベースの活動認識のもう1つのアプローチは、回答セットプログラミングに基づくストリーム推論を使用することです[ ^{17 ]。これは、} 曖昧さ/不確実性の程度をモデル化するために弱い制約を使用する健康関連アプリケーションの活動認識に適用されています^{[ 18 ] 。}

確率論と統計的学習モデルは、最近では不確実性の下での行動、計画、目標について推論するために活動認識に適用されています。^{[ 19 ]}文献には、エージェントの計画と目標についての推論における不確実性を明示的に表現するアプローチがいくつかあります。

ホッジスとポラックは、センサーデータを入力として使用し、コーヒーを淹れるなどの日常的な活動を行う個人を識別するための機械学習ベースのシステムを設計しました。^{[ 20 ]}インテルリサーチ（シアトル）ラボとワシントン大学シアトル校は、センサーを使用して人間の計画を検出する重要な研究を行っています。^{[ 21 ] [ 22 ] [ 23 ]}これらの研究の中には、無線周波数識別子（RFID）と全地球測位システム（GPS）の読み取りからユーザーの移動手段を推測するものがあります。

時間的確率モデルの使用は、活動認識において優れた性能を発揮し、一般的に非時間的モデルよりも優れていることが示されています。^{[ 24 ]}隠れマルコフモデル（HMM）や、より一般的に定式化された動的ベイジアンネットワーク（DBN）などの生成モデルは、センサーデータから活動をモデル化する際によく用いられます。^{[ 25 ] [ 26 ] [ 27 ] [ 28 ]} 条件付き確率場（CRF）などの識別モデルも一般的に適用され、活動認識において優れた性能を発揮します。^{[ 29 ] [ 30 ]}

生成モデルと識別モデルにはそれぞれ長所と短所があり、どちらを選ぶかは適用分野によって異なります。活動認識のためのデータセットと、HMM、CRFなどの一般的なモデルの実装例は、こちらで入手できます。

隠れマルコフモデル (HMM) や条件付き確率場 (CRF) モデルなどの従来の時間的確率モデルは、活動と観測されたセンサー データの間の相関関係を直接モデル化します。近年、人間の行動データに存在する豊富な階層構造を考慮に入れた階層モデルの使用を支持する証拠が増えています。^{[ 26 ] [ 31 ] [ 32 ]}ここでの中心的な考え方は、モデルが活動とセンサー データを直接相関させるのではなく、活動をサブ活動 (アクションと呼ばれることもあります) に分解し、それに応じて基礎となる相関関係をモデル化することです。例として、炒め物を作る活動があり、これは野菜を切る、フライパンで野菜を炒める、皿に盛り付けるというサブ活動またはアクションに分解できます。このような階層型モデルの例としては、階層型隠れマルコフモデル（LHMM）^{[ 31 ]}や階層型隠れマルコフモデル（HHMM）があり、これらは活動認識において非階層型モデルよりも大幅に優れた性能を示すことが実証されている。^{[ 26 ]}

従来の機械学習アプローチとは異なり、データマイニングに基づくアプローチが最近提案されている。Gu らの研究では、活動認識の問題はパターンベースの分類問題として定式化されている。彼らは、データの任意の 2 つの活動クラス間の重要な変化を記述する識別パターンに基づくデータマイニングアプローチを提案し、統一されたソリューションでシーケンシャル、インターリーブ、および同時活動を認識する。^{[ 33 ]} Gilbertらは、空間と時間の両方で 2D コーナーを使用する。これらは、探索領域が増加する階層プロセスを使用して空間的および時間的にグループ化される。階層の各段階で、最も特徴的で記述的な特徴がデータマイニング (Apriori ルール) によって効率的に学習される。^{[ 34 ]}

位置情報に基づく活動認識は、活動を認識するためにGPSデータを利用することもできます。^{[ 35 ] [ 36 ]}

様々なカメラで撮影した動画を通してエージェントの行動を追跡し理解することは、非常に重要かつ困難な課題です。主な手法としてコンピュータビジョンが用いられています。ビジョンに基づく活動認識は、人間とコンピュータのインタラクション、ユーザーインターフェース設計、ロボット学習、監視など、多くの分野で応用されています。ビジョンに基づく活動認識に関する研究発表が頻繁に行われる科学会議としては、 ICCVやCVPRなどが挙げられます。

視覚ベースの活動認識の分野では、これまで多くの研究が行われてきました。研究者たちは、単一カメラ、ステレオカメラ、赤外線カメラなど、さまざまな方式の下で、オプティカルフロー、カルマンフィルタリング、隠れマルコフモデルなど、数多くの手法を試みてきました。さらに、研究者たちは、単独歩行者の追跡、グループ追跡、落下物の検出など、この分野における複数の側面を検討してきました。

最近、一部の研究者は、Microsoft Kinect のようなRGBD カメラを使用して人間の活動を検出しています。^{[ 37 ]}深度カメラは、通常の 2D カメラでは提供できない奥行きという追加の次元を追加します。これらの深度カメラからの感覚情報は、さまざまな身体姿勢の人間のリアルタイムの骨格モデルを生成するために使用されています。^{[ 38 ]}この骨格情報は、研究者が人間の活動をモデル化するために使用する有意義な情報を提供し、トレーニングされた後、未知の活動を認識するために使用されます。^{[ 39 ] [ 40 ]}

ディープラーニングの最近の台頭により、RGBビデオベースの活動認識は急速に発展しました。これは、RGBカメラで撮影されたビデオを入力として使用し、ビデオ分類、ビデオ内の活動の開始と終了の検出、活動と活動を実行している人物の時空間的位置特定など、いくつかのタスクを実行します。^{[ 41 ]}姿勢推定法^{[ 42 ]}により、行動認識のためのより代表的な骨格特徴を抽出できます。^{[ 43 ]}とはいえ、ディープラーニングベースの行動認識は、攻撃者が行動認識システムを欺くために入力をわずかに変更する敵対的攻撃を受ける可能性があることが判明しています。^{[ 44 ]}

視覚に基づく活動認識は目覚ましい進歩を遂げているものの、実際の視覚監視アプリケーションのほとんどでの使用は依然として遠い目標である。^{[ 45 ]}一方、人間の脳は人間の行動を認識する能力を完璧に習得しているようだ。この能力は、獲得した知識だけでなく、与えられた状況に関連する情報を抽出する能力や論理的推論能力にも依存している。この観察に基づき、常識的推論と文脈的知識および常識的知識を統合することで、視覚に基づく活動認識システムを強化することが提案されている。

階層型人間活動（HAR）認識

階層的人間活動認識は、コンピュータビジョンと機械学習の技術です。視覚データから人間の行動や振る舞いを識別して理解することを目的としています。この方法は、活動を階層的に構造化し、さまざまな行動間のつながりや相互依存性を表すフレームワークを作成することを伴います。^{[ 46 ]} HAR技術は、データ相関とモデルの基本を理解してモデルを改善したり、機密性の高いアプリケーション領域で精度とプライバシーの懸念のバランスを取ったり、特定のユースケースでは関係のない些細なラベルを識別して管理したりするために使用できます。^{[ 47 ]}

屋内や都市部で広く利用可能なWi-Fi信号と802.11アクセス ポイントを使用してアクティビティ認識を実行すると、ノイズと不確実性が多くなります。これらの不確実性は、動的ベイジアン ネットワークモデルを使用してモデル化できます。^{[ 50 ]}ユーザーのインターリーブ ゴールについて推論できるマルチ ゴール モデルでは、決定論的状態遷移モデルが適用されます。^{[ 51 ]}別の可能な方法は、同時実行およびインターリーブ アクティビティを確率的アプローチでモデル化することです。^{[ 52 ]}ユーザー アクション発見モデルは、Wi-Fi 信号をセグメント化して可能なアクションを生成することができます。^{[ 53 ]}