アクティビティ認識

アクティビティ認識は、エージェントの行動と環境条件に関する一連の観察から、1 人以上のエージェントの行動と目標を認識することを目的としています。この研究分野は、さまざまなアプリケーションにパーソナライズされたサポートを提供できる強みと、医学、人間とコンピュータの相互作用、社会学などのさまざまな研究分野とのつながりにより、1980 年代からいくつかのコンピュータ サイエンスコミュニティの注目を集めています。

アクティビティ認識は多面的な性質を持つため、さまざまな分野では、アクティビティ認識を計画認識、目標認識、意図認識、行動認識、位置推定、位置情報サービスなどと呼ぶことがあります。

センサーベースの活動認識は、センサーネットワークという新興分​​野と新しいデータマイニングおよび機械学習技術を統合して、幅広い人間の活動をモデル化します。^{[1] [2]}モバイルデバイス（スマートフォンなど）は、日常生活におけるエネルギー消費量を推定するための身体活動認識を可能にするのに十分なセンサーデータと計算能力を提供します。センサーベースの活動認識の研究者は、ユビキタスコンピュータとセンサーに（同意に基づいて）エージェントの行動を監視させることで、これらのコンピュータが私たちに代わって行動するのに適したものになると考えています。Kinectなどの色と深度の情報を組み込んだ視覚センサーは、より正確な自動行動認識を可能にし、インタラクティブ教育^[3]やスマート環境などの多くの新興アプリケーションを融合します。 ^[4]視覚センサーの複数のビューにより、ビューに依存しない自動行動認識のための機械学習の開発が可能になります。^{[5] 3D}モーションキャプチャシステムで使用されるより高度なセンサーは、より複雑なハードウェアシステムのセットアップを犠牲にして、非常に正確な自動認識を可能にします。^[6]

センサーベースのアクティビティ認識は、入力のノイズの性質上、困難なタスクです。そのため、統計モデリングは、レイヤー内でこの方向への主な推進力となっており、複数の中間レベルでの認識が実行され、接続されます。センサー データが収集される最下位レベルでは、統計学習は、受信した信号データからエージェントの詳細な位置を見つける方法に関係します。中間レベルでは、統計推論は、下位レベルで推定された位置シーケンスと環境条件から個人のアクティビティを認識する方法に関係する場合があります。さらに、最高レベルでは、論理的推論と統計的推論を組み合わせて、アクティビティ シーケンスからエージェントの全体的な目標またはサブ目標を見つけることが主な関心事です。

身体に装着したセンサーを使用して複数ユーザーの活動を認識する手法は、1990年代初頭にORLがアクティブバッジシステム^{[7]を使用して初めて発表されました。加速度センサーなどの他のセンサー技術は、オフィス環境でのグループ活動パターンの識別に使用されました。 [8]インテリジェント環境における複数ユーザーの活動については、Gu}ら^[9]で取り上げられています。この研究では、家庭環境におけるセンサーの読み取り値から複数ユーザーの活動を認識するという基本的な問題を調査し、単一ユーザーと複数ユーザーの両方の活動を統合ソリューションで認識するための新しいパターンマイニング手法を提案しています。

グループ活動の認識は、グループ内の個々のメンバーの活動ではなく、グループ全体の行動をエンティティとして認識することを目標とする点で、単一または複数のユーザーの活動認識とは根本的に異なります。^[10] グループ行動は本質的に創発的であり、つまり、グループ行動の特性はそのグループ内の個人の行動の特性、またはその行動の合計とは根本的に異なります。^[11] 主な課題は、個々のグループメンバーの行動、およびグループダイナミクス内の個人の役割^[12]と、それらのグループの創発行動との関係を並行してモデル化することです。^[13] まだ対処しなければならない課題には、グループに参加する個人の行動と役割の定量化、役割記述の明示的なモデルの推論アルゴリズムへの統合、および非常に大規模なグループと群衆のスケーラビリティ評価が含まれます。グループ活動認識は、緊急事態での群衆管理と対応、およびソーシャルネットワーキングと定量化された自己アプリケーションに応用できます。^[14]

論理ベースのアプローチは、観察された行動の論理的に一貫した説明をすべて追跡します。したがって、すべての可能で一貫した計画または目標を考慮する必要があります。カウツは計画認識の正式な理論を提供しました。彼は計画認識を限定の論理的推論プロセスとして説明しました。すべての行動と計画は一様に目標と呼ばれ、認識者の知識はイベント階層と呼ばれる一階のステートメントのセットによって表されます。イベント階層は一階の論理でエンコードされ、イベントの種類間の抽象化、分解、および機能的関係を定義します。^[15]

Kautz のプラン認識の一般的なフレームワークは、最悪の場合、入力階層のサイズで測定すると指数関数的な時間計算量になります。Lesh と Etzioni はさらに一歩進んで、目標認識をスケールアップして計算能力をスケールアップする方法を提示しました。プランライブラリが明示的に表現される Kautz のアプローチとは対照的に、Lesh と Etzioni のアプローチでは、ドメインプリミティブから自動的にプランライブラリを構築できます。さらに、彼らは大規模なプランライブラリでの目標認識のためのコンパクトな表現と効率的なアルゴリズムを導入しました。^[16]

矛盾した計画や目標は、新しい行動が到着すると繰り返し刈り込まれます。さらに、彼らは、個人の最近の行動のサンプルを与えられた個人の特異な行動を処理するために目標認識器を適応させる方法も提示しました。Pollack らは、信念と意図の記述に対するいくつかの種類の議論の相対的な強さを知ることができる直接的な議論モデルを説明しました。

論理ベースのアプローチの重大な問題は、不確実性を表現することができない、または本質的に実現不可能であることです。論理ベースのアプローチには、ある一貫したアプローチを別のアプローチよりも優先するメカニズムがなく、両方のアプローチが観察されたアクションを説明できるほど十分に一貫している限り、特定の計画が他の計画よりも可能性が高いかどうかを判断することができません。また、論理ベースの方法には学習能力が欠けています。

ロジックベースの活動認識のもう一つのアプローチは、回答セットプログラミングに基づくストリーム推論を使用することであり、^[17]健康関連のアプリケーションの活動認識に適用されており、^[18] 弱い制約を使用してある程度の曖昧さ/不確実性をモデル化します。

確率論と統計学習モデルは、最近では不確実性の下での行動、計画、目標についての推論を行う活動認識に応用されている。^[19]文献では、エージェントの計画や目標についての推論において不確実性を明示的に表現するアプローチがいくつかある。

ホッジスとポラックは、センサーデータを入力として使用して、コーヒーを淹れるなどの日常的な活動を行う個人を識別する機械学習ベースのシステムを設計しました。^[20] インテルリサーチ（シアトル）ラボとワシントン大学シアトル校は、センサーを使用して人間の行動を検出する重要な研究を行っています。^{[21] [22] [23]}これらの研究のいくつかは、無線周波数識別子（RFID）と全地球測位システム（GPS）の読み取りからユーザーの移動手段を推測します。

時間的確率モデルの使用は、活動認識において良好なパフォーマンスを示し、一般的に非時間的モデルよりも優れていることが示されています。^[24]隠れマルコフモデル（HMM）や、より一般的に定式化された動的ベイジアンネットワーク（DBN）などの生成モデルは、センサーデータから活動をモデル化する際によく使用されます。^{[25] [26] [27] [28]} 条件付きランダムフィールド（CRF）などの識別モデルも一般的に適用されており、活動認識において良好なパフォーマンスを示します。^{[29] [30]}

生成モデルと識別モデルにはそれぞれ長所と短所があり、最適な選択は適用分野によって異なります。アクティビティ認識用の一般的なモデル (HMM、CRF) の実装を含むデータセットは、こちらでご覧いただけます。

隠れマルコフモデル（HMM）や条件付きランダムフィールド（CRF）モデルなどの従来の時間的確率モデルは、活動と観測されたセンサーデータとの相関関係を直接モデル化します。近年、人間の行動データに存在する豊富な階層構造を考慮に入れた階層モデルの使用を支持する証拠が増えています。^{[26] [31] [32]}ここでの核となる考え方は、モデルが活動をセンサーデータと直接相関させるのではなく、活動をサブ活動（アクションと呼ばれることもある）に分解し、それに応じて基礎となる相関関係をモデル化するというものです。一例としては、炒め物を準備するという活動が挙げられますが、これは野菜を切る、フライパンで野菜を揚げる、皿に盛り付けるというサブ活動またはアクションに分解できます。このような階層型モデルの例としては、階層型隠れマルコフモデル（LHMM）^[31]や階層型隠れマルコフモデル（HHMM）があり、活動認識において非階層型隠れマルコフモデルよりも大幅に優れていることが示されています。^[26]

従来の機械学習アプローチとは異なり、データマイニングに基づくアプローチが最近提案されています。Guらの研究では、アクティビティ認識の問題がパターンベースの分類問題として定式化されています。彼らは、データの任意の2つのアクティビティクラス間の重要な変化を記述する識別パターンに基づくデータマイニングアプローチを提案し、統一されたソリューションで連続、インターリーブ、同時アクティビティを認識しました。^[33] Gilbertらは、空間と時間の両方で2Dコーナーを使用しています。これらは、階層プロセスを使用して空間的および時間的にグループ化され、検索領域が増加します。階層の各段階で、最も特徴的で説明的な特徴がデータマイニングを通じて効率的に学習されます（アプリオリルール）。^[34]

位置ベースの活動認識では、GPSデータを利用して活動を認識することもできます。^{[35] [36]}

さまざまなカメラで撮影したビデオを通じてエージェントの行動を追跡し理解することは、非常に重要かつ困難な問題です。使用される主な技術はコンピューター ビジョンです。視覚ベースの活動認識は、人間とコンピューターの相互作用、ユーザー インターフェイスの設計、ロボットの学習、監視など、多くの用途に使用されています。視覚ベースの活動認識に関する研究が頻繁に発表される科学会議は、ICCVとCVPRです。

視覚ベースの行動認識では、多くの研究が行われてきました。研究者は、単一カメラ、ステレオ、赤外線などのさまざまなモダリティで、オプティカルフロー、カルマンフィルタリング、隠れマルコフモデルなどの多くの方法を試みてきました。さらに、研究者は、単独の歩行者追跡、グループ追跡、落下物の検出など、このトピックに関するさまざまな側面を検討してきました。

最近、一部の研究者は、 Microsoft KinectのようなRGBDカメラを使用して人間の活動を検出しています。 ^[37]深度カメラは、通常の2Dカメラでは提供できない深度という追加の次元を追加します。これらの深度カメラからの感覚情報は、さまざまな体の位置を持つ人間のリアルタイムの骨格モデルを生成するために使用されています。^[38]この骨格情報は、研究者が人間の活動をモデル化するために使用する有意義な情報を提供し、その後、未知の活動を認識するために使用されています。^{[39] [40]}

最近のディープラーニングの急速な発展により、RGBビデオベースの行動認識は急速に発展しました。RGBカメラで撮影したビデオを入力として使用し、ビデオ分類、ビデオ内の活動の開始と終了の検出、活動と活動を行っている人々の空間的および時間的な位置特定など、いくつかのタスクを実行します。^[41]ポーズ推定法^[42]により、行動認識のためにより代表的な骨格の特徴を抽出できます。^[43]ただし、ディープラーニングベースの行動認識は敵対的攻撃の影響を受ける可能性があることが判明しており、攻撃者は入力をわずかに変更して行動認識システムを騙します。^[44]

視覚に基づく行動認識は目覚ましい進歩を遂げているが、実際の視覚監視アプリケーションへの応用は、まだ遠い夢に留まっている。^[45]逆に、人間の脳は人間の行動を認識する能力を完璧に備えているようだ。この能力は、獲得した知識だけでなく、与えられた文脈に関連する情報を抽出する能力と論理的推論にも依存している。この観察に基づいて、常識的推論と文脈的知識および常識的知識を統合することにより、視覚に基づく行動認識システムを強化することが提案されている。

階層的人間活動（HAR）認識

階層的人間活動認識は、コンピュータビジョンと機械学習の技術です。視覚データから人間の行動や振る舞いを識別して理解することを目的としています。この方法では、活動を階層的に構造化し、さまざまな行動間のつながりと相互依存性を表すフレームワークを作成します。^[46] HAR技術は、データの相関関係とモデルの基礎を理解してモデルを改善したり、機密性の高いアプリケーション領域で精度とプライバシーの懸念のバランスをとったり、特定のユースケースに関連性のない些細なラベルを識別して管理したりするために使用できます。^[47]

視覚ベースの活動認識では、計算プロセスは、多くの場合、人間の検出、人間の追跡、人間の活動認識、そして高レベルの活動評価という 4 つのステップに分割されます。

コンピュータビジョンに基づく行動認識では、きめ細かな行動の局所化は、通常、人間のオブジェクトとその行動カテゴリを描写する画像ごとのセグメンテーションマスクを提供します（例：セグメントチューブ^{[48] ）。動的}マルコフネットワーク、CNN、LSTMなどの技術は、連続するビデオフレーム間の意味的相関関係を利用するためによく使用されます。客観的な境界ボックスや人間のポーズなどの幾何学的な細分化された特徴は、グラフニューラルネットワークによる行動認識を容易にします。^{[41] [49]}

特定の人物を識別する方法の 1 つは、歩き方です。歩行認識ソフトウェアを使用すると、人物の歩行または歩行特徴プロファイルをデータベースに記録して、後でその人物が変装していたとしても認識できるようになります。

広く普及しているWi-Fi信号と802.11アクセスポイントを使用して屋内や都市でアクティビティ認識を実行すると、多くのノイズと不確実性が生じます。これらの不確実性は、動的ベイジアンネットワークモデルを使用してモデル化できます。^[50]ユーザーのインターリーブ目標を推論できる複数の目標モデルでは、決定論的な状態遷移モデルが適用されます。^[51]別の可能な方法は、同時およびインターリーブアクティビティを確率的アプローチでモデル化します。^[52]ユーザーアクション検出モデルは、Wi-Fi信号をセグメント化して、可能なアクションを生成することができます。^[53]

Wi-Fi アクティビティ認識の主な考え方の 1 つは、送信中に信号が人体を通過すると、反射、回折、散乱が発生するというものです。研究者はこれらの信号から情報を取得し、人体のアクティビティを分析できます。

^[54]に示すように、無線信号が屋内で伝送される場合、壁、地面、人体などの障害物により、反射、散乱、回折、回析などのさまざまな影響が生じます。そのため、受信側では、伝送中に表面が信号を反射するため、異なる経路から複数の信号を同時に受信することになります。これをマルチパス効果といいます。

静的モデルは、直接信号と反射信号という 2 種類の信号に基づいています。直接経路には障害物がないため、直接信号の伝送はFriis 伝送方程式でモデル化できます。

${\displaystyle P_{r}={\frac {P_{t}G_{t}G_{r}\lambda ^{2}}{(4\pi )^{2}d^{2}}}}$

${\displaystyle P_{t}}$送信アンテナ入力端子に供給される電力です。

${\displaystyle P_{r}}$受信アンテナ出力端子で利用可能な電力です。

${\displaystyle d}$アンテナ間の距離です。

${\displaystyle G_{t}}$送信アンテナ利得です。

${\displaystyle G_{r}}$受信アンテナ利得です。

${\displaystyle \lambda}$無線周波数の波長です

反射信号を考慮すると、新しい方程式は次のようになります。

${\displaystyle P_{r}={\frac {P_{t}G_{t}G_{r}\lambda ^{2}}{(4\pi )^{2}(d+4h)^{2}}}}$

${\displaystyle h}$反射点と直接経路間の距離です。

人間が現れると、新たな感染経路が生まれます。したがって、最終的な方程式は次のようになります。

${\displaystyle P_{r}={\frac {P_{t}G_{t}G_{r}\lambda ^{2}}{(4\pi )^{2}(d+4h+\Delta )^{2}}}}$

${\displaystyle \Delta }$人体によって生じる経路のおおよその差です。

このモデルでは、信号伝送経路が連続的に変化する人間の動きを考慮します。動きの速度に関連するこの効果は、ドップラーシフトを使用して説明できます。

${\displaystyle \Delta f={\frac {2v\cos \theta }{c}}f}$

受信信号のドップラーシフトを計算することで、動きのパターンを把握し、人間の活動をさらに識別することができます。例えば、^[55]では、ドップラーシフトを指紋として使用して、9つの異なる動きのパターンを高精度に識別しています。

フレネルゾーンは、当初は光の干渉と回折を研究するために使用され、後に無線信号伝送モデルの構築に使用されました。フレネルゾーンは、送信者と受信者の位置を焦点とする一連の楕円形の間隔です。

人が異なるフレネルゾーンを横切って移動すると、人体の反射によって形成される信号経路が変化し、人がフレネルゾーンを垂直に移動すると、信号の変化は周期的になります。2つの論文で、Wangらはフレネルモデルを活動認識タスクに適用し、より正確な結果を得ました。^{[56] [57]}

いくつかのタスクでは、より良い結果を得るために人体を正確にモデル化することを検討する必要があります。たとえば、^[57]は呼吸検出のために人体を同心円状の円筒として説明しています。円筒の外側は人が息を吸うときの胸郭を表し、内側は人が息を吐くときの胸郭を表します。したがって、その2つの円筒の半径の差は、呼吸中の移動距離を表します。信号位相の変化は次の式で表すことができます。

${\displaystyle \theta =2\pi {\frac {2\,\Delta d}{\lambda }}}$

${\displaystyle \theta }$信号位相の変化です。

${\displaystyle \lambda }$無線周波数の波長です。

${\displaystyle \Delta d}$胸郭の移動距離です。

アクティビティ認識やアクション認識アルゴリズムのベンチマークに使用される一般的なデータセットがいくつかあります。

• UCF-101: 101の人間の動作クラス、13,000以上のクリップ、27時間のビデオデータで構成されています。動作クラスには、化粧、ドールの遊び、クリケットのショット、ひげの剃り方などが含まれます。^[58]
• HMDB51:これは映画やウェブ動画など、さまざまなソースからのリアルな動画のコレクションです。データセットは51のアクションカテゴリ（「ジャンプ」「キス」「笑い」など）の6,849の動画クリップで構成されており、各カテゴリには少なくとも101のクリップが含まれています。^[59]
• 運動学:これは以前のものよりもかなり大きなデータセットです。400の人間の行動クラスが含まれており、各行動には少なくとも400のビデオクリップが含まれています。各クリップは約10秒間続き、異なるYouTubeビデオから取得されています。このデータセットはDeepMindによって作成されました。^[60]

人間の活動を自動的に監視することで、外傷性脳損傷を患っている人々に在宅リハビリテーションを提供することができます。セキュリティ関連のアプリケーションや物流サポートから位置情報サービスまで、さまざまなアプリケーションが見つかります。^{[61]活動認識システムは、}野生生物の観察^[62]や建物の省エネ^[63]のために開発されています。

• AI効果
• 人工知能の応用
• 条件付きランダムフィールド
• ジェスチャー認識
• 隠れマルコフモデル
• 動作分析
• ナイーブベイズ分類器
• サポートベクターマシン
• オブジェクトのコセグメンテーション
• 人工知能の概要
• ビデオコンテンツ分析