自己中心的な視点

自己中心的視覚または一人称視点は、コンピュータービジョンのサブ分野であり、通常は頭部または胸部に装着され、カメラ装着者の視野を自然に近似するウェアラブルカメラで撮影された画像やビデオを分析することを伴います。したがって、視覚データは、ユーザーが目の前のタスクを実行するために焦点を合わせているシーンの部分を捉え、自然な環境におけるユーザーの活動とそのコンテキストを理解するための貴重な視点を提供します。^{[ 1 ]}

前方を向いたウェアラブルカメラに加えて、ユーザーの目を捉え、視線を測定できるカメラが搭載されていることが多く、これはユーザーの注意力を明らかにし、ユーザーの行動や意図をより深く理解するのに役立ちます。

ウェアラブルカメラを使って一人称視点から視覚データを収集するというアイデアは、スティーブ・マンが「デジタルアイグラス」を発明した70年代に遡ります。このデバイスを装着すると、人間の目自体が電子カメラとテレビディスプレイの両方の役割を果たすようになります。^{[ 2 ]}

^{その後、ウェアラブルカメラは、人間知能[ 3 ]}およびウェアラブルAI ^{[ 4 ]}の文脈で健康関連のアプリケーションに使用されました。 自己中心的視覚は、目から行うのが最適ですが、眼鏡が邪魔になる場合は、首に装着するカメラを使用して行うこともできます。^{[ 5 ]}この首に装着するバリアントは、2006 年に実験的な健康研究作業のためにMicrosoft SenseCam によって普及しました。 ^{[ 6 ]}コンピュータビジョンコミュニティの自己中心的パラダイムへの関心は、2010 年代に入って徐々に高まり、ウェアラブルテクノロジーの分野での目覚ましい進歩と潜在的なアプリケーションの増加の両方によって後押しされ、近年急速に成長しています。 ^{[ 7 ]}

^{KanadeとHebert [ 8 ]}が2012年に記述したプロトタイプの1人称視点システムは、 3つの基本コンポーネントで構成されています。周囲を推定できる位置特定コンポーネント、物体や人物を識別できる認識コンポーネント、そしてユーザーの現在の活動に関する情報を提供する活動認識コンポーネントです。これら3つのコンポーネントが連携することで、ユーザーの状況認識を完全に把握でき、ユーザーや介護者への支援に活用できます。この考え方に基づき、最初の自己中心分析のための計算手法は、手に関連する活動認識^{[ 9 ]}と社会的相互作用分析[10]に焦点を当てました。^{また、ビデオ}の制約のない性質と生成される膨大なデータ量を考慮すると、時間的セグメンテーション^{[ 11 ]}と要約^{[ 12 ]}が最初に取り組まれた問題の一つでした。自己中心視点の研究が始まってからほぼ10年（2007年～2017年）が経ちましたが、この分野は依然として多様化しています。新たな研究テーマとしては、以下のようなものがあります。

• 社会的顕著性の推定^{[ 13 ]}
• マルチエージェント自己中心型視覚システム
• プライバシー保護技術と応用
• 注意に基づく活動分析^{[ 14 ]}
• 社会的相互作用分析^{[ 10 ]}
• 手の姿勢分析^{[ 15 ]}
• 自我グラフィカルユーザーインターフェース（EUI）^{[ 16 ]}
• 社会的ダイナミクスと注意の理解^{[ 17 ]}
• 自己中心的なセンシングとしてのロボットビジョンとマシンビジョンの再検討^{[ 18 ]}
• 活動予測^{[ 19 ]}
• 視線予測^{[ 20 ]}

今日のウェアラブルカメラは、小型軽量のデジタル録画装置であり、ユーザーの操作なしに、さまざまな解像度とフレームレートで、一人称視点から画像や動画を自動的に取得できます。そのため、ウェアラブルカメラは、装着者の視界を間近に捉えることができるため、私たちの日常生活における様々な場面から視覚情報を収集するのに最適です。

フレームレートに応じて、写真カメラ（ライフログカメラとも呼ばれる）とビデオカメラを区別するのが一般的です。

• 前者（例えば、Narrative ClipやMicrosoft SenseCam）は一般的に胸部に装着され、非常に低いフレームレート（最大2fpm）が特徴で、バッテリーを充電することなく長時間画像を撮影できます。そのため、ユーザーの行動パターン、習慣、ライフスタイルなどに関する知識を推測する上で大きな可能性を秘めています。しかし、フレームレートが低く、カメラが自由に動くため、時間的に近接した画像では外観が急激に変化することが多く、動きの特徴を確実に推定することはできません。
• 後者（例：Google Glass、GoPro）は一般的に頭部に装着され、通常のビデオ（約35fps）を撮影することで、インタラクションの細かい時間的詳細を捉えることができます。そのため、日常的な活動や特別な活動の詳細な分析に活用できる可能性があります。しかし、カメラは装着者の頭部の動きに合わせて動くため、装着者の全体的な動きを正確に把握することが難しくなり、急な動きがあった場合には画像がぼやけてしまうことがあります。

どちらの場合も、カメラは自然な環境で装着されるため、照明条件や被写体の外観に関して、視覚データには大きなばらつきが生じます。さらに、カメラを装着した人物は画像に写っておらず、その人物の行動はカメラの視野内の情報から推測するしかないため、姿勢や表情の推定など、装着者に関する重要な情報は得られ ません。

アメリカ予防医学ジャーナルの特集号に掲載された一連の研究^{[ 21 ]}は、ウェアラブルカメラで撮影されたライフログが様々な観点から持つ可能性を示している。特に、ライフスタイル行動の理解と追跡のためのツールとしてライフログを使用することで、不健康な傾向やリスクプロファイル（肥満やうつ病など）に関連する非感染性疾患の予防が可能になることが示されている。さらに、ライフログを記憶再訓練のためのツールとして使用することで、高齢者の認知機能や身体機能の低下を予防できる。

近年では、一人称視点カメラは、人間や動物の認知、人間同士の社会的相互作用、人間とロボットの相互作用、複雑なタスクにおける人間の専門知識の研究に用いられています。その他の用途としては、視覚障害者向けのナビゲーション/支援技術^{[ 22 ]} 、産業ワークフローの監視と支援^{[ 23 ] [ 24 ]}、拡張現実インターフェース^{[ 5 ]}などがあります。ロボット工学や物理AIの研究では、一人称視点データセットには、深度、慣性計測ユニットデータ、視線、姿勢、音声、タスク境界、タイムスタンプ、注釈、キャプチャとリリースのプロセスを記述するメタデータなどのオプションの同期信号とともに、一人称視点RGBビデオが含まれる場合があります。^{[ 25 ]}