アイトラッキング

アイ・トラッキングとは、視線の方向（どこを見ているか）または頭部に対する眼球の動きを測定するプロセスです。アイ・トラッカーは、眼の位置と眼球の動きを測定する装置です。アイ・トラッカーは、視覚系の研究、心理学、心理言語学、マーケティング、ヒューマン・コンピュータ・インタラクションの入力装置、製品設計などに使用されています。さらに、アイ・トラッカーは、車椅子、ロボットアーム、義肢の制御など、補助およびリハビリテーション用途にもますます使用されるようになっています。最近では、アイ・トラッキングは自閉症スペクトラム障害の早期発見のためのツールとして検討されています。眼球の動きを測定する方法はいくつかありますが、最も一般的な方法はビデオ画像を使用して眼の位置を抽出するものです。その他の方法は、サーチコイルを使用したり、電気眼球図に基づいていたりします。

1800年代には、直接観察を用いて眼球運動の研究が行われました。例えば、ルイ・エミール・ジャヴァルは1879年に、読書はそれまで考えられていたようにテキストに沿って目が滑らかに動くのではなく、一連の短い停止（注視と呼ばれる）と素早いサッカードを伴うことを観察しました。^{[ 1 ]}この観察は読書に関する重要な疑問を提起し、1900年代に探求された疑問は、どの単語で目が停止するのか、どのくらいの時間停止するのか、いつ既に見た単語に戻るのか、といったものでした。

エドマンド・ヒューイ^{[ 2 ]は}、瞳孔用の穴が開いたコンタクトレンズのようなものを使って、初期の視線追跡装置を製作した。レンズは、眼球の動きに応じて動くアルミニウム製のポインターに接続されていた。ヒューイは回帰（サッカードのごく一部だけが回帰である）を研究し定量化し、文中のいくつかの単語は注視されないことを示した。

最初の非侵襲型視線追跡装置は、シカゴのガイ・トーマス・バスウェルによって開発され、目に反射した光線をフィルムに記録する方式でした。バスウェルは読書^{[ 3 ] [ 4 ]}と画像鑑賞^{[ 5 ]に関する体系的な研究を行いました。}

1950年代、アルフレッド・L・ヤーバス^{[ 6 ]}は視線追跡研究を行い、彼の1967年の著書はしばしば引用されている。彼は、被験者に与えられた課題が被験者の眼球運動に非常に大きな影響を与えることを示した。また、彼は注視と興味の関係についても述べている。

すべての記録は、眼球運動の特性が、画像が平面またはほぼ平面である限り、画像の素材や作成方法とは完全に独立しているか、ごくわずかにしか依存しないことを決定的に示している。」^{[ 7 ]}

絵画の検討における周期的なパターンは、「絵画に何が描かれているかだけでなく、観察者が直面している問題や、観察者が絵画から得ようとしている情報にも依存する」^{[ 8 ] 。}

眼球運動の記録によると、観察者の注意は通常、画像の特定の要素のみに向けられていることがわかります。眼球運動は人間の思考過程を反映しているため、眼球運動の記録から観察者の思考（特定の対象物の観察に伴う思考）をある程度追跡することができます。これらの記録から、どの要素が観察者の目（そして結果として思考）を引きつけるのか、どのような順序で、どのくらいの頻度で引きつけるのかを容易に判断できます。^{[ 7 ]}

観察者の注意は、重要な情報を提供しない要素にしばしば向けられるが、観察者の意見では、それらの要素が重要な情報を提供する可能性がある。観察者は、特定の状況において珍しい、馴染みのない、理解できないなどの要素に注意を集中することが多い。^{[ 9 ]}

観察者の視線は注視点を変えるとき、繰り返し画像の同じ要素に戻ります。知覚に費やされる追加の時間は、二次的な要素を調べるためではなく、最も重要な要素を再検討するために使われます。^{[ 10 ]}

1970年代には、視線追跡研究、特に読書研究が急速に拡大した。この時期の研究の概要については、Raynerが詳しく解説している。^{[ 13 ]}

1980年、ジャストとカーペンター^{[ 14 ]}は、「注視しているものと処理しているものの間には、目立った遅延はない」という影響力のあるストロングの眼心仮説を提唱した。この仮説が正しければ、被験者が単語や物体を見ているとき、記録された注視時間と同じ時間だけ、それについて考えている（認知的に処理している）ことになる。この仮説は、アイトラッキングを使用する研究者によってしばしば当然のこととして受け止められている。しかし、視線依存型技術は、顕在的注意と潜在的注意を分離し、注視しているものと処理しているものを区別するための興味深い選択肢を提供する。

1980年代には、目と心の仮説は、人々がよく行う、見ていないものへの注意である潜在的注意^{[ 15 ] [ 16 ]}の観点からしばしば疑問視された。もし潜在的注意がアイトラッキング記録中に一般的であれば、結果として得られるスキャンパスと注視パターンは、注意がどこにあったかではなく、目がどこを見ていたかだけを示し、認知処理を示さないことが多い。

1980年代には、人間とコンピュータの相互作用に関する疑問に答えるためにアイトラッキングを使用する技術も誕生しました。具体的には、研究者たちは、ユーザーがコンピュータのメニューでコマンドを検索する方法を調査しました。^{[ 17 ]}さらに、コンピュータの普及により、研究者たちはアイトラッキングの結果をリアルタイムで利用できるようになり、主に障害のあるユーザーを支援するために活用されました。^{[ 17 ]}

近年では、ユーザーがさまざまなコンピュータ インターフェースとどのようにやり取りするかを研究するために、アイ トラッキングの使用が増加しています。研究者が尋ねる具体的な質問は、さまざまなインターフェースがユーザーにとってどれほど簡単かに関連しています。^{[ 17 ]}アイ トラッキング研究の結果は、インターフェースのデザインの変更につながる可能性があります。最近の研究のもう 1 つの分野は、Web 開発に焦点を当てています。これには、ユーザーがドロップダウン メニューにどのように反応するか、または Web サイト上のどこに注意を集中させるかが含まれ、開発者は広告をどこに配置すればよいかを知ることができます。^{[ 18 ]}

ホフマンによれば^{[ 19 ]} 、現在のコンセンサスは、視覚的注意は常に眼球よりわずかに（100～250ミリ秒）先行しているというものである。しかし、注意が新しい位置に移動するとすぐに、眼球はそれを追従しようとする。^{[ 20 ]}

特定の認知プロセスは、シーン内の特定の対象物への注視から直接推測することはできません。^{[ 21 ]}例えば、写真の中の顔への注視は、認識、好意、嫌悪、困惑などを示している可能性があります。そのため、アイトラッキングは、内省的な言語プロトコルなどの他の方法論と組み合わせて使用​​されることがよくあります。

携帯型電子機器の進歩により、携帯型ヘッドマウント型アイトラッカーは現在、優れた性能を発揮し、日常生活環境を対象とした研究や市場用途でますます広く利用されています。^{[ 22 ]}これらの進歩は、実験室と応用環境の両方で、注視中に発生する微細な眼球運動の研究の増加につながっています。^{[ 23 ]}

21世紀には、人工知能（AI）と人工ニューラルネットワークの使用が、視線追跡タスクと分析を完了するための実行可能な方法となっています。特に、畳み込みニューラルネットワークは画像中心のタスク向けに設計されているため、視線追跡に適しています。AIを使用すると、視線追跡タスクと研究から、人間の観察者では検出できなかった追加情報を得ることができます。また、ディープラーニングの手法により、十分なサンプルデータが与えられると、特定のニューラルネットワークが特定のタスクで改善されます。ただし、これには比較的大量のトレーニングデータが必要です。^{[ 24 ]}

^{視線追跡におけるAIの潜在的なユースケースは、医療アプリケーション[ 25 ]}から運転安全^{[ 24 ]} 、ゲーム理論^{[ 26 ] 、さらには教育およびトレーニングアプリケーション[ 27 ] [ 28 ] [ 29 ]}まで、幅広いトピックを網羅しています。

アイトラッカーは、いくつかの方法で眼球の回転を測定しますが、主に次の3つのカテゴリに分類されます。

1. 目に装着された物体（通常は特殊なコンタクトレンズ）の動きを測定すること
2. 目に直接触れることなく光学的に追跡する
3. 目の周りに電極を配置して電位を測定する。

光学式トラッキング

2番目の大まかなカテゴリーでは、眼球運動を測定するために非接触の光学的方法を使用します。光（通常は赤外線）が眼球から反射され、ビデオカメラまたはその他の特別に設計された光学センサーによって感知されます。その後、情報が分析され、反射の変化から眼球の回転が抽出されます。ビデオベースのアイトラッカーは通常、角膜反射（第1プルキンエ像）と瞳孔の中心を、時間経過とともに追跡する特徴として使用します。より高感度なタイプのアイトラッカーであるデュアルプルキンエアイトラッカー^{[ 31 ]}は、角膜前面（第1プルキンエ像）と水晶体後部（第4プルキンエ像）からの反射を追跡する特徴として使用します。さらに高感度な追跡方法として、網膜血管など眼球内部の特徴を画像化し、眼球の回転に伴ってこれらの特徴を追跡する方法があります。光学的方法、特にビデオ録画に基づく方法は、視線追跡に広く使用されており、非侵襲的で安価であることから好まれています。

現在最も広く使われている設計は、ビデオベースの視線追跡装置です。カメラは片目または両目に焦点を合わせ、被験者が何らかの刺激を見ているときの眼球運動を記録します。最新の視線追跡装置のほとんどは、瞳孔の中心と赤外線/近赤外線の非平行光を使用して角膜反射（CR）を生成します。瞳孔の中心と角膜反射の間のベクトルを使用して、表面上の注視点または視線方向を計算できます。視線追跡装置を使用する前に、通常は個人の簡単なキャリブレーション手順が必要です。^{[ 36 ]}

赤外線/近赤外線（アクティブライトとも呼ばれる）による視線追跡技術には、明るい瞳孔と暗い瞳孔という2つの一般的なタイプがあります。これらの違いは、光学系に対する照明光源の位置に基づいています。照明が光路と同軸である場合、光が網膜で反射されるため、目は再帰反射体として機能し、赤目と同様の明るい瞳孔効果を生み出します。照明光源が光路からずれている場合、網膜からの再帰反射がカメラから離れる方向に向けられるため、瞳孔は暗く見えます。^{[ 37 ]}

明るい瞳孔追跡は、虹彩と瞳孔のコントラストを高め、あらゆる虹彩色素によるより強力な眼球追跡を可能にし、まつげやその他の遮蔽物による干渉を大幅に軽減します。^{[ 38 ]}また、完全な暗闇から非常に明るい照明条件まで追跡を可能にします。

もう1つのあまり使われていない方法は、受動照明として知られています。これは可視光を使用して照明しますが、これはユーザーに多少の注意散漫を引き起こす可能性があります。^{[ 37 ]}この方法のもう1つの課題は、瞳孔のコントラストが能動照明の方法よりも低いため、代わりに虹彩の中心を使用してベクトルを計算することです。^{[ 39 ]}この計算では、虹彩と白目の強膜の境界（角膜縁追跡）を検出する必要があります。まぶたの障害により、垂直方向の眼球運動には別の課題が生じます。^{[ 40 ]}

• 
  赤外線／近赤外線：明るい瞳孔。
• 
  赤外線／近赤外線：瞳孔と角膜の反射が暗い。
• 
  可視光：虹彩の中心（赤）、角膜反射（緑）、および出力ベクトル（青）。

視線追跡装置の仕組みは多種多様です。頭部に装着するもの、顎当てなどで頭部を安定させる必要があるもの、遠隔操作で動きに合わせて自動的に頭部を追跡するものなどがあります。ほとんどの装置は30Hz以上のサンプリングレートを使用しています 。50/60Hz が一般的ですが、現在では多くのビデオベースの視線追跡装置が240Hz、350Hz、あるいは1000/1250Hzで動作しており 、これは注視時の眼球運動を捉えたり、サッケードのダイナミクスを正確に測定するために必要な速度です。

眼球運動は通常、注視とサッカードに分けられます。注視とは、眼球が特定の位置に静止している状態を指し、サッカードとは、眼球が別の位置へ移動する状態を指します。一連の注視とサッカードをスキャンパスと呼びます。滑動性追跡とは、眼球が動く物体を追う運動を指します。注視眼球運動には、マイクロサッカードが含まれます。マイクロサッカードとは、注視を試みている間に発生する、小さく不随意なサッカードです。眼からの情報のほとんどは、注視または滑動性追跡中に得られますが、サッカード中は得られません。^{[ 41 ]}

スカンパスは、認知意図、関心、顕著性を分析するのに役立ちます。その他の生物学的要因（性別のような単純なものも含む）もスカンパスに影響を与える可能性があります。ヒューマンコンピュータインタラクション（HCI）におけるアイトラッキングは、通常、ユーザビリティの目的で、または視線依存型ディスプレイ（視線ベースインターフェースとも呼ばれる）の入力方法としてスカンパスを調査します。^{[ 42 ]}

さまざまなタイプの視線追跡装置によって記録されたデータの解釈には、1 人以上のユーザーの視覚行動をアニメーション化または視覚的に表現するさまざまなソフトウェアが使用されます。ビデオは通常、AOI (関心領域) を識別するために手動でコーディングされますが、最近では、AOI を識別するために人工知能が使用されます。グラフィカルな表現は分析できる範囲が限られているため、研究結果の基礎となることはほとんどありません。代わりに、視線追跡に依存する研究では、通常、眼球運動イベントとそのパラメータの定量的測定が必要です。^{[ 43 ]}

最も一般的に使用されている視覚化手法は以下のとおりです。

インターフェース上の点のアニメーション表示 この方法は、視覚的な動作を個別に調査する場合に使用され、ユーザーが各瞬間にどこに視線を集中させたかを示し、画像に示すように、以前のサッカード運動を示す小さなパスが補完されます。

サッケード経路の静的表現 これは上記のものとよく似ていますが、静的な表現方法であるという点が異なります。これを解釈するには、アニメーションによる表現よりも高度な専門知識が必要です。

ヒートマップは 、主にユーザーグループにおける視覚探索パターンの集約分析に使用される、静的な表現方法の一つです。これらの表現では、「ホット」ゾーン、つまり密度が高いゾーンは、ユーザーがより高い頻度で視線（注意ではなく）を集中させた場所を示します。ヒートマップは、アイトラッキング研究において最もよく知られている視覚化手法です。^{[ 44 ]}

ブラインドゾーンマップ、またはフォーカスマップ この方法は、ヒートマップを簡略化したもので、ユーザーが視覚的にあまり注意を払っていないゾーンが明確に表示されるため、最も関連性の高い情報をより簡単に理解できます。つまり、ユーザーが見ていないゾーンに関するより多くの情報を提供します。

顕著性マップは、ヒートマップと同様に、最初は黒いキャンバス上に注目を集めるオブジェクトを明るく表示することで、注目領域を示します。特定のオブジェクトに注目が集まるほど、明るく表示されます。^{[ 45 ]}

アイトラッカーは、何らかの基準フレームに対する眼球の回転を必ず測定します。これは通常、測定システムに関連付けられています。したがって、EOGやヘルメットに取り付けられたビデオベースのシステムのように、測定システムがヘッドマウントされている場合は、頭部内の眼球の角度が測定されます。世界座標系での視線を推測するには、頭部を一定の位置に保つか、その動きも追跡する必要があります。これらの場合、頭部の方向が頭部内の眼球の方向に追加され、視線の方向が決定されます。ただし、頭部の動きが小さい場合は、眼球は一定の位置に留まります。^{[ 46 ]}

測定システムがテーブル上に設置されている場合（例えば、強膜サーチコイルやテーブル設置型カメラ（リモート）システムなど）、視線角度は世界座標系で直接測定されます。通常、このような状況では頭部の動きは禁止されています。例えば、バイトバーや額当てを用いて頭部の位置を固定します。この場合、頭部中心座標系は世界座標系と同一になります。言い換えれば、頭部における眼の位置が視線方向を直接決定するということです。

頭部の動きも許容される自然な条件下での人間の眼球運動に関する結果がいくつか得られている。^{[ 47 ]}視線の方向が一定であっても、眼と頭部の相対的な位置は、高次視覚領域の神経活動に影響を与える。^{[ 48 ]}

眼球回転のメカニズムとダイナミクスに関する研究は数多く行われてきましたが、アイトラッキングの目的は多くの場合、視線方向を推定することです。例えば、ユーザーは画像のどの特徴が視線を引きつけるのかに関心を持つかもしれません。アイトラッカーは絶対的な視線方向を提供するのではなく、視線方向の変化のみを測定できます。被験者が何を見ているかを正確に判断するには、被験者が一点または一連の点を見ている間にアイトラッカーが各視線位置に対応する値を記録するキャリブレーション手順が必要です。（網膜の特徴を追跡する技術でさえ、視軸が網膜と交わる正確な点を示す特定の解剖学的特徴がないため、正確な視線方向を提供することはできません。そもそも、そのような単一の安定した点が存在するのかどうかも不明です。）正確で信頼性の高いキャリブレーションは、有効で再現性のある眼球運動データを取得するために不可欠ですが、これは非言語被験者や視線が不安定な被験者にとっては大きな課題となる可能性があります。

視線追跡の各方法にはそれぞれ長所と短所があり、視線追跡システムの選択はコストと用途の考慮事項によって決まります。オフライン方式とAttentionTrackingのようなオンライン方式があります。コストと感度の間にはトレードオフがあり、最も感度の高いシステムは数万ドルもかかり、適切に操作するにはかなりの専門知識が必要です。コンピュータとビデオ技術の進歩により、多くの用途に役立ち、比較的使いやすい低コストのシステムが開発されました。^{[ 49 ]}ただし、位置ずれやキャリブレーション不良のシステムでは、非常に誤ったデータが生成されるため、結果の解釈には依然としてある程度の専門知識が必要です。

困難な状況下での自動車運転中の視線追跡

スイス連邦工科大学のチームは、特殊なヘッドカメラを使用して2つのグループのドライバーの視線の動きを撮影しました。初心者ドライバーと経験豊富なドライバーが狭い道路のカーブに近づく際の視線の動きが記録されました。理解を容易にするために、一連の画像は元のフィルムフレーム^{[ 51 ]}から圧縮され、画像ごとに2つの視線固定が示されています。

これらの静止画はそれぞれ、実時間で約0.5秒に相当する。

この一連の画像は、典型的な初心者ドライバーと経験豊富なドライバーの視線固定点（9番から14番）の例を示しています。

上の画像を比較すると、経験豊富なドライバーはカーブを確認し、さらに9番目の注視点を脇に向ける余裕さえあるのに対し、初心者ドライバーは道路を確認し、駐車車両までの距離を推定する必要があることがわかる。

真ん中の画像では、経験豊富なドライバーは対向車が見える場所に完全に集中している。一方、初心者ドライバーは駐車中の車に視線を集中させている。

下の画像では、初心者は左側の壁と駐車車両の間の距離を推定するのに忙しいが、経験豊富なドライバーは周辺視野を使ってそれを行いながら、カーブの危険なポイントに視線を集中させることができる。そこに車が現れた場合、ドライバーは道を譲らなければならない、つまり駐車車両を追い越すのではなく右側に停止しなければならない。^{[ 52 ]}

最近の研究では、実際の運転状況下での眼球運動を測定するために、ヘッドマウント型アイトラッキングも使用されている。^{[ 53 ] [ 23 ]}

認知科学、心理学（特に心理言語学、視覚世界パラダイム）、ヒューマンコンピュータインタラクション（HCI）、人間工学、マーケティングリサーチ、医学研究（神経学的診断）など、さまざまな分野でアイトラッキング技術が使用されています。 ^{[ 55 ]}具体的な応用例としては、言語の読解、音楽の読解、人間の活動認識、広告の知覚、スポーツのプレイ、ドライバーやパイロットの注意散漫の検出と認知負荷の推定、重度の運動障害を持つ人がコンピュータを操作する手段としての眼球運動の追跡などがあります。 ^{[ 23 ]}仮想現実の分野では、アイトラッキングは、ユーザーの視線内のグラフィック領域のみをレンダリングすることで処理負荷を軽減するなど、さまざまな目的でヘッドマウントディスプレイに使用されています。^{[ 56 ]}

^{スマートフォン[ 104 ]} 、ノートパソコン^{[ 105 ]}、仮想現実ヘッドセット^{[ 106 ] [ 107 ]}など、さまざまな家電製品で視線追跡が一般的な機能になると予測されているため、この技術が消費者のプライバシーに与える影響について懸念が提起されています^{[ 108 ] [ 109 ]} 。機械学習技術の助けを借りて、視線追跡データは、ユーザーの民族、性格特性、恐怖、感情、興味、スキル、身体的および精神的健康状態に関する情報を間接的に明らかにする可能性があります^{[ 110 ]} 。このような推論がユーザーの認識や承認なしに行われる場合、これは推論攻撃に分類されます。眼球運動は常に意志制御下にあるわけではなく、たとえば、「刺激による視線移動、瞳孔の拡張、眼振、自発的な瞬きは、消化や呼吸と同様に、ほとんど意識的な努力なしに発生します」。^{[ 110 ]}したがって、アイトラッキングの利用者が、自分自身についてどれだけの情報を開示しているかを推定したり制御したりすることは難しい場合があります。

• Cornsweet, TN; Crane, HD (1973). "第一および第四プルキンエ像を用いた高精度二次元眼球追跡装置" . J Opt Soc Am . 63 (8): 921–8 . Bibcode : 1973JOSA...63..921C . doi : 10.1364/josa.63.000921 . PMID 4722578. S2CID 14866408 .  
• Cornsweet, TN (1958). 「微細眼球運動測定のための新しい技術」 JOSA 48 ( 11 ): 808– 811. Bibcode : 1958JOSA...48..808C . doi : 10.1364/josa.48.000808 . PMID 13588456 . 
• フンツィカー、ハンス・ヴェルナー (2006)。Im Auge des Lesers: foveale und periphere Wahrnehmung – vom Buchstabieren zur Lesefreude [読者の目: 中心窩と周辺の知覚 – 文字認識から読書の喜びまで] (ドイツ語)。トランスメディア・ストーブリ・ヴァーラーク・チューリッヒ。ISBN 978-3-7266-0068-6。
• Just, MA; Carpenter, PA (1980). "読書理論：視線固定から理解へ" (PDF) . Psychol Rev . 87 (4): 329– 354. doi : 10.1037/0033-295x.87.4.329 . PMID 7413885 . S2CID 3793521 .  
• Rayner, K (1978). 「読書と情報処理における眼球運動」. Psychological Bulletin . 85 (3): 618–660 . CiteSeerX 10.1.1.294.4262 . doi : 10.1037/0033-2909.85.3.618 . PMID 353867 .  
• Rayner, K (1998). 「読書と情報処理における眼球運動：20年間の研究」. Psychological Bulletin . 124 (3): 372–422 . CiteSeerX 10.1.1.211.3546 . doi : 10.1037/0033-2909.124.3.372 . PMID 9849112 .  
• ロマーノ・ベルグストロム、ジェニファー（2014）。ユーザーエクスペリエンスデザインにおけるアイトラッキング。モーガン・カウフマン。ISBN 978-0-12-408138-3。
• ボイコ、アガ（2013）。アイトラッキング：ユーザーエクスペリエンス（研究のための実践ガイド）。ローゼンフェルド・メディア。ISBN 978-1-933820-10-1。