視覚的索引理論

視覚索引理論はFINST理論とも呼ばれ、 1980年代にゼノン・ピリシンが開発した初期視覚知覚の理論です。視覚シーンの顕著な要素を個別化し、空間と時間にわたってその位置を追跡する機能を持つ前注意メカニズム（「FINST」）を提唱しています。ピリシンが当時の有力な視覚知覚理論の限界と見なしていたものに応じて開発された視覚索引理論は、いくつかの実証的証拠によって裏付けられています。

「FINST」は「FINgers of INSTantiation」の略です。ピリシンは視覚索引理論をこのアナロジーで説明しています。^[1]彼は、あるシーンにある 5 つの別々のオブジェクトに指を置くことを想像してみてください、と提案しています。それらのオブジェクトが動き回っても、指はそれぞれに接触したままなので、それらの所在と互いの位置を継続的に追跡できます。この方法ではアイテム自体の詳細な情報を識別することはできないかもしれませんが、指の存在は参照を提供し、シーン内でオブジェクトを再配置することなく、いつでもそのような情報にアクセスできます。さらに、時間の経過に伴うオブジェクトの連続性は本質的に維持されます。つまり、指が継続的に接触しているため、 時間tで小指が参照するオブジェクトは、空間変換に関係なく、 t ₋₁で小指が参照するオブジェクトと同じオブジェクトであることが わかります。

視覚インデックス理論では、視覚知覚システムは類似した方法で機能するとされています。FINST は上記のシナリオの指のように動作し、視覚空間内のさまざまなオブジェクトの位置を指し示して追跡します。指と同様に、FINST は次のようになります。

• 複数。複数のオブジェクトを個別の FINST によって同時に独立してインデックス付けおよび追跡できます。
• 粘着性。インデックス付きオブジェクトがビジュアルシーン内を移動すると、FINST も一緒に移動します。
• インデックス付けするオブジェクトの機能に対しては不透明です。FINST は、オブジェクトの位置のみに基づいてオブジェクトを参照します。参照先に関する追加情報は、FINST メカニズム自体を介して伝達されません。

FINST は、注意が視野内のオブジェクトに向けられる前、つまり注意が向けられる前に機能します。FINST の主な役割は、シーン内の特定の顕著な特徴を個別化し、概念的に他の刺激と区別することです。視覚インデックス理論では、FINST はより高レベルの知覚処理に必要な前提条件です。

Pylyshyn は、FINST が直接的に作用するのは網膜上の「特徴クラスター」であると示唆しているが、FINST 割り当ての正確な基準は定義されていない。「FINST が最初にどのように割り当てられるかという問題は未解決のままであるが、主に刺激駆動型で割り当てられるのは合理的であるように思われる。おそらく刺激の局所的に異なる特性の活性化によって、特に視野に入る新しい特徴によって割り当てられるのであろう。」^[1]

FINST にはリソースの制約があります。一度に最大 5 つの FINST を割り当てることができ、これらは FINST されたオブジェクト間の相対的な位置に関する視覚システム情報を提供します。

物体が個別化されると、FINST は、その物体が網膜上を移動するにつれて、その特定の特徴クラスターをインデックスし続けます。「したがって、網膜上に現在投影されている遠位の特徴は、網膜上の位置を透過的に表す方法で FINST メカニズムを通じてインデックスできます。」^[1]物体が移動するにつれてその所在を継続的に追跡することにより、FINST は、時間の経過とともに物体の連続性を維持するという追加の機能を実行します。

視覚インデックス理論によれば、オブジェクトは最初にインデックス付けされるまで注目されません。FINST が割り当てられると、インデックスによって視覚システムはオブジェクトに迅速かつ優先的にアクセスし、色、テクスチャ、形状などの特徴をさらに処理できるようになります。

この意味では、FINST はより高レベルの処理を実行する手段を提供しますが、FINST 自体は「参照先のオブジェクトの特性に対して不透明」です。^[1] FINST は、特定の瞬間の位置を超えて、インデックスされたオブジェクトに関する情報を直接伝えることはありません。「したがって、最初の接触では、オブジェクトは特定のタイプに属している、または特定の特性を持っているとは解釈されません。言い換えると、オブジェクトは最初は概念化されずに検出されます。」^[2]上記の指と同様に、視覚認識における FINST の役割は、純粋にインデックス的なものです。

視覚索引理論は、ピリシンが知覚と認知の伝統的な理論、特に注意のスポットライトモデルと視覚表現の記述的見解の限界と見なしたものに部分的に応えて作成されました。^{[1] [3]}

視覚認識に関する従来の見解では、注意は視覚処理の基本であると考えられています。ポズナー、スナイダー、デイビッドソン (1980) が提示した類推では、「注意は、その光線内のイベントの検出効率を高めるスポットライトに例えることができます」。^[4]このスポットライトは、意図的に制御することも、シーンの目立つ要素に無意識に引き寄せることもできますが、^[5]重要な特徴は、一度に 1 つの場所にしか配置できないことです。1986 年に、エリクセンとセント ジェームズは、注意のスポットライトにズーム レンズが装備されていることを示唆する一連の実験を行いました。ズーム レンズにより、注意の焦点領域のサイズを拡大できます (ただし、利用可能な注意リソースには一定の制限があるため、処理効率が犠牲になります)。^[6]

ピリシンによれば、スポットライト/ズームレンズモデルは視覚知覚の完全な説明にはならない。彼は、注意のスポットライトを向けることができる対象をまず個別に特定するには、前注意メカニズムが必要であると主張している。さらに、複数の対象を追跡する研究の結果 (以下で説明) は、「単一の注意のスポットライトの周りを移動することでアイテムにアクセスするという提案と矛盾している」。^[7]視覚索引理論はこれらの限界に対処している。

心的表現の古典的な見方によれば、私たちは対象を、それらが属する概念的記述に従って知覚する。私たちが周囲の世界について意味のある表現を構築し、適切な行動方針を決定することができるのは、視覚的知覚の生のコンテンツではなく、これらの記述によるものである。ピリシンの言葉を借りれば、「道に迷ったときにどの方向に向かうかを決めるのは空の明るい点ではなく、私たちがそれを北極星として見る（またはそれを表象する）という事実である」。^[3]知覚を適切な記述と一致させる方法は、現在も研究が続けられている（たとえば、対象の一部を組み合わせて全体を表す方法）が、記述が視覚的知覚にとってこのように基本的であるという一般的な合意がある。^[3]

スポットライトの注意モデルと同様に、ピリシンは視覚表現の記述モデルを不完全だとみなしている。1 つの問題は、この理論が指示的または指示的参照を考慮していないことである。「たとえば、視覚刺激がある場合、私たちは「それは赤い」などの考えを思い浮かべることができるが、ここで「それは」という用語は、それがどのカテゴリに属する​​か、またはそれがどのような特性を持っているかに関係なく、私たちが視野内で選択したものを指す。」^[3]関連して、この理論は、同じタイプの複数のオブジェクトの中から 1 つのトークンを選択する方法を説明するのに問題がある。たとえば、スーパーマーケットの棚にある特定のスープ缶を参照することがあるが、その缶は、同じ説明に答える多数の同一の缶の中にある。どちらの場合も、そのオブジェクトが属する可能性のある説明とは無関係に、シーン内のオブジェクトを選択するために時空間参照が必要である。ピリシンは、FINST がまさにそのような参照を提供すると示唆している。

ピリシンによれば、この見解のより深刻な問題は、物体の時間の経過に伴う連続性を説明できないことである。「個体は、動き回ったり、目に見える特性の一部（またはすべて）を変えたりしても、同じ個体のままである。」^[3]物体を概念的記述のみで参照する場合、それらの記述が変わったときに視覚システムが物体のアイデンティティをどのように維持するかは明らかではない。「視覚システムは、その個体がどの瞬間にどのような特性を持っているかに関係なく、特定の個体を選別できる必要がある。」^[3]ピリシンは、FINST が参照する物体の記述から切り離されていることで、この問題は克服されると主張している。

3 つの主なタイプの実験から、視覚索引理論を裏付けるデータが得られます。多重追跡研究では、視野内で複数のオブジェクトを同時に追跡できることが実証され、瞬時認識研究では、少数のオブジェクトを効率的に数え上げるメカニズムの存在が示唆され、サブセット選択研究では、視覚シーンの特定の要素が他の項目とは独立して処理できることが示されています。これら 3 つのケースすべてにおいて、FINST は観察された現象の説明を提供します。^{[7] [2]}

複数物体追跡とは、人間の被験者が視野内を移動する最大 5 つの対象物体の動きを同時に追跡する能力を指します。通常、対象物体は、同じ数以上の同一の移動する妨害物体が存在する場合に追跡します。この現象は、1988 年に Pylyshyn と Storm によって初めて実証され、^[9]、その結果は広く再現されています (要約については Pylyshyn、2007 を参照) 。 ^[10]

実験のセットアップ

典型的な実験では、最初に画面に多数の同一物体（最大 10 個）が表示されます。次に、これらの物体の一部（最大 5 個）がターゲットとして指定されます。通常は、点滅したり、瞬間的に色が変わったりします。その後、非ターゲット物体と区別がつかなくなります。その後、すべての物体が 7 ～ 15 秒間、画面上をランダムに移動します。被験者の課題は、物体が動きを止めた後、どの物体がターゲットであったかを特定することです。したがって、課題を正常に完了するには、被験者はターゲット物体が動くたびにそれを継続的に追跡し、妨害物を無視する必要があります。

結果

このような実験条件下では、被験者は複数の動く物体を同時に追跡できることが繰り返し確認されています。^[7]一貫して高い成功率のターゲット追跡を観察することに加えて、研究者は被験者が以下のことができることを示しました。

• 遮蔽を受けた物体を追跡する^[11] 、遮蔽中に軌道が変わった場合でも^[12]
• 視点の変化に応じてオブジェクトを追跡する、^{[13] [14]}
• 「物体」を追跡するのと同じくらい効果的に「穴」を追跡する、^[15]
• 高速で移動する物体を追跡し、視野の周辺まで移動する物体を追跡する。^[16]
• 関連する練習や専門知識を身につけることで、複数の物体を追跡する能力が向上する。^{[17] [18]}

FINST の特徴的な特性は 2 つあり、その多様性と、視覚的に雑然としたシーン内を移動するインデックス付きオブジェクトを追跡する能力です。「したがって、複数アイテムの追跡研究は、FINST 理論の直感に反する予測の 1 つ、つまり、アイテムが視覚的に隣のアイテムと区別できない場合や、アイテムの位置が絶えず変化している場合でも、視覚システムによってアイテムのアイデンティティが維持されるという予測を強力に裏付けています。」^[7]

瞬時に数えることは、少量の品物を素早く正確に数えることを指す。多数の研究（1871年のジェヴォンズまで遡る） ^[19]により、被験者はディスプレイ上にランダムに提示された品物が5個程度以下の場合、その数量を非常に迅速かつ正確に報告できることが実証されている。数量が多い場合は、被験者は数えたり推定したりする必要があるが（時間と正確さに多大な犠牲を払わなければならない）、このような少量の場合は異なる数え方が採用されているようだ。1949年、カウフマン、ロード、リース、フォルクマンは、この現象を説明するために「瞬時に数える」という用語を作った。^[20]

2023年に行われた、数字を判断する脳神経外科患者の内側側頭葉における単一ニューロン記録の研究では、4のあたりにニューロン符号化の境界を持つ2つの別々の神経メカニズムの証拠が報告され、瞬時認識から推定への行動の移行と相関しており、ジェヴォンズの古い観察を裏付けています。^{[21] [22]}

実験のセットアップ

典型的な実験では、被験者にランダムに配置された多数のオブジェクトを含む画面が短時間（約 100 ミリ秒）表示されます。被験者のタスクは、表示されたアイテムの数を報告することです。その数は、1 回の試行につき 1 個から数百個の範囲になります。

結果

数え上げられるアイテムの数が瞬時に認識できる範囲内であれば、ディスプレイにアイテムが 1 つ追加されるごとに、合計の応答時間が約 40～120 ミリ秒長くなります。瞬時に認識できる範囲を超えると、アイテムが 1 つ追加されるごとに、合計の応答時間が 250～350 ミリ秒長くなります (そのため、提示されたアイテムの数を反応時間に対してプロットすると、「肘」型の曲線ができます)。研究者は一般的に、これを (少なくとも) 2 つの異なる数え上げ方法が機能している証拠と見なしています。1 つは小さな数用、もう 1 つは大きな数用です。^[23]

トリックとピリシン（1993）は、「瞬時認識は、特徴検出とグループ化の空間的に並列なプロセスの後で、空間注意の連続プロセスの前に機能する、限られた容量のメカニズムによってのみ説明できる」と主張している。^[23]言い換えれば、FINSTのようなメカニズムによってである。

視覚索引理論の重要な仮定は、視野に入ったアイテムが索引付けされると、その索引によって被験者はより高次の認知プロセスを経ることなく、そのオブジェクトに素早くアクセスできるというものである。^[2]この仮説を検証するために、Burkell と Pylyshyn (1997) は、被験者がディスプレイ上のアイテムのサブセットを効果的に索引付けし、選択されたアイテムのみに関して検索タスクを実行できるかどうかを確認するための一連の実験を設計した。^[24]

実験のセットアップ

Burkell と Pylyshyn の実験では、2 種類の視覚検索のよく知られた違いを利用しました。

• 特徴検索では、ターゲットと 1 つの次元が異なる妨害要素のフィールドからターゲットを特定します。たとえば、緑の妨害要素のフィールドにある青いオブジェクトや、円のフィールドにある四角形などです。ターゲット項目がディスプレイから「飛び出す」ため簡単に見つけられるため、特徴検索は迅速に実行されます。
• 結合探索では、妨害アイテムはターゲットと複数の次元を共有します。たとえば、被験者は青い円と緑の四角形の中から青い四角形を見つけるように求められます。このタイプの探索は、ターゲットがディスプレイから「飛び出す」ことがなくなるため、特徴探索よりもはるかに効率が悪くなります。代わりに、被験者はターゲットを識別するために各オブジェクトを個別に調べる必要があり、その結果、応答時間が大幅に長くなります。^[25]

実験の設定は、一般的な結合検索タスクに似ています。15 個のアイテムが画面に表示され、それぞれに 2 色のうち 1 色、2 方向のうち 1 色が割り当てられています。これらのアイテムのうち 3 つは、遅れて表示される (他のアイテムより後に表示される) ため、サブセットとして指定されます。サブセットには、ターゲット アイテムと 2 つの妨害要素が含まれます。

この実験における重要な独立変数は、選択されたサブセットの性質です。場合によっては、サブセットは特徴検索セットで構成されます。つまり、ターゲットは 1 つの次元でのみ 2 つの妨害要素と異なります。その他の場合、サブセットは結合検索に相当し、ターゲットは両方の次元で妨害要素と異なります。全体の表示には両方の次元でターゲットと異なる項目が含まれているため、被験者が特徴検索サブセットにすばやく反応した場合、これは被験者がターゲット識別の「ポップ アウト」方式を利用したことを示しています。つまり、被験者が視覚検索をサブセット化された項目のみに適用したことを意味します。

結果

Burkell と Pylyshyn は、被験者がサブセット結合検索条件よりもサブセット特徴検索条件でターゲット オブジェクトを識別するのが実際に速かったことを発見しました。これは、サブセット化されたオブジェクトの優先順位付けが成功したことを示しています。言い換えると、サブセットは「いくつかの重要な方法で、視覚システムによって、存在する唯一のアイテムであるかのようにアクセスできました」。^[7]さらに、サブセット化されたオブジェクトのディスプレイ内の特定の位置は、被験者がそれらを検索できる能力に影響を与えませんでした — たとえそれらが遠くに位置していたとしても。^[24] Watson と Humphreys (1997) も同様の調査結果を報告しました。^[26]これらの結果は、視覚インデックス理論の予測と一致しています。FINST は、サブセットが優先順位付けされる可能性のあるメカニズムを提供します。

• スパース分散メモリ

• 典型的な複数オブジェクト追跡タスクの例については、Yale Perception and Cognition 研究所の Web ページを参照してください。