効率的なコーディング仮説

効率的コーディング仮説は、脳内の感覚コーディングの理論モデルとして、1961年にホレス・バーロウによって提唱されました。^[1] 脳内では、ニューロンは活動電位またはスパイクと呼ばれる電気インパルスを送信して互いに通信します。感覚神経科学の目標の1つは、これらのスパイクの意味を解読し、脳が外界に関する情報をどのように表現し、処理するかを理解することです。

バーロウは、感覚システムのスパイクが感覚情報を効率的に表現するための神経コードを形成するという仮説を立てました。効率的とは、コードが特定の信号を送信するために必要なスパイクの数を最小限に抑えることを意味します。これは、特定の画像を送信するためにさまざまなファイル形式を使用できるインターネットを介した情報送信に多少似ています。ファイル形式が異なると、特定の歪みレベルで同じ画像を表すために必要なビット数が異なり、一部のファイルは他のファイル形式よりも特定のクラスの画像を表すのに適しています。このモデルによると、脳は生物の自然環境を表す視覚情報と音声情報を表すのに適したコードを使用していると考えられています。

バーロウの仮説の発展は、わずか 10 年前にクロード シャノンが提唱した情報理論の影響を受けた。情報理論は、通信システムを分析するための数学的枠組みを提供する。情報、チャネル容量、冗長性などの概念を正式に定義する。バーロウのモデルは、感覚経路を通信チャネルとして扱い、ニューロンのスパイクが感覚信号を表す効率的なコードである。スパイク コードは、表現単位間の冗長性を最小限に抑えることで、利用可能なチャネル容量を最大化することを目的としている。H. バーロウがこのアイデアを最初に提唱したわけではない。1954 年に F. アトニーヴが書いた記事にすでに登場している。^[2]

効率的符号化仮説の重要な予測は、脳内の感覚処理が自然刺激に適応するはずであるということです。視覚（または聴覚）システムのニューロンは、自然界に見られるものを代表する画像（または音）を符号化するように最適化されているはずです。研究者は、自然画像の符号化に最適化されたフィルターは、V1の単純細胞の受容野に似たフィルターにつながることを示しました。^{[3]聴覚領域では、自然音を符号化するためにネットワークを最適化すると、}内耳 にある蝸牛フィルターのインパルス応答に似たフィルターにつながります。^[4]

視覚システムには、ニューロンの数や「神経活動」に必要な代謝エネルギーなどの制約があるため、視覚処理システムは、できるだけ多くの情報を伝達するための効率的な戦略を持たなければなりません。^{[5]情報は、}網膜から視覚皮質に戻る際に圧縮される必要があります。網膜受容体は 10^9 ビット/秒で情報を受信できますが、 1 ビット/秒で伝達する 100 万個の神経節細胞で構成される視神経の伝達容量は 10^6 ビット/秒しかありません。^[5] さらに低下すると、全体の伝達が 40 ビット/秒に制限され、不注意による失明につながります。^[5] したがって、この仮説では、ニューロンは、神経資源を最大化するために、できるだけ効率的に情報をエンコードする必要があるとしています。^[6]たとえば、視覚データは、目立った情報損失なしに最大 20 倍まで圧縮できることが示されています。^[5]

証拠は、私たちの視覚処理システムがボトムアップ選択を行っていることを示唆しています。たとえば、不注意による失明は、視覚経路の早い段階でデータの削除が行われていることを示唆しています。^[5] このボトムアップアプローチにより、予期しない顕著なイベントに迅速に対応することができ、注意選択によって方向付けられることがよくあります。これにより、視覚システムは目標指向的であるという特性も与えられます。^[5]視覚システムは、画像を個別のコンポーネントに分解することで効率的に機能できると多くの人が示唆しています。^[6]さらに、視覚システムは、最小限のリソースを使用してできるだけ多くの情報を伝達するために、入力の冗長性を利用していると言われています。^[5]

Simoncelliと Olshausen は、システム神経科学の発展に関係していると考えられる 3 つの主要な概念を概説しています。

1. 生物は特定のタスクを実行する必要がある
2. ニューロンには能力と限界がある
3. 生物は特定の環境の中にいる。^[7]

効率的コーディング仮説を検証する際に使用される仮定の 1 つは、ニューロンは進化的および発達的に環境内の自然信号に適応する必要があるというものです。^[7]この考え方は、知覚システムが「環境刺激」に反応するときに最も迅速であるということです。視覚システムは、感覚入力の冗長性を排除する必要があります。^[8]

バーロウの仮説の中心にあるのは情報理論であり、これを神経科学に適用すると、効率的にコーディングされた神経系は「それが表す信号の統計と一致するはずである」と主張している。^{[9]したがって、これらの信号を生成する}自然画像の統計を決定できることが重要である。研究者は、輝度コントラスト、色、および画像が時間の経過とともにどのように登録されるかなど、自然画像のさまざまな要素に注目してきた。 ^{[8]彼らはデジタルカメラ、}分光光度計、距離計を介して自然シーンの特性を分析することができる。 ^[10]

研究者は、輝度コントラストが画像内で空間的にどのように分布しているかに注目します。輝度コントラストは、測定可能な距離が近いほど相関が高く、ピクセルが離れるほど相関が低くなります。^[8] 独立成分分析(ICA) は、「与えられた (感覚的な) 入力を独立した出力 (シナプス電流) に線形変換する」ことを試みるアルゴリズムシステムです。 ^[11] ICA は、自然画像のピクセルを非相関化することで冗長性を排除します。 ^[8]したがって、自然画像を構成する個々のコンポーネントは統計的に独立しています。^[8]しかし、研究者は、神経反応が線形であると仮定しているため、自然画像の複雑さを十分に説明できないため、ICA には限界があると考えていました。彼らは、ICA で想定されているにもかかわらず、自然画像のコンポーネントは、コンポーネント間の相関を含む「高次構造」を持っていると主張しています。^[8]代わりに、研究者は、自然画像のコンポーネント間で発生する複雑な相関をより適切に表現する時間独立成分分析(TICA)を開発しました。 ^[8]さらに、KarklinとLewickiによって開発された「階層的共分散モデル」はスパースコーディング手法を拡張し、「物体の位置、スケール、テクスチャ」などの自然画像の追加コンポーネントを表現できます。^[8]

自然光から来る色彩スペクトルだけでなく、「自然素材」から反射される色彩スペクトルも、主成分分析(PCA) で簡単に特徴付けることができます。^[10] 錐体は自然画像から特定の量の光子を吸収するため、研究者は錐体反応を自然画像を説明する方法として使用できます。研究者は、網膜の 3 つのクラスの錐体受容体が自然画像を正確にコード化できること、および色はLGNですでに相関が解除されていることを発見しました。^{[8] [10]}時間もモデル化されています。自然画像は時間の経過とともに変化し、これらの変化を使用して、視覚入力が時間の経過とともにどのように変化するかを確認できます。^[8]

視覚処理における効率的なコーディング（効率的な空間コーディング、カラーコーディング、時間/動きコーディング、ステレオコーディング、およびそれらの組み合わせ）のパデゴロジーレビューは、「視覚を理解する：理論、モデル、およびデータ」という本の第3章にあります。^[12]入力ノイズによって冗長性削減が不十分になった場合に効率的なコーディングがどのように実現されるか、およびさまざまな状況での効率的なコーディング方法がどのように相互に関連している、または互いに異なるかを説明しています。

ニューロンが効率的コーディング仮説に従ってエンコードしている場合、個々のニューロンは出力能力を最大限に発揮しているはずです。 ^[6]この仮説をテストする前に、神経応答と見なされるものを定義する必要があります。^[6] Simoncelliと Olshausen は、効率的なニューロンには最大応答値を与える必要があると示唆しています。これにより、ニューロンが最大レベルを効率的に満たしているかどうかを測定できます。^[7]次に、ニューロンの集団は信号を送信する際に冗長であってはならず、統計的に独立している必要があります。^[6]効率的コーディング仮説が正確である場合、研究者はニューロン応答にスパース性があることに気付くはずです。つまり、一度に少数のニューロンだけが入力に対して発火するはずです。^[8]

1つのアプローチは、自然画像の統計に基づいて初期感覚処理のモデルを設計し、この予測モデルを実際のニューロンが自然画像に実際にどのように反応するかと比較することです。^[6] 2番目のアプローチは、自然環境に反応する神経系を測定し、その結果を分析して、この反応に統計的特性があるかどうかを確認することです。^[6] 3番目のアプローチは、観察された神経計算が効率的である必要かつ十分な条件を導き出し、経験的刺激統計がそれらを満たすかどうかをテストすることです。^[13]

1.予測モデルアプローチ

2012年に土井らが行った研究では、研究者らは、ノイズや生物学的制約を考慮しながら、使用される自然画像の統計に基づいた網膜神経節細胞の予測応答モデルを作成しました。 ^[14]次に、実際の網膜神経節細胞で観察される実際の情報伝達をこの最適モデルと比較して、効率を判定しました。網膜神経節細胞における情報伝達の全体的な効率は約80%であり、「錐体細胞と網膜神経節細胞間の機能的接続は、コーディング効率と一致する独特の空間構造を示している」と結論付けました。^[14]

1998 年にヴァン・ハテレンとルーダーマンが行った研究では、ICA を使用してビデオ シーケンスを分析し、コンピューターが画像の独立成分を分析する方法と、1993 年にデアンジェリスらが猫から得た視覚処理データを比較しました。研究者は、ビデオ シーケンスから得られた独立成分を「信号の基本構成要素」と表現し、独立成分フィルター (ICF) は「各構成要素がどの程度強く存在するか」を測定します。^[15]彼らは、単純な細胞が時間の経過とともに画像の「基礎構造」を選択するように構成されている場合、細胞は独立成分フィルターのように動作するはずだという仮説を立てました。^[15]彼らは、コンピューターによって決定された ICF が、実際のニューロンで観察される「受容野」に似ていることを発見しました。 ^[15]

2.自然画像に対する実際の神経系の反応を分析する

2000年のサイエンス誌の報告で、ウィリアム・E・ヴィンジェとジャック・ギャラントは、非古典的受容野（nCRF）が一次視覚野からの投影を非相関化するという理論を含む、効率的コーディング仮説の要素をテストするために使用された一連の実験の概要を示した。これをテストするために、彼らは自然な視覚条件をシミュレートした「自然な画像と条件の自由な視聴」中に、覚醒したマカクのV1ニューロンから記録を取得した。 ^{[16]研究者は、V1は冗長性が最小限で「代謝的に効率的」な}スパースコードを 使用していると仮説を立てた。^[16]

彼らはまた、これらの自然風景を見ている間に、古典的受容野 (CRF) と nCRF との相互作用がこのスパース符号化のパターンを生み出すという仮説を立てました。これを検証するために、彼らはアイスキャン パスを作成し、CRF の直径の 1 ～ 4 倍のサイズのパッチも抽出しました。彼らは、パッチのサイズに応じて符号化のスパース性が増すことを発見しました。パッチが大きいほど nCRF をより多く取り囲むため、これら 2 つの領域間の相互作用によってスパース符号化が生み出されたことがわかります。さらに、刺激のサイズが大きくなるにつれて、スパース性も増しました。これは、自然画像が視野全体に広がる場合に V1 がスパース符号化を使用することを示唆しています。CRF は、刺激によって活動電位が誘発される場所を囲む円形の領域として定義されました。彼らはまた、ランダムに選択したニューロンのペアによって、nCRF の刺激によって V1 ニューロンからの応答の独立性が高まるかどうかもテストしました。実際、nCRF の刺激によりニューロンの分離がより顕著になることが分かりました。

結論として、VinjeとGallantの実験は、V1が自然画像を見るときにCRFとnCRFの両方を使用してスパースコードを使用することを示し、nCRFはニューロンに明確な脱相関効果を示し、ニューロンが運ぶ独立した情報の量を増やすことで効率を高める可能性があることを示しています。彼らは、細胞が与えられた自然シーンの個々の要素を表し、それがパターン認識に寄与する可能性があると提案しています^[16]

Baddeley らによる別の研究では、ネコの視覚野 V1 ニューロンとサルの下側頭葉 (IT) ニューロンの発火率分布は自然条件下では指数関数的であることが示されており、これは一定の平均発火率で最適な情報伝達が行われることを意味している。その後のサルの IT ニューロンの研究では、指数発火分布でうまく説明できるのは少数であることが判明した。De Polavieja は後に、この矛盾は指数解がノイズのないケースにのみ当てはまるという事実によるものだと主張し、ノイズを考慮に入れることで観測された結果を説明できることを示した。^[6]

1996 年にダン、アティック、リードが行った研究では、視覚経路の初期段階では、入ってくる視覚信号が効率を最適化するために相関がなくなるという仮説を検証するために自然画像が使用されました。この相関のなさは、「ニューロン信号の時間的および空間的パワー スペクトルの「白色化」」として観察できます。^[17] 研究者は、猫の前で自然画像の映画を再生し、マルチ電極アレイを使用して神経信号を記録しました。これは、猫の目を屈折させてからコンタクト レンズを装着することで実現しました。研究者は、 LGNで自然画像が相関がなくなることを発見し、「初期の視覚経路は、進化および/または発達の過程で自然視覚情報を効率的にコード化するために特に適応してきた」と結論付けました。^[17]

効率的コーディング仮説の含意の 1 つは、神経コーディングが感覚信号の統計に依存するという点です。これらの統計は、環境 (たとえば、自然環境の統計) だけでなく、生物の行動 (たとえば、その環境内での移動方法) の関数でもあります。しかし、知覚と行動は、知覚行動サイクルで密接に絡み合っています。たとえば、視覚のプロセスにはさまざまな種類の眼球運動が含まれます。効率的コーディング仮説の拡張であるアクティブ効率的コーディング(AEC) は、効率的コーディングを能動知覚に拡張します。これは、生物学的エージェントが神経コーディングだけでなく、環境の効率的な感覚表現に貢献する行動も最適化すると仮定しています。これに沿って、能動両眼視、能動視覚追跡、調節制御の発達モデルが提案されています。 ^{[18] [19] [20] [21] [22]}

脳が情報を処理するためのリソースは限られており、視覚においてはこれが視覚注意ボトルネックとして現れる。^[23]このボトルネックにより、脳は視覚入力情報のごく一部だけを選択してさらなる処理を行わざるを得なくなり、情報を効率的にコード化するだけではもはや十分ではなくなる。その後の理論であるV1サリエンシー仮説は、一次視覚皮質のボトムアップサリエンシーマップに導かれて、さらなる処理のために視覚入力情報を外因的に注意選択するという理論に基づいて開発された。^[24]

研究者は視覚情報がどのように使用されるかを考慮する必要がある。この仮説は、視覚システムの主な目的である視覚シーンからの情報がどのように使用されるかを説明していない。環境からの画像統計を処理する理由を理解することは、この情報が最終的にどのように処理されるかに関係している可能性があるため、必要と思われる。しかし、一部の研究者は、バーロウの理論における視覚の目的の無関係性を、実験を設計する上での利点と見なすかもしれない。^[6]

いくつかの実験はニューロン間の相関関係を示している。一度に複数のニューロンを考慮すると、記録は「ニューロン間の相関関係、同期、またはその他の統計的依存性を示す」。 ^[6] しかし、これらの実験のほとんどがこれらの反応を引き起こすために自然刺激を使用していないことに注意する必要がある。これは、効率的コーディング仮説に直接当てはまらない可能性がある。なぜなら、この仮説は自然画像の統計に関するものであるためである。^[6] Simoncelli はレビュー記事で、効率的コーディング仮説の冗長性を少し違った方法で解釈できるかもしれないと述べている。彼は、統計的依存性は感覚経路の 1 つの領域だけでなく、「処理の連続的な段階」にわたって軽減できると主張している。^[6]しかし、Hung らによる視覚経路の終わりの記録は、自然なオブジェクトと進行中の活動との強い層依存の相関関係も示している。^[25]彼らは、隣接するニューロンの冗長性（すなわち「多様体」表現）が複雑な形状特徴の学習に有益であり、ネットワークの異方性/不均一性がノイズ冗長性よりもエンコード/デコード効率の強力な予測因子であることを示した。^[26]

観察された冗長性: 網膜神経節細胞の数と一次視覚皮質のニューロンの数を比較すると、網膜に比べて皮質の感覚ニューロンの数が増えていることがわかります。Simoncelliは、批評家の主な主張の 1 つは、感覚経路の上位には感覚情報の処理を担当するニューロンの数が多いため、冗長性が生じるように見えるはずだと指摘しています。^{[6]ただし、ニューロンには異なる}神経コーディングがあるため、この観察は完全には当てはまらない可能性があります。Simoncelli はレビューで、「皮質ニューロンは網膜ニューロンと比較して発火率が低く、異なる形式のコードを使用する可能性がある」と述べています。^[6] 皮質ニューロンは、網膜ニューロンよりも長い期間にわたって情報をエンコードする能力も持っている可能性があります。聴覚システムで行われた実験では、冗長性が減少することが確認されています。^[6]

検証が難しい：情報理論的量の推定には膨大な量のデータが必要であり、実験による検証は現実的ではない。さらに、情報推定量は偏りがあることが知られている。しかし、いくつかの実験的成功例もある。^[6]

測定対象を明確に定義する基準が必要: この批判は、仮説の最も基本的な問題の 1 つを示しています。ここでは、システムの入力と出力の両方の定義について仮定が立てられています。^[6]視覚システムへの入力は完全には定義されていませんが、自然画像のコレクションに含まれると想定されています。仮説をテストするには出力を定義する必要がありますが、ここでも、測定するニューロンの種類、それらが配置されている場所、発火率やスパイク時間などの測定対象として選択される応答の種類の選択に基づいて変動が発生する可能性があります。^[6]

ノイズを考慮する方法：ノイズやシステムに対する他の物理的制約を無視した実験は単純すぎると主張する人もいます。^[6]しかし、一部の研究者はこれらの要素を分析に取り入れ、より洗練されたシステムを作成しています。^[6]

しかし、適切な定式化により、^[27]効率的なコーディングは、上で挙げた問題のいくつかにも対処することができます。たとえば、効率的なコーディングをノイズの多い感覚入力に適用すると、感覚入力の神経表現にある程度の定量化可能な冗長性（神経応答の相関関係として現れる）が発生すると予測されます。^[27]反証可能な理論的予測も行うことができ、^[27]そのうちのいくつかはその後テストされます。^{[28] [29] [30]}

効率的なコーディング仮説の応用例としては、人工内耳の設計が挙げられます。これらの神経補綴装置は、電気刺激によって聴神経を刺激し、聴覚障害のある人や聴覚障害のある人の聴覚の一部を回復させます。人工内耳は成功し、効率的であると考えられており、現在使用されている唯一のものです。効率的なコーディングアルゴリズムで周波数-場所マッピングを使用すると、将来的に人工内耳を使用する際にメリットが得られる可能性があります。^[9]この仮説に基づく設計の変更により、聴覚障害のある患者の音声明瞭度が向上する可能性があります。さまざまなフィルターで処理されたボコーダー音声を使用した研究では、効率的なコードフィルターを使用して処理した場合、蝸牛向性フィルターや線形フィルターを使用して処理した場合よりも、人間が音声を解読する際の精度が高くなることが示されました。[9] これは、ノイズデータの効率的なコーディングが知覚上の利点をもたらし、リスナーにより^{多くの情報を提供したことを示しています。[9]現在}の研究結果を、人工内耳の設計に対する医学的に関連する変更に適用するには、さらなる研究が必要です。^[9]