インフォマックス

インフォマックス、または最大情報保存の原理は、人工ニューラルネットワークやその他の情報処理システムの最適化原理です。これは、指定された一連の制約および/またはノイズプロセスの下で、入力値のセットを出力値のセットにマッピングする関数が、との平均シャノン相互情報量を最大化するように選択または学習されるべきであると規定しています。インフォマックスアルゴリズムは、この最適化プロセスを実行する学習アルゴリズムです。この原理は、1988年にリンスカーによって説明されました。^[1]目的関数はインフォマックス目的関数と呼ばれます。 $x$ $z(x)$ $x$ $z(x)$

InfoMax目的関数を正確に計算することは難しいため、関連する概念として、2つの出力を与える2つのモデルを使用し、それらの間の相互情報量を最大化するというものがあります。この対照的なInfoMax目的関数は、InfoMax目的関数の下限値です。^[2] $z_{1}(x),z_{2}(x)$

インフォマックスは、そのノイズゼロの限界において、1961年にホレス・バーロウが生物学的感覚処理のために提案した冗長性削減の原理と関連しており、 ^[3]アティックとレドリッヒが網膜処理に定量的に適用しました。^[4]

アプリケーション

(Becker and Hinton, 1992) ^[2]は、対照的なInfoMax目標により、ニューラルネットワークがランダムドットステレオグラム(1次元)の表面を識別することを学習できることを示しました。

インフォマックスの応用の一つは、エントロピーを最大化することで独立した信号を見つける独立成分分析アルゴリズムです。インフォマックスベースのICAは、(Bell and Sejnowski、1995)、^[5]および(Nadal and Parga、1995)によって説明されました。 ^[6]

参照

ファストICA

参考文献

^ Linsker R (1988). 「知覚ネットワークにおける自己組織化」. IEEE Computer . 21 (3): 105–17. doi :10.1109/2.36. S2CID 1527671.
^ ab Becker , Suzanna; Hinton , Geoffrey E. (1992 年 1 月) 。「ランダムドットステレオグラムで表面を検出する自己組織化ニューラルネットワーク」。Nature。355 ( 6356): 161–163。doi :10.1038/355161a0。ISSN 1476-4687。PMID 1729650 。
^ Barlow, H. (1961). 「感覚メッセージの変換の背後にある可能性のある原理」 Rosenblith, W. (編)感覚コミュニケーションケンブリッジ MA: MIT 出版 pp. 217–234。
^ Atick JJ、Redlich AN (1992)。「網膜は自然の景色について何を知っているのか?」。ニューラル・コンピュテーション。4 (2): 196–210。doi :10.1162/neco.1992.4.2.196。S2CID 17515861 。
^ Bell AJ、Sejnowski TJ (1995 年 11 月)。「 ブラインド分離とブラインド逆畳み込みに対する情報最大化アプローチ」。Neural Comput . 7 (6): 1129–59。CiteSeerX 10.1.1.36.6605 . doi : 10.1162 /neco.1995.7.6.1129。PMID 7584893。S2CID 1701422 。
^ Nadal JP、Parga N. (1999)。「感覚コーディング：情報の最大化と冗長性の削減」。Burdet、G.、Combe、P.、Parodi、O.（編）神経情報処理。数理生物学および医学の世界科学シリーズ。第7巻。シンガポール：World Scientific。pp. 164–171。

Bell AJ、Sejnowski TJ (1997 年 12 月)。「自然シーンの「独立コンポーネント」はエッジフィルターです」。Vision Res . 37 (23): 3327–38。doi : 10.1016 / S0042-6989 (97)00121-1。PMC 2882863。PMID 9425547。
Linsker R (1997). 「任意の入力分布の情報最大化を可能にするローカル学習ルール」.ニューラルコンピューティング. 9 (8): 1661–65. doi :10.1162/neco.1997.9.8.1661. S2CID 42857188.
Stone, JV (2004)。独立成分分析: チュートリアル入門。ケンブリッジ MA: MIT プレス。ISBN 978-0-262-69315-8。

[1] Linsker R (1988). 「知覚ネットワークにおける自己組織化」. IEEE Computer . 21 (3): 105–17. doi :10.1109/2.36. S2CID 1527671.

[:0-2] Becker , Suzanna; Hinton , Geoffrey E. (1992 年 1 月) 。「ランダムドットステレオグラムで表面を検出する自己組織化ニューラルネットワーク」。Nature。355 ( 6356): 161–163。doi :10.1038/355161a0。ISSN 1476-4687。PMID 1729650 。

[3] Barlow, H. (1961). 「感覚メッセージの変換の背後にある可能性のある原理」 Rosenblith, W. (編)感覚コミュニケーションケンブリッジ MA: MIT 出版 pp. 217–234。

[4] Atick JJ、Redlich AN (1992)。「網膜は自然の景色について何を知っているのか?」。ニューラル・コンピュテーション。4 (2): 196–210。doi :10.1162/neco.1992.4.2.196。S2CID 17515861 。

[5] ^ Bell AJ、Sejnowski TJ (1995 年 11 月)。「 ブラインド分離とブラインド逆畳み込みに対する情報最大化アプローチ」。Neural Comput . 7 (6): 1129–59。CiteSeerX 10.1.1.36.6605 . doi : 10.1162 /neco.1995.7.6.1129。PMID 7584893。S2CID 1701422 。

[6] Nadal JP、Parga N. (1999)。「感覚コーディング：情報の最大化と冗長性の削減」。Burdet、G.、Combe、P.、Parodi、O.（編）神経情報処理。数理生物学および医学の世界科学シリーズ。第7巻。シンガポール：World Scientific。pp. 164–171。