フィッシャー情報

数理統計学において、フィッシャー情報量は、観測可能なランダム変数X が、 Xをモデル化する分布の未知のパラメータθについて持つ情報量を測定する方法です。正式には、スコアの分散、または観測された情報の期待値です。

最尤推定の漸近理論におけるフィッシャー情報の役割は、統計学者のロナルド・フィッシャー卿によって強調され、研究されました（フランシス・イシドロ・エッジワースによるいくつかの初期の結果に続いて）。フィッシャー情報行列は、最尤推定値に関連する共分散行列を計算するために使用されます。また、ワルド検定などの検定統計量の定式化にも使用できます。

ベイズ統計学では、フィッシャー情報量はジェフリーズの規則に従って非情報事前分布を導出する役割を果たします。^[1]また、事前分布が十分に滑らかであれば、事後分布の大サンプル共分散としても現れます（指数族に対してラプラスが予見した、ベルンシュタイン・フォン・ミーゼスの定理として知られる結果）。^{[2]事後分布を}ラプラス近似で近似する場合にも同じ結果が使用され、フィッシャー情報は近似されたガウス分布の共分散として現れます。^[3]

尤度関数がシフト不変性に従う科学的性質（物理的、生物学的など）の統計システムは、最大フィッシャー情報量に従うことが示されている。^[4]最大値のレベルは、システムの制約の性質に依存する。

フィッシャー情報とは、観測可能なランダム変数が 、 の確率が依存する未知のパラメータについて持つ情報量を測定する方法です。を の値で条件付けされたの確率密度関数(または確率質量関数)とします。これは、の既知の値が与えられた場合に、の特定の結果が観測される確率を表します。が の変化に対して鋭くピークになっている場合、データからの「正しい」値を示すことは簡単です。つまり、データがパラメータ について多くの情報を提供しているということです。が平坦で広がっている場合、 の実際の「真の」値を推定するには、サンプルを多数取得する必要があります。これは、 に関する何らかの分散を調べることを示唆しています。 ${\displaystyle X}$ ${\displaystyle \theta}$${\displaystyle X}$${\displaystyle f(X;\theta )}$${\displaystyle X}$${\displaystyle \theta}$${\displaystyle X}$${\displaystyle \theta}$${\displaystyle f}$${\displaystyle \theta}$${\displaystyle \theta}$${\displaystyle X}$${\displaystyle \theta}$${\displaystyle f}$${\displaystyle X}$${\displaystyle \theta}$${\displaystyle \theta}$

正式には、尤度関数の自然対数のに関する偏微分はスコアと呼ばれます。特定の規則性条件下では、が真のパラメータである場合（つまり、が実際に として分布している場合）、真のパラメータ値 で評価されたスコアの期待値（第 1モーメント）は 0 であることが示されます。^[5]${\displaystyle \theta}$${\displaystyle \theta}$${\displaystyle X}$${\displaystyle f(X;\theta )}$${\displaystyle \theta}$

${\displaystyle {\begin{aligned}\operatorname {E} \left[\left.{\frac {\partial }{\partial \theta }}\log f(X;\theta )\,\,\right|\,\,\theta \right]={}&\int _{\mathbb {R} }{\frac {{\frac {\partial }{\partial \theta }}f(x;\theta )}{f(x;\theta )}}f(x;\theta )\,dx\\[6pt]={}&{\frac {\partial }{\partial \theta }}\int _{\mathbb {R} }f(x;\theta )\,dx\\[6pt]={}&{\frac {\partial }{\partial \theta }}1\\[6pt]={}&0.\end{aligned}}}$

フィッシャー情報はスコアの分散として定義される： ^[6]

${\displaystyle {\mathcal {I}}(\theta )=\operatorname {E} \left[\left.\left({\frac {\partial }{\partial \theta }}\log f(X;\theta )\right)^{2}\,\,\right|\,\,\theta \right]=\int _{\mathbb {R} }\left({\frac {\partial }{\partial \theta }}\log f(x;\theta )\right)^{2}f(x;\theta )\,dx,}$

注意してください。高いフィッシャー情報量を持つランダム変数は、スコアの絶対値が高いことが多いことを意味します。ランダム変数X は平均化されているため、フィッシャー情報は特定の観測値の関数ではありません。 ${\displaystyle {\mathcal {I}}(\theta )\geq 0}$

log  f ( x ; θ )がθに関して2回微分可能であり、特定の正則性条件の下では、フィッシャー情報は次のようにも表される^[7]。

${\displaystyle {\mathcal {I}}(\theta )=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log f(X;\theta )\,\,\right|\,\,\theta \right],}$

以来

${\displaystyle {\frac {\partial ^{2}}{\partial \theta ^{2}}}\log f(X;\theta )={\frac {{\frac {\partial ^{2}}{\partial \theta ^{2}}}f(X;\theta )}{f(X;\theta )}}-\left({\frac {{\frac {\partial }{\partial \theta }}f(X;\theta )}{f(X;\theta )}}\right)^{2}={\frac {{\frac {\partial ^{2}}{\partial \theta ^{2}}}f(X;\theta )}{f(X;\theta )}}-\left({\frac {\partial }{\partial \theta }}\log f(X;\theta )\right)^{2}}$

そして

${\displaystyle \operatorname {E} \left[\left.{\frac {{\frac {\partial ^{2}}{\partial \theta ^{2}}}f(X;\theta )}{f(X;\theta )}}\,\,\right|\,\,\theta \right]={\frac {\partial ^{2}}{\partial \theta ^{2}}}\int _{\mathbb {R} }f(x;\theta )\,dx=0.}$

したがって、フィッシャー情報はサポート曲線(対数尤度のグラフ) の曲率として見ることができます。最大尤度推定値の近くでは、フィッシャー情報が低いということは、最大値が「鈍い」ように見える、つまり最大値が浅く、同様の対数尤度を持つ値が多数存在することを示します。逆に、フィッシャー情報が高いということは、最大値が鋭いことを示します。

規則性の条件は以下のとおりです。^[8]

1. f ( X ; θ ) のθに関する偏微分は、ほぼどこにでも存在します。 （この集合がθに依存しない限り、空集合上には存在しない可能性があります。）
2. f ( X ; θ )の積分は、 θに関する積分符号の下で微分することができます。
3. f ( X ; θ )のサポートはθに依存しません。

θがベクトルの場合、 θのすべての成分に対して正則性条件が満たされる必要があります。正則性条件を満たさない密度の例は簡単に見つかります。Uniform(0, θ ) 変数の密度は条件 1 と 3 を満たしません。この場合、定義からフィッシャー情報を計算できますが、通常想定される特性は持ちません。

Xが与えられたときのθの尤度は常に確率f ( X ; θ ) に比例するため、それらの対数は必然的にθに依存しない定数だけ異なり、これらの対数のθに関する導関数は必然的に等しくなります。したがって、フィッシャー情報の定義では、 log f ( X ; θ )の代わりに対数尤度l ( θ ; X )を代入することができます。

値X は、単一の分布から抽出された単一のサンプルを表すことも、分布の集合から抽出されたサンプルの集合を表すこともできます。n 個のサンプルがあり、対応するn個の分布が統計的に独立している場合、フィッシャー情報は、その分布からの単一のサンプルごとに 1 つずつ、単一サンプルのフィッシャー情報値の合計になります。特に、n個の分布が独立しており、同一に分布している場合、フィッシャー情報は、共通分布からの単一のサンプルのフィッシャー情報のn倍になります。言い換えると、母集団からのサイズnのサンプルの iid 観測値のフィッシャー情報は、 nと同じ母集団からの単一の観測値のフィッシャー情報 との積に等しくなります。

クラメール・ラオ境界^{[9] [10]}は、フィッシャー情報量の逆数は、θの不偏推定量の分散の下限値であると述べている。Van Trees（1968）とFrieden（2004）は、フィッシャー情報量の使用を説明する結果で あるクラメール・ラオ境界を導出する次の方法を提供している。

非公式には、まず不偏推定量 を考えることから始めます。数学的には、「不偏」とは、 ${\displaystyle {\hat {\theta }}(X)}$

${\displaystyle \operatorname {E} \left[\left.{\hat {\theta }}(X)-\theta \,\,\right|\,\,\theta \right]=\int \left({\hat {\theta }}(x)-\theta \right)\,f(x;\theta )\,dx=0{\text{ regardless of the value of }}\theta .}$

この式はθに依存せずゼロなので、 θに関する偏微分もゼロになる。積の法則により、この偏微分は

${\displaystyle 0={\frac {\partial }{\partial \theta }}\int \left({\hat {\theta }}(x)-\theta \right)\,f(x;\theta )\,dx=\int \left({\hat {\theta }}(x)-\theta \right){\frac {\partial f}{\partial \theta }}\,dx-\int f\,dx.}$

各θに対して、尤度関数は確率密度関数であるため、 となる。の偏微分に関する連鎖律を用いて を で割って を掛けると、次のことが証明できる。 ${\displaystyle \int f\,dx=1}$${\displaystyle \log f}$${\displaystyle f(x;\theta )}$

${\displaystyle {\frac {\partial f}{\partial \theta }}=f\,{\frac {\partial \log f}{\partial \theta }}.}$

上記の2つの事実を用いると、

${\displaystyle \int \left({\hat {\theta }}-\theta \right)f\,{\frac {\partial \log f}{\partial \theta }}\,dx=1.}$

被積分関数を因数分解すると、

${\displaystyle \int \left(\left({\hat {\theta }}-\theta \right){\sqrt {f}}\right)\left({\sqrt {f}}\,{\frac {\partial \log f}{\partial \theta }}\right)\,dx=1.}$

積分式を二乗すると、コーシー・シュワルツの不等式は次のようになる。

${\displaystyle 1={\biggl (}\int \left[\left({\hat {\theta }}-\theta \right){\sqrt {f}}\right]\cdot \left[{\sqrt {f}}\,{\frac {\partial \log f}{\partial \theta }}\right]\,dx{\biggr )}^{2}\leq \left[\int \left({\hat {\theta }}-\theta \right)^{2}f\,dx\right]\cdot \left[\int \left({\frac {\partial \log f}{\partial \theta }}\right)^{2}f\,dx\right].}$

2番目の括弧内の因子はフィッシャー情報量として定義され、最初の括弧内の因子は推定値の期待平均二乗誤差である。整理すると、不等式は次のようになる。 ${\displaystyle {\hat {\theta }}}$

${\displaystyle \operatorname {Var} \left({\hat {\theta }}\right)\geq {\frac {1}{{\mathcal {I}}\left(\theta \right)}}.}$

言い換えれば、θ を推定できる精度は、基本的に尤度関数のフィッシャー情報によって制限されます。

あるいは、ランダム変数、に対するコーシー・シュワルツ不等式をランダム変数およびに適用し、不偏推定量に対して次の式が成り立つことを観察することで、同じ結論を直接得ることができる。${\displaystyle |\operatorname {Cov} (A,B)|^{2}\leq \operatorname {Var} (A)\operatorname {Var} (B)}$${\displaystyle {\hat {\theta }}(X)}$${\displaystyle \partial _{\theta }\log f(X;\theta )}$$${\displaystyle \operatorname {Cov} [{\hat {\theta }}(X),\partial _{\theta }\log f(X;\theta )]=\int {\hat {\theta }}(x)\,\partial _{\theta }f(x;\theta )\,dx=\partial _{\theta }\operatorname {E} [{\hat {\theta }}]=1.}$$

ベルヌーイ試行は、0 と 1 の 2 つの結果が考えられ、 1 の確率はθです。結果は、偏ったコインを投げて表 (1) が出る確率がθで、裏 (0) が出る確率が1 − θであると考えることができます。

X を分布からの 1 つのサンプルのベルヌーイ試行とします。X に含まれるフィッシャー情報は次のように計算されます。

${\displaystyle {\begin{aligned}{\mathcal {I}}(\theta )&=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log \left(\theta ^{X}(1-\theta )^{1-X}\right)\right|\theta \right]\\[5pt]&=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta ^{2}}}\left(X\log \theta +(1-X)\log(1-\theta )\right)\,\,\right|\,\,\theta \right]\\[5pt]&=\operatorname {E} \left[\left.{\frac {X}{\theta ^{2}}}+{\frac {1-X}{(1-\theta )^{2}}}\,\,\right|\,\,\theta \right]\\[5pt]&={\frac {\theta }{\theta ^{2}}}+{\frac {1-\theta }{(1-\theta )^{2}}}\\[5pt]&={\frac {1}{\theta (1-\theta )}}.\end{aligned}}}$

フィッシャー情報は加法的であるため、 n回の独立したベルヌーイ試行に含まれるフィッシャー情報は、

${\displaystyle {\mathcal {I}}(\theta )={\frac {n}{\theta (1-\theta )}}.}$

がn 回の独立したベルヌーイ試行の可能な結果の 1 つであり、がi番目の試行のj番目の結果である場合、 の確率は次のように与えられます。 ${\displaystyle x_{i}}$${\displaystyle 2^{n}}$${\displaystyle x_{ij}}$${\displaystyle x_{i}}$

${\displaystyle p(x_{i},\theta )=\prod _{j=0}^{n}\theta ^{x_{ij}}(1-\theta )^{x_{ij}}}$

i番目の試行の平均は、 試行の平均の期待値は次のとおりです。 ${\displaystyle \mu _{i}=(1/n)\sum _{j=1}^{n}x_{ij}}$

${\displaystyle E(\mu )=\sum _{x_{i}}\mu _{i}\,p(x_{i},\theta )=\theta }$

ここで、合計はすべての可能な試行結果にわたります。平均の二乗の期待値は次のようになります。 ${\displaystyle 2^{n}}$

${\displaystyle E(\mu ^{2})=\sum _{x_{i}}\mu _{i}^{2}\,p(x_{i},\theta )={\frac {(1+(n-1)\theta )\theta }{n}}}$

したがって平均値の分散は次のようになります。

${\displaystyle E(\mu ^{2})-E(\mu )^{2}=(1/n)\theta (1-\theta )}$

フィッシャー情報量は、 n 回のベルヌーイ試行における成功の平均回数の分散の逆数であることが分かります。これは一般的に当てはまります。この場合、クラメール・ラオ境界は等式です。

別の例として、ある に対して、それぞれ確率 と で、結果が 0 と 1 になるランダム変数を考えてみましょう。私たちの目標は、の観測値から を推定することです。 ${\displaystyle X}$${\displaystyle p_{0}=1-{\sqrt {\theta }}}$${\displaystyle p_{1}={\sqrt {\theta }}}$${\displaystyle \theta \in [0,1]}$${\displaystyle \theta }$${\displaystyle X}$

この場合のフィッシャー情報は、この式は、以下の再パラメータ化の変更式から直接導くこともできる。より一般的には、となる十分に正則な関数に対して、から取り出すフィッシャー情報は、同様に計算されて次のように表される。$${\displaystyle {\begin{aligned}{\mathcal {I}}(\theta )&=\mathrm {E} \left[\left({\frac {\partial }{\partial \theta }}\log f(X;\theta )\right)^{2}{\Bigg |}\,\theta \right]\\&=(1-{\sqrt {\theta }})\left({\frac {-1}{2{\sqrt {\theta }}(1-{\sqrt {\theta }})}}\right)^{2}+{\sqrt {\theta }}\left({\frac {1}{2\theta }}\right)^{2}\\&={\frac {1}{4\theta }}\left({\frac {1}{1-{\sqrt {\theta }}}}+{\frac {1}{\sqrt {\theta }}}\right)\end{aligned}}.}$$${\displaystyle f}$${\displaystyle f(\theta )\in [0,1]}$${\displaystyle \theta }$${\displaystyle X\sim \operatorname {Bern} (f(\theta ))}$$${\displaystyle {\mathcal {I}}(\theta )=f'(\theta )^{2}\left({\frac {1}{1-f(\theta )}}+{\frac {1}{f(\theta )}}\right).}$$

N個のパラメータがあり、 θがN ×1 ベクトルの場合、フィッシャー情報は N × N行列の形をとります。この行列はフィッシャー情報行列（FIM） と呼ばれ、典型的な要素を持ちます。${\displaystyle \theta ={\begin{bmatrix}\theta _{1}&\theta _{2}&\dots &\theta _{N}\end{bmatrix}}^{\textsf {T}},}$

${\displaystyle {\bigl [}{\mathcal {I}}(\theta ){\bigr ]}_{i,j}=\operatorname {E} \left[\left.\left({\frac {\partial }{\partial \theta _{i}}}\log f(X;\theta )\right)\left({\frac {\partial }{\partial \theta _{j}}}\log f(X;\theta )\right)\,\,\right|\,\,\theta \right].}$

FIMはN × N の半正定値行列です。正定値であれば、N次元パラメータ空間上にリーマン計量^[11]を定義します。情報幾何学のトピックでは、これを使用してフィッシャー情報量を微分幾何学に結び付けており、その文脈では、この計量はフィッシャー情報計量として知られています。

一定の規則性条件下では、フィッシャー情報行列は次のようにも書ける。

${\displaystyle {\bigl [}{\mathcal {I}}(\theta ){\bigr ]}_{i,j}=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta _{i}\,\partial \theta _{j}}}\log f(X;\theta )\,\,\right|\,\,\theta \right]\,.}$

結果はいくつかの点で興味深いものです。

• これは相対エントロピーのヘッセ行列として導出できます。
• これは、フィッシャー・ラオ幾何学が正定値である場合に、それを定義するリーマン計量として使用できます。^[12]
• これは、適切な変数変換を行った後、ユークリッド計量から誘導される計量として理解できます。
• 複素数値形式では、これはフビニ・スタディ計量です。
• これはウィルクスの定理の証明の重要な部分であり、尤度原理を必要とせずに最大尤度推定（それが適用される条件の場合）の信頼領域推定を可能にします。
• 上記のFIMの解析計算が困難な場合には、負の対数尤度関数のヘッセ行列の簡単なモンテカルロ推定値の平均をFIMの推定値として形成することが可能である。 ^{[13] [14] [15]}推定値は、負の対数尤度関数の値または負の対数尤度関数の勾配に基づくことができ、負の対数尤度関数のヘッセ行列の解析計算は不要である。

フィッシャー情報行列がブロック対角で、これらの成分が別々のブロックにある場合、2つのパラメータ成分ベクトルθ ₁とθ ₂^{は情報直交していると言えます。 [16]直交パラメータは}、最大尤度推定値が漸近的に無相関であるという意味で扱いやすいです。統計モデルの分析方法を検討する際、モデル作成者は、特に関心のあるパラメータが1次元であるが、迷惑パラメータは任意の次元を持つことができる場合、モデルの直交パラメータ化を探すのに時間を費やすことをお勧めします。^[17]

フィッシャー情報行列がすべてのθに対して正定値である場合、対応する統計モデルは正規であると言われ、そうでない場合、統計モデルは特異であると言われます。^[18]特異統計モデルの例としては、正規混合、二項混合、多項混合、ベイジアンネットワーク、ニューラルネットワーク、ラジアル基底関数、隠れマルコフモデル、確率的文脈自由文法、縮小ランク回帰、ボルツマンマシンなどがあります。

機械学習では、ランダムな現象から隠れた構造を抽出するような統計モデルを考案すると、自然に特異なものとなる。^[19]

N変量多変量正規分布のFIM は特別な形式を持ちます。パラメータのK次元ベクトルを、ランダム正規変数のベクトルをとします。これらのランダム変数の平均値が、共分散行列をとします。すると、 に対して、 FIM の( m , n ) 要素は次のようになります: ^[20]${\displaystyle \,X\sim N\left(\mu (\theta ),\,\Sigma (\theta )\right)}$${\displaystyle \theta ={\begin{bmatrix}\theta _{1}&\dots &\theta _{K}\end{bmatrix}}^{\textsf {T}}}$${\displaystyle X={\begin{bmatrix}X_{1}&\dots &X_{N}\end{bmatrix}}^{\textsf {T}}}$${\displaystyle \,\mu (\theta )={\begin{bmatrix}\mu _{1}(\theta )&\dots &\mu _{N}(\theta )\end{bmatrix}}^{\textsf {T}}}$${\displaystyle \,\Sigma (\theta )}$${\displaystyle 1\leq m,\,n\leq K}$

${\displaystyle {\mathcal {I}}_{m,n}={\frac {\partial \mu ^{\textsf {T}}}{\partial \theta _{m}}}\Sigma ^{-1}{\frac {\partial \mu }{\partial \theta _{n}}}+{\frac {1}{2}}\operatorname {tr} \left(\Sigma ^{-1}{\frac {\partial \Sigma }{\partial \theta _{m}}}\Sigma ^{-1}{\frac {\partial \Sigma }{\partial \theta _{n}}}\right),}$

ここで、 はベクトルの転置を表し、 は正方行列のトレースを表し、次のようになります。 ${\displaystyle (\cdot )^{\textsf {T}}}$${\displaystyle \operatorname {tr} (\cdot )}$

${\displaystyle {\begin{aligned}{\frac {\partial \mu }{\partial \theta _{m}}}&={\begin{bmatrix}{\dfrac {\partial \mu _{1}}{\partial \theta _{m}}}&{\dfrac {\partial \mu _{2}}{\partial \theta _{m}}}&\cdots &{\dfrac {\partial \mu _{N}}{\partial \theta _{m}}}\end{bmatrix}}^{\textsf {T}};\\[8pt]{\dfrac {\partial \Sigma }{\partial \theta _{m}}}&={\begin{bmatrix}{\dfrac {\partial \Sigma _{1,1}}{\partial \theta _{m}}}&{\dfrac {\partial \Sigma _{1,2}}{\partial \theta _{m}}}&\cdots &{\dfrac {\partial \Sigma _{1,N}}{\partial \theta _{m}}}\\[5pt]{\dfrac {\partial \Sigma _{2,1}}{\partial \theta _{m}}}&{\dfrac {\partial \Sigma _{2,2}}{\partial \theta _{m}}}&\cdots &{\dfrac {\partial \Sigma _{2,N}}{\partial \theta _{m}}}\\\vdots &\vdots &\ddots &\vdots \\{\dfrac {\partial \Sigma _{N,1}}{\partial \theta _{m}}}&{\dfrac {\partial \Sigma _{N,2}}{\partial \theta _{m}}}&\cdots &{\dfrac {\partial \Sigma _{N,N}}{\partial \theta _{m}}}\end{bmatrix}}.\end{aligned}}}$

特別ではあるが非常に一般的なケースとして、定数 の場合が挙げられます。${\displaystyle \Sigma (\theta )=\Sigma }$

${\displaystyle {\mathcal {I}}_{m,n}={\frac {\partial \mu ^{\textsf {T}}}{\partial \theta _{m}}}\Sigma ^{-1}{\frac {\partial \mu }{\partial \theta _{n}}}.\ }$

この場合、フィッシャー情報行列は、最小二乗推定理論の正規方程式の係数行列と同一視される可能性があります。

もう一つの特殊なケースは、平均と共分散が2つの異なるベクトルパラメータ、例えばβとθに依存する場合である。これは特に空間データの解析でよく見られ、相関残差を持つ線形モデルがよく使用される。この場合、^[21]

${\displaystyle {\mathcal {I}}(\beta ,\theta )=\operatorname {diag} \left({\mathcal {I}}(\beta ),{\mathcal {I}}(\theta )\right)}$

どこ

${\displaystyle {\begin{aligned}{\mathcal {I}}{(\beta )_{m,n}}&={\frac {\partial \mu ^{\textsf {T}}}{\partial \beta _{m}}}\Sigma ^{-1}{\frac {\partial \mu }{\partial \beta _{n}}},\\[5pt]{\mathcal {I}}{(\theta )_{m,n}}&={\frac {1}{2}}\operatorname {tr} \left(\Sigma ^{-1}{\frac {\partial \Sigma }{\partial \theta _{m}}}{\Sigma ^{-1}}{\frac {\partial \Sigma }{\partial \theta _{n}}}\right)\end{aligned}}}$

エントロピーや相互情報量と同様に、フィッシャー情報量も連鎖律分解を持つ。特に、XとYが共分布するランダム変数である場合、次の式が成り立つ。^[22]

${\displaystyle {\mathcal {I}}_{X,Y}(\theta )={\mathcal {I}}_{X}(\theta )+{\mathcal {I}}_{Y\mid X}(\theta ),}$

ここで、およびは、特定の値 X  =  xが与えられた場合のYの条件付き密度に関して計算された、 に対するYのフィッシャー情報量です。 ${\displaystyle {\mathcal {I}}_{Y\mid X}(\theta )=\operatorname {E} _{X}\left[{\mathcal {I}}_{Y\mid X=x}(\theta )\right]}$${\displaystyle {\mathcal {I}}_{Y\mid X=x}(\theta )}$${\displaystyle \theta }$

特別なケースとして、2 つのランダム変数が独立している場合、2 つのランダム変数によって得られる情報は、各ランダム変数からの情報を個別に合計したものになります。

${\displaystyle {\mathcal {I}}_{X,Y}(\theta )={\mathcal {I}}_{X}(\theta )+{\mathcal {I}}_{Y}(\theta ).}$

その結果、 n 個の 独立した同一分布の観測値のランダム サンプルの情報は、サイズ 1 のサンプルの情報の n倍になります。

すべての、、（無限大の場合もある）に対して有限な凸関数 が与えられると、fダイバージェンスが定義されます。 が で厳密に凸である場合、 において局所的に、フィッシャー情報行列は^[23]の意味で計量です。ここで、 はによってパラメータ化された分布です。つまり、pdf を持つ分布です。 ${\displaystyle f:[0,\infty )\to (-\infty ,\infty ]}$${\displaystyle f(x)}$${\displaystyle x>0}$${\displaystyle f(1)=0}$${\displaystyle f(0)=\lim _{t\to 0^{+}}f(t)}$${\displaystyle D_{f}}$${\displaystyle f}$${\displaystyle 1}$${\displaystyle \theta \in \Theta }$$${\displaystyle (\delta \theta )^{T}I(\theta )(\delta \theta )={\frac {1}{f''(1)}}D_{f}(P_{\theta +\delta \theta }\parallel P_{\theta })}$$${\displaystyle P_{\theta }}$${\displaystyle \theta }$${\displaystyle f(x;\theta )}$

この形式では、フィッシャー情報行列がリーマン計量であり、変数の変更に応じて正しく変化することが明らかです。(再パラメータ化のセクションを参照)

十分な統計量によって提供される情報は、サンプルXの情報と同じです。これは、十分な統計量に対するネイマンの因数分解基準を使用することで確認できます。T ( X )がθに対して十分である場合、

${\displaystyle f(X;\theta )=g(T(X),\theta )h(X)}$

関数gとhに対しては、 h ( X )がθから独立していること から、

${\displaystyle {\frac {\partial }{\partial \theta }}\log \left[f(X;\theta )\right]={\frac {\partial }{\partial \theta }}\log \left[g(T(X);\theta )\right],}$

そして情報の等価性はフィッシャー情報の定義から導かれる。より一般的には、T = t ( X )が統計量である場合、

${\displaystyle {\mathcal {I}}_{T}(\theta )\leq {\mathcal {I}}_{X}(\theta )}$

Tが十分な統計量である場合に限り、 等式となる。^[24]

フィッシャー情報は問題のパラメータ化に依存する。θとη が推定問題の2つのスカラーパラメータ化であり、θがηの連続微分可能な関数である場合、

${\displaystyle {\mathcal {I}}_{\eta }(\eta )={\mathcal {I}}_{\theta }(\theta (\eta ))\left({\frac {d\theta }{d\eta }}\right)^{2}}$

ここで、およびはそれぞれηとθのフィッシャー情報量である。^[25]${\displaystyle {\mathcal {I}}_{\eta }}$${\displaystyle {\mathcal {I}}_{\theta }}$

ベクトルの場合、およびが推定問題をパラメータ化するkベクトルであり、がの連続微分可能関数であるとすると、^[26]${\displaystyle {\boldsymbol {\theta }}}$${\displaystyle {\boldsymbol {\eta }}}$${\displaystyle {\boldsymbol {\theta }}}$${\displaystyle {\boldsymbol {\eta }}}$

${\displaystyle {\mathcal {I}}_{\boldsymbol {\eta }}({\boldsymbol {\eta }})={\boldsymbol {J}}^{\textsf {T}}{\mathcal {I}}_{\boldsymbol {\theta }}({\boldsymbol {\theta }}({\boldsymbol {\eta }})){\boldsymbol {J}}}$

ここで、 k  ×  kヤコビ行列の( i , j )番目の要素は次のように定義される。 ${\displaystyle {\boldsymbol {J}}}$

${\displaystyle J_{ij}={\frac {\partial \theta _{i}}{\partial \eta _{j}}},}$

そして、転置行列は${\displaystyle {\boldsymbol {J}}^{\textsf {T}}}$${\displaystyle {\boldsymbol {J}}.}$

情報幾何学では、これはリーマン多様体上の座標の変更として見られ、曲率の固有の性質は異なるパラメータ化の下では変化しません。一般に、フィッシャー情報行列は熱力学的状態の多様体に対してリーマン計量（より正確にはフィッシャー・ラオ計量）を提供し、相転移の分類のための情報幾何学的複雑さの尺度として使用できます。たとえば、熱力学的計量テンソルのスカラー曲率は相転移点で（そして相転移点でのみ）発散します。^[27]

熱力学の文脈では、フィッシャー情報行列は対応する秩序パラメータの変化率に直接関係している。^[28]特に、このような関係はフィッシャー情報行列の個々の要素の発散を介して2次相転移を識別する。

フィッシャー情報行列は、等周不等式のような不等式で役割を果たします。^[29]与えられたエントロピーを持つすべての確率分布の中で、フィッシャー情報行列のトレースが最も小さいのはガウス分布です。これは、与えられた体積を持つすべての有界集合の中で、球の表面積が最小であるのと同じです。

証明には、密度関数を持つ多変量ランダム変数を取り、位置パラメータを追加して密度族を形成することが含まれる。次に、ミンコフスキー-シュタイナーの公式からの類推により、の「表面積」は次のように定義される。 ${\displaystyle X}$${\displaystyle f}$${\displaystyle \{f(x-\theta )\mid \theta \in \mathbb {R} ^{n}\}}$${\displaystyle X}$

${\displaystyle S(X)=\lim _{\varepsilon \to 0}{\frac {e^{H(X+Z_{\varepsilon })}-e^{H(X)}}{\varepsilon }}}$

ここで、 は共分散行列 を持つガウス変数です。エントロピー累乗は「有効サポート セット」の体積であるため、「表面積」という名前が適切です。 ^[30]有効サポート セットの体積の「導関数」もミンコフスキー-シュタイナーの公式によく似ています。証明の残りの部分では、ブルン-ミンコフスキーの不等式に似たエントロピー累乗不等式を使用します。フィッシャー情報行列のトレースは の因数であることがわかっています。 ${\displaystyle Z_{\varepsilon }}$${\displaystyle \varepsilon I}$${\displaystyle e^{H(X)}}$${\displaystyle S(X)}$${\displaystyle S(X)}$

フィッシャー情報は、最適な実験設計で広く使用されています。推定値分散とフィッシャー情報量の相互性により、分散を最小化することは情報の最大化に対応します。

線形（または線形化）統計モデルに複数のパラメータがある場合、パラメータ推定値の平均はベクトルで、その分散は行列です。分散行列の逆は「情報行列」と呼ばれます。パラメータベクトルの推定値の分散は行列であるため、「分散を最小化する」問題は複雑です。統計理論を使用して、統計学者は実数値の要約統計量を使用して情報行列を圧縮します。実数値関数であるため、これらの「情報基準」を最大化できます。

従来、統計学者は、共分散行列（不偏推定量の）の要約統計量（通常は正の実数値（行列式または行列トレースなど））を考慮して推定量と設計を評価してきました。正の実数を使用すると、いくつかの利点があります。単一のパラメータの推定量が正の分散を持つ場合、分散とフィッシャー情報は両方とも正の実数です。したがって、これらは非負の実数の凸錐のメンバーです（非ゼロのメンバーは同じ錐内に逆数を持ちます）。

いくつかのパラメータについて、共分散行列と情報行列は、ローナー（Löwner）順序のもとで、半順序ベクトル空間における非負定値対称行列の凸錐の要素である。この錐は、行列の加算と反転、および正の実数と行列の乗算に対して閉じている。行列理論とローナー順序の説明は、Pukelsheimに掲載されている。^[31]

従来の最適性基準は、不変理論の意味での、情報行列の不変量です。代数的には、従来の最適性基準は、（フィッシャー）情報行列の固有値の関数です（最適設計を参照）。

ベイズ統計学では、フィッシャー情報量は連続分布パラメータの標準的な非情報事前分布であるジェフリーズ事前分布を計算するために使用されます。 ^[32]

フィッシャー情報は、神経コードの精度の限界を見つけるために使用されてきた。その場合、Xは通常、低次元変数θ （刺激パラメータなど）を表す多くのニューロンの共同応答である。特に、神経応答のノイズにおける相関の役割が研究されてきた。^[33]

フィッシャー情報量は、SARS-CoV-2の再生産数を推定する上で、さまざまなデータソースがどの程度有益であるかを研究するために使用されました。 ^[34]

フィッシャー情報は、フリーデンが物理法則の基礎として提唱した物議を醸す原理において中心的な役割を果たしているが、この主張は論争の的となっている。^[35]

フィッシャー情報は、弾性重み統合^[36]などの機械学習技術で使用され、人工ニューラルネットワークにおける壊滅的な忘却を軽減します。

フィッシャー情報は、2次勾配降下法ネットワークのトレーニングにおける損失関数のヘッセ行列の代替として使用することができます。^[37]

ダ・フォンセカら^[38]は、フィッシャー情報量を用いて、網膜光受容体の 応答関数からマカダム楕円（色識別楕円）をどの程度導出できるかを調査した。

フィッシャー情報量は相対エントロピーと関係がある。^[39] 2つの分布と間の相対エントロピー、またはカルバック・ライブラー情報量は次のように表される。 ${\displaystyle p}$${\displaystyle q}$

${\displaystyle KL(p:q)=\int p(x)\log {\frac {p(x)}{q(x)}}\,dx.}$

ここで、によってパラメータ化された確率分布の族を考えてみましょう。族内の2つの分布間の カルバック・ライブラー距離 は次のように表すことができます。${\displaystyle f(x;\theta )}$${\displaystyle \theta \in \Theta }$

${\displaystyle D(\theta ,\theta ')=KL(p({}\cdot {};\theta ):p({}\cdot {};\theta '))=\int f(x;\theta )\log {\frac {f(x;\theta )}{f(x;\theta ')}}\,dx.}$

が固定されている場合、同じ族の 2 つの分布間の相対エントロピーは で最小になります。に近い場合、前の式を 2 次までの級数に展開できます。 ${\displaystyle \theta }$${\displaystyle \theta '=\theta }$${\displaystyle \theta '}$${\displaystyle \theta }$

${\displaystyle D(\theta ,\theta ')={\frac {1}{2}}(\theta '-\theta )^{\textsf {T}}\left({\frac {\partial ^{2}}{\partial \theta '_{i}\,\partial \theta '_{j}}}D(\theta ,\theta ')\right)_{\theta '=\theta }(\theta '-\theta )+o\left((\theta '-\theta )^{2}\right)}$

しかし、2階微分は次のように書ける。

${\displaystyle \left({\frac {\partial ^{2}}{\partial \theta '_{i}\,\partial \theta '_{j}}}D(\theta ,\theta ')\right)_{\theta '=\theta }=-\int f(x;\theta )\left({\frac {\partial ^{2}}{\partial \theta '_{i}\,\partial \theta '_{j}}}\log(f(x;\theta '))\right)_{\theta '=\theta }\,dx=[{\mathcal {I}}(\theta )]_{i,j}.}$

したがって、フィッシャー情報量は、条件付き分布の相対エントロピーの曲率をそのパラメータに関して表します。

フィッシャー情報は、初期の統計学者、特にF.Y.エッジワースによって議論された。^[40]例えば、サベージ^[41]は次のように述べている。「[フィッシャー情報]において、彼[フィッシャー]はある程度先取りされていた（エッジワース1908–9、特に502、507–8、662、677–8、82–5、および彼[エッジワース]が引用するピアソンとフィロン1898 [...]を含む参考文献）。」初期の歴史的資料は数多くあり^[42]、この初期の研究に関するレビューも数多くある。^{[43] [44] [45]}

• 効率（統計）
• 観測情報
• フィッシャー情報量
• フォーメーションマトリックス
• 情報幾何学
• ジェフリーズ・プライア
• クラメール・ラオ行き
• 最小フィッシャー情報
• 量子フィッシャー情報

情報理論で用いられる他の尺度:

• エントロピー（情報理論）
• カルバック・ライブラー距離
• 自己情報

• Cramér, Harald (1946)。統計の数学的方法。プリンストン数学シリーズ。プリンストン：プリンストン大学出版局。ISBN 0691080046。
• エッジワース、FY （ 1908年6月）。「周波数定数の誤差について」。王立統計学会誌。71 （2）：381–397。doi ：10.2307/2339461。JSTOR  2339461。
• エッジワース、F.Y. ( 1908 年9月)。「周波数定数の誤差の可能性について (続)」。王立統計学会誌。71 (3): 499–512。doi :10.2307/2339293。JSTOR  2339293。
• エッジワース、FY ( 1908 年12月)。「周波数定数の誤差の可能性について (続)」。王立統計学会誌。71 (4): 651–678。doi :10.2307/2339378。JSTOR  2339378。
• フィッシャー、RA （1922-01-01）。「理論統計の数学的基礎について」。ロンドン王立協会哲学論文集、シリーズA。222（594–604 ）：309–368。Bibcode ：1922RSPTA.222..309F。doi ： 10.1098 / rsta.1922.0009。hdl ：2440/15172。
• フリーデン、BR（2004）。フィッシャー情報からの科学：統一。ケンブリッジ大学出版局。ISBN 0-521-00911-1。
• Frieden, B. Roy; Gatenby, Robert A. (2013). 「統計システムに適用されたハーディの公理からの最大フィッシャー情報量の原理」. Physical Review E. 88 ( 4): 042144. arXiv : 1405.0007 . Bibcode : 2013PhRvE..88d2144F. doi :10.1103/PhysRevE.88.042144. PMC  4010149. PMID  24229152.
• Hald, A. (1999 年5月)。「逆確率と最小二乗法との関係における最大尤度の歴史について」。統計科学。14 (2): 214–222。doi : 10.1214/ss/1009212248。JSTOR  2676741 。
• Hald, A. (1998). 1750年から1930年までの数理統計学の歴史。ニューヨーク: Wiley。ISBN 978-0-471-17912-2。
• Lehmann, EL ; Casella, G. (1998).点推定の理論（第2版）。Springer。ISBN 978-0-387-98502-2。
• ル・カム、ルシアン（1986）。統計的意思決定理論における漸近的手法。シュプリンガー・フェアラーク。ISBN 978-0-387-96307-5。
• Pratt, John W. (1976年5 月)。「FY EdgeworthとRA Fisher による最大尤度推定の効率性」。Annals of Statistics。4 ( 3): 501–514。doi : 10.1214/aos/1176343457。JSTOR  2958222 。
• ラオ、C. ラダクリシュナ(1945)。「統計パラメータの推定で得られる情報と精度」。統計のブレークスルー。シュプリンガー統計シリーズ。第 37 巻。pp. 81–91。doi : 10.1007 / 978-1-4612-0919-5_16。ISBN 978-0-387-94037-3. S2CID  117034671。 {{cite book}}:|journal=無視されました (ヘルプ)
• サベージ、LJ (1976年5月)。「 RAフィッシャーの再読について」。Annals of Statistics。4 (3):441–500。doi : 10.1214 /aos/1176343456。JSTOR  2958221 。
• シャービッシュ、マーク J. (1995)。統計理論。ニューヨーク：スプリンガー。ISBN 978-0-387-94546-0。
• スティグラー、SM（1986年）。統計の歴史：1900年以前の不確実性の測定。ハーバード大学出版局。ISBN 978-0-674-40340-6。^{[ページが必要]}
• スティグラー、SM ( 1978)。「フランシス・イシドロ・エッジワース、統計学者」。王立統計学会誌、シリーズA。141 ( 3): 287–322。doi :10.2307/2344804。JSTOR  2344804。
• スティグラー、SM（1999）。表の統計：統計概念と方法の歴史。ハーバード大学出版局。ISBN 978-0-674-83601-3。 ^{[ページが必要]}
• Van Trees, HL (1968)。検出、推定、変調理論、パート I。ニューヨーク: Wiley。ISBN 978-0-471-09517-0。