不変推定量

統計学において、不変推定量の概念は、同じ量に対する異なる推定量の特性を比較するために使用できる基準です。これは、推定量は特定の直感的に魅力的な性質を持つべきであるという考えを形式化する方法です。厳密に言えば、「不変」とは、測定値とパラメータの両方が互換性のある方法で変換された場合に推定値自体は変更されないことを意味しますが、その意味は、そのような変換に伴って推定値が適切に変更されることを許容するように拡張されています。^[1]等変推定量という用語は、データセットとパラメータ化の変更に応じて推定量が変化する関係の正確な説明を含む正式な数学的コンテキストで使用されます。これは、より一般的な数学での 「等変」の使用に対応します。

統計的推論では、推定理論へのアプローチがいくつかあり、それらを使用して、それらのアプローチに従ってどの推定量を使用するかをすぐに決定できます。たとえば、ベイズ推論のアイデアは、ベイズ推定量に直接つながります。同様に、古典的な統計的推論の理論は、どの推定量を使用するかについて強力な結論につながることがあります。ただし、これらの理論の有用性は、完全に規定された統計モデルがあることに依存し、推定量を決定するための適切な損失関数があることにも依存する場合があります。したがって、ベイズ分析を実行して関連するパラメーターの事後分布を導くことはできますが、特定の効用または損失関数の使用は不明確である可能性があります。その後、不変性の考え方を事後分布を要約するタスクに適用できます。他の場合には、統計モデルが完全に定義されていない状態で統計分析が実行されるか、検討されているモデルファミリーがそのような処理に適していないために古典的な統計的推論理論を容易に適用できません。一般理論が推定量を規定しない場合に加えて、推定量の不変性の概念は、推定量の適用を単純化するため、または推定量を堅牢にするために、代替形式の推定量を求めるときに適用できます。

不変性の概念は、推定量を選択する方法として単独で使用されることもありますが、これは必ずしも決定的なものではありません。たとえば、不変性の要件は、推定量が平均不偏であるという要件と矛盾する場合があります。一方、中央値不偏性の基準は推定量の標本分布に基づいて定義されるため、多くの変換に対して不変です。

不変性の概念の 1 つの用途は、推定量のクラスまたはファミリが提案され、その中から特定の定式化を選択する必要があることです。 1 つの手順は、関連する不変性プロパティを課し、次にこのクラス内で最良のプロパティを持つ定式化を見つけることです。これは、最適な不変推定量と呼ばれるものにつながります。

不変推定量を扱う際に考慮すると便利な変換の種類がいくつかあります。それぞれの変換により、特定の種類の変換に対して不変な推定量のクラスが生成されます。

• シフト不変性: 概念的には、位置パラメータの推定値は、データ値の単純なシフトに対して不変である必要があります。すべてのデータ値が指定された量だけ増加した場合、推定値も同じ量だけ変化する必要があります。加重平均を使用した推定を検討する場合、この不変性の要件は、重みの合計が 1 になる必要があることを直ちに意味します。同じ結果は、偏りのないことの要件から得られることがよくありますが、「不変性」の使用では平均値が存在する必要はなく、確率分布はまったく使用されません。
• スケール不変性: 推定スケール パラメータの不変性に関するこのトピックは、集合的な特性を持つシステムの動作に関する、より一般的なスケール不変性(物理学)と混同しないように注意してください 。
• パラメータ変換不変性: ここで、変換はパラメータのみに適用されます。ここでの概念は、パラメータ θ を含むデータとモデルから、パラメータ φ を使用したモデルで同じデータから行われる推論と本質的に同じ推論が行われるべきであるというものです。ここで、φ は θ の 1 対 1 変換で、φ = h (θ) です。このタイプの不変性によると、変換不変推定量からの結果も φ = h (θ)によって関連付けられるはずです。最大尤度推定量は、変換が単調である場合にこの特性を持ちます。推定量の漸近特性は不変かもしれませんが、小サンプル特性は異なる可能性があり、特定の分布を導出する必要があります。^[2]
• 順列不変性: データ値のセットが、独立かつ同一に分布する ランダム変数からの結果であるという統計モデルによって表されることができる場合、共通分布の任意のプロパティの推定値は順列不変性を持つ必要があるという要件を課すことは合理的です。具体的には、データ値のセットの関数として考慮される推定値は、データセット内でデータの項目が入れ替わっても変更されない必要があります。

加重平均を使用して、独立した同一に分布するデータセットから位置パラメータを推定するための順列不変性と位置不変性の組み合わせは、重みが同一で合計が 1 になる必要があることを意味します。もちろん、加重平均以外の推定値が望ましい場合もあります。

この設定では、未知のパラメータに関する情報を含む測定値のセットが与えられます。測定値は、パラメータベクトルに依存する確率密度関数を持つベクトルランダム変数としてモデル化されます。 ${\displaystyle x}$${\displaystyle \theta }$${\displaystyle x}$ ${\displaystyle f(x|\theta )}$${\displaystyle \theta }$

問題は、与えられたを推定することです。 で表される推定値は、測定値の関数であり、集合 に属します。結果の品質は、リスク関数を決定する損失関数によって定義されます。 、、の可能な値の集合は、それぞれ、 、 で表されます。 ${\displaystyle \theta }$${\displaystyle x}$${\displaystyle a}$${\displaystyle A}$ ${\displaystyle L=L(a,\theta )}$ ${\displaystyle R=R(a,\theta )=E[L(a,\theta )|\theta ]}$${\displaystyle x}$${\displaystyle \theta }$${\displaystyle a}$${\displaystyle X}$${\displaystyle \Theta }$${\displaystyle A}$

統計的分類では、新しいデータ項目にクラスを割り当てる規則は、特別なタイプの推定値であると考えることができます。パターン認識のための事前知識を定式化する際に、不変性に関するさまざまな考慮事項を考慮に入れることができます。

不変推定量とは、次の2つの規則に従う推定量である。^{[引用が必要]}

1. 有理不変性の原理：決定問題で取られる行動は、使用される測定の変換に依存してはならない。
2. 不変性原理: 2 つの意思決定問題が同じ形式構造 ( 、、およびに関して) を持つ場合、各問題で同じ意思決定ルールを使用する必要があります。${\displaystyle X}$${\displaystyle \Theta }$${\displaystyle f(x|\theta )}$${\displaystyle L}$

不変推定量または同変推定量を正式に定義するには、まず変換群に関連するいくつかの定義が必要です。 が可能なデータサンプルの集合を表すものとします。の変換群はと表記され、 から への (測定可能な) 1:1 および への変換の集合であり、次の条件を満たします。 ${\displaystyle X}$${\displaystyle X}$${\displaystyle G}$${\displaystyle X}$

1. もし 、そして${\displaystyle g_{1}\in G}$${\displaystyle g_{2}\in G}$${\displaystyle g_{1}g_{2}\in G\,}$
2. ならば、 （つまり、各変換にはグループ内に逆変換が存在します。）${\displaystyle g\in G}$${\displaystyle g^{-1}\in G}$${\displaystyle g^{-1}(g(x))=x\,.}$
3. ${\displaystyle e\in G}$（つまり、アイデンティティ変換がある）${\displaystyle e(x)=x\,}$

のデータセットとは、何らかの に対してである場合に同等です。同等の点はすべて同値クラスを形成します。このような同値クラスは軌道( )と呼ばれます。軌道は集合 です。 が単一の軌道で構成されている場合、 は推移的であると言われます。 ${\displaystyle x_{1}}$${\displaystyle x_{2}}$${\displaystyle X}$${\displaystyle x_{1}=g(x_{2})}$${\displaystyle g\in G}$${\displaystyle X}$${\displaystyle x_{0}}$${\displaystyle X(x_{0})}$${\displaystyle X(x_{0})=\{g(x_{0}):g\in G\}}$${\displaystyle X}$${\displaystyle g}$

密度族が群に対して不変であるとは、任意の と に対して、密度 を持つ唯一の が存在するときを言います。は と表記されます。 ${\displaystyle F}$${\displaystyle G}$${\displaystyle g\in G}$${\displaystyle \theta \in \Theta }$${\displaystyle \theta ^{*}\in \Theta }$${\displaystyle Y=g(x)}$${\displaystyle f(y|\theta ^{*})}$${\displaystyle \theta ^{*}}$${\displaystyle {\bar {g}}(\theta )}$

が群の下で不変である場合、損失関数は、任意の に対して であり、すべての に対してとなるような が存在する場合、の下で不変であると言われます。変換された値は で表されます。 ${\displaystyle F}$${\displaystyle G}$${\displaystyle L(\theta ,a)}$${\displaystyle G}$${\displaystyle g\in G}$${\displaystyle a\in A}$${\displaystyle a^{*}\in A}$${\displaystyle L(\theta ,a)=L({\bar {g}}(\theta ),a^{*})}$${\displaystyle \theta \in \Theta }$${\displaystyle a^{*}}$${\displaystyle {\tilde {g}}(a)}$

上記において、は から自身への変換の群であり、 は から自身へ の変換の群です。${\displaystyle {\bar {G}}=\{{\bar {g}}:g\in G\}}$${\displaystyle \Theta }$${\displaystyle {\tilde {G}}=\{{\tilde {g}}:g\in G\}}$${\displaystyle A}$

上記で定義した3 つのグループが存在する場合、推定問題は不変 (同変) です。 ${\displaystyle G}$${\displaystyle G,{\bar {G}},{\tilde {G}}}$

に対して不変な推定問題の場合、すべてのおよびに対して、推定量はに対して不変推定量である。 ${\displaystyle G}$${\displaystyle \delta (x)}$${\displaystyle G}$${\displaystyle x\in X}$${\displaystyle g\in G}$

${\displaystyle \delta (g(x))={\tilde {g}}(\delta (x)).}$

1. 不変推定量 のリスク関数はの軌道上で一定です。すべてのおよびに対して同様に当てはまります。${\displaystyle \delta }$${\displaystyle \Theta }$${\displaystyle R(\theta ,\delta )=R({\bar {g}}(\theta ),\delta )}$${\displaystyle \theta \in \Theta }$${\displaystyle {\bar {g}}\in {\bar {G}}}$
2. 推移的な不変推定量のリスク関数は一定です。${\displaystyle {\bar {g}}}$

特定の問題に対して、リスクが最も低い不変推定量は「最良不変推定量」と呼ばれます。最良不変推定量は、常に達成できるとは限りません。最良不変推定量を達成できる特別なケースは、が推移的である場合です。 ${\displaystyle {\bar {g}}}$

の密度がの形である場合、 は位置パラメータであると仮定します。およびの場合、問題は の下で不変です。この場合の不変推定量は、次の条件を満たす必要があります。 ${\displaystyle \theta }$${\displaystyle X}$${\displaystyle f(x-\theta )}$${\displaystyle \Theta =A=\mathbb {R} ^{1}}$${\displaystyle L=L(a-\theta )}$${\displaystyle g={\bar {g}}={\tilde {g}}=\{g_{c}:g_{c}(x)=x+c,c\in \mathbb {R} \}}$

${\displaystyle \delta (x+c)=\delta (x)+c,{\text{ for all }}c\in \mathbb {R} ,}$

したがって、形式は( ) です。は に対して推移的なので、リスクは によって変化しません。つまり、 です。 最も優れた不変推定量は、リスクを最小に する推定量です。${\displaystyle \delta (x)=x+K}$${\displaystyle K\in \mathbb {R} }$${\displaystyle {\bar {g}}}$${\displaystyle \Theta }$${\displaystyle \theta }$${\displaystyle R(\theta ,\delta )=R(0,\delta )=\operatorname {E} [L(X+K)|\theta =0]}$${\displaystyle R(\theta ,\delta )}$

Lが二乗誤差の場合${\displaystyle \delta (x)=x-\operatorname {E} [X|\theta =0].}$

推定問題は、密度 を持つ、θが推定されるパラメータ、損失関数が であることです。この問題は、次の (加法的な) 変換群に対して不変です。 ${\displaystyle X=(X_{1},\dots ,X_{n})}$${\displaystyle f(x_{1}-\theta ,\dots ,x_{n}-\theta )}$${\displaystyle L(|a-\theta |)}$

${\displaystyle G=\{g_{c}:g_{c}(x)=(x_{1}+c,\dots ,x_{n}+c),c\in \mathbb {R} ^{1}\},}$

${\displaystyle {\bar {G}}=\{g_{c}:g_{c}(\theta )=\theta +c,c\in \mathbb {R} ^{1}\},}$

${\displaystyle {\tilde {G}}=\{g_{c}:g_{c}(a)=a+c,c\in \mathbb {R} ^{1}\}.}$

最も良い不変推定量は、以下を最小化するものである。 ${\displaystyle \delta (x)}$

${\displaystyle {\frac {\int _{-\infty }^{\infty }L(\delta (x)-\theta )f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }{\int _{-\infty }^{\infty }f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }},}$

これはピットマンの推定量（1939）です。

二乗誤差損失の場合、結果は次のようになる。

${\displaystyle \delta (x)={\frac {\int _{-\infty }^{\infty }\theta f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }{\int _{-\infty }^{\infty }f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }}.}$

（つまり、独立した単位分散成分を持つ 多変量正規分布）の場合、${\displaystyle x\sim N(\theta 1_{n},I)\,\!}$

${\displaystyle \delta _{\text{Pitman}}=\delta _{ML}={\frac {\sum {x_{i}}}{n}}.}$

（独立成分が尺度パラメータσのコーシー分布に従う） 場合、。しかし、結果は ${\displaystyle x\sim C(\theta 1_{n},I\sigma ^{2})\,\!}$${\displaystyle \delta _{\text{Pitman}}\neq \delta _{ML}}$

${\displaystyle \delta _{\text{Pitman}}=\sum _{k=1}^{n}{x_{k}\left[{\frac {{\text{Re}}\{w_{k}\}}{\sum _{m=1}^{n}{{\text{Re}}\{w_{k}\}}}}\right]},\qquad n>1,}$

と

${\displaystyle w_{k}=\prod _{j\neq k}\left[{\frac {1}{(x_{k}-x_{j})^{2}+4\sigma ^{2}}}\right]\left[1-{\frac {2\sigma }{(x_{k}-x_{j})}}i\right].}$

• バーガー、ジェームズ・O. (1985)。統計的意思決定理論とベイズ分析（第2版）。ニューヨーク：シュプリンガー・フェアラーク。ISBN 0-387-96098-8. MR  0804611。^{[ページが必要]}
• Freue , Gabriela V. Cohen (2007). 「コーシー位置パラメータのピットマン推定量」。統計計画および推論ジャーナル。137 (6): 1900–1913。doi :10.1016/j.jspi.2006.05.002。
• Pitman, EJG (1939). 「任意の形式の連続集団の位置とスケールパラメータの推定」Biometrika . 30 (3/4): 391–421. doi :10.1093/biomet/30.3-4.391. JSTOR  2332656.
• Pitman, EJG (1939). 「位置とスケールパラメータに関する仮説のテスト」Biometrika . 31 (1/2): 200–215. doi :10.1093/biomet/31.1-2.200. JSTOR  2334983.