Loading article…
統計学では、縮小とは標本変動の影響の減少を指します。回帰分析では、適合した関係は、適合に使用したデータセットよりも新しいデータセットでは性能が低下するように見えます。[ 1 ]特に、決定係数の値が「縮小」します。この考え方は、過剰適合と、さらに、新しい説明項が偶然にモデルを改善する可能性を制御するなど、さらなる標本抽出の主観的影響を補償するために決定係数で行われる標準的な調整とは別個のものです。つまり、調整式自体が「縮小」をもたらします。しかし、調整式は人為的な縮小をもたらします。
収縮推定量とは、明示的または暗黙的に収縮効果を取り入れた推定量のことです。大まかに言えば、これは、単純な推定値または生の推定値を他の情報と組み合わせることで改善することを意味します。この用語は、改善された推定値が、生の推定値よりも「他の情報」によって提供される値に近づくという考え方に関連しています。この意味で、収縮は不適切推論問題を正則化する ために用いられます。
収縮は、ベイズ推論とペナルティ付き尤度推論では暗黙的に考慮され、ジェームズ・スタイン型推論では明示的に考慮される。一方、単純な最尤推定法や最小二乗推定法では収縮効果は考慮されないが、収縮推定スキーム内で使用することは可能である。
多くの標準的な推定量は、平均二乗誤差（MSE）の観点から、ゼロ（またはその他の有限定数）に近づけることで改善できます。言い換えれば、信頼区間の幅を縮小することによって得られる推定値の改善は、推定値をゼロに近づけることによって生じる推定値の悪化を上回る可能性があります（バイアス・バリアンスのトレードオフを参照）。
生の推定値の期待値がゼロではないと仮定し、生の推定値に特定のパラメータを乗じることで得られる他の推定値を検討します。このパラメータの値は、新しい推定値の平均二乗誤差（MSE）を最小化するように指定できます。このパラメータ値の場合、新しい推定値は生の推定値よりもMSEが小さくなり、したがって改善されます。ここでの効果として、不偏な生の推定値が改善された偏りのある推定値に変換される可能性があります。
例として、標本分散による母分散の推定が挙げられます。標本サイズがnの場合、通常の式 (ベッセルの補正) で除数n − 1 を使用すると不偏推定量が得られますが、他の除数ではバイアスが増加する代わりに MSE が低くなります。除数 (収縮の重み付け) の最適な選択は、平均二乗誤差: 分散で説明されているように、母集団の過剰尖度に依存しますが、常に不偏推定量よりも (MSE の観点から) 優れた結果を得ることができます。正規分布の場合、除数n + 1 を使用すると、平均二乗誤差が最小になります。
収縮推定を伴う回帰分析の種類には、リッジ回帰（通常の最小二乗回帰から得られた係数に定数（収縮係数）を乗じることでゼロに近づける）や、ラッソ回帰（定数を加えたり引いたりすることで係数をゼロに近づける）などがあります。
回帰分析において、説明変数が多数存在する可能性がある場合の収縮推定量の使用については、Copasによって説明されている。[ 2 ]ここでは、推定された回帰係数の値がゼロに向かって収縮され、新しいデータに適用されたモデルからの予測値の平均二乗誤差が減少する効果がある。Copasによる後の論文[ 3 ]では、二値の説明変数に基づいて二値応答を予測するという問題の状況で収縮を適用している。
HausserとStrimmerは「James-Stein型の収縮推定量を開発し、統計的にも計算的にも非常に効率的な手順を実現しました。その単純さにもかかわらず、深刻なアンダーサンプリングの場合でさえ、さまざまなサンプリングシナリオとデータ生成モデルにわたって、他の8つのエントロピー推定手順よりも優れた性能を発揮します。…この方法は完全に解析的であるため、計算コストが低くなります。さらに、この手順はエントロピーとセル頻度の推定値を同時に提供します。提案されたエントロピーと相互情報の収縮推定量、および調査された他のすべてのエントロピー推定量は、R（R Development Core Team、2008）で実装されています。対応するRパッケージ「entropy」は、GNU General Public Licenseの下でRアーカイブCRANに登録されています。」[ 4 ] [ 5 ]