タイル・セン推定量

ノンパラメトリック統計学において、テイル・セン推定量は、平面上の標本点に直線を頑健に 当てはめる方法（単純線形回帰の一種）であり、点のペアを通るすべての直線の傾きの中央値を選択することによって行われます。これは、センの傾き推定量^{[ 1 ] [ 2 ]}、傾き選択^{[ 3 ] [ 4 ]、}単一中央値法^{[ 5 ]}、ケンドール頑健直線当てはめ法^{[ 6 ]}、ケンドール・テイル頑健直線^{[ 7 ]}とも呼ばれています。この方法は、1950年と1968年にそれぞれこの方法に関する論文を発表したアンリ・テイルとプラナブ・K・セン^{[ 8 ]} 、およびケンドールのタウ順位相関係数との関連性からモーリス・ケンドール^{[ 9 ]}にちなんで名付けられました。

タイル・セン回帰は、通常の最小二乗回帰に比べていくつかの利点があります。外れ値の影響を受けにくいです。残差が正規分布していない場合でも有意性検定に使用できます。^{[ 10 ]}歪んだデータや不均一分散データに対しては、非ロバストな単純線形回帰（最小二乗法）よりも大幅に精度が高く、統計的検出力の点では、正規分布データに対しても最小二乗法と遜色ありません。^{[ 11 ]}「線形傾向を推定するための最も人気のあるノンパラメトリック手法」と呼ばれています。^{[ 2 ]}パラメータを効率的に計算するための高速アルゴリズムがあります。

Theil (1950)の定義によれば、2 次元点の集合( x _i , y _i )の Theil–Sen 推定量は、すべてのサンプル点のペアによって決定される傾き( y _j − y _i )/( x _j − x _i )の中央値mです。Sen (1968)はこの定義を拡張し、2 つのデータ点が同じx座標を持つ場合を扱いました。 Sen の定義では、異なるx座標を持つ点のペアからのみ定義される傾きの中央値を取ります。^{[ 8 ]}

傾きmが決定されたら、サンプル点から直線を求めることができます。これは、 y切片bを値y _i − mx _iの中央値に設定することによって行われます。近似直線は、傾き切片形式の係数mとbを持つ直線y = mx + bです。^{[ 12 ]} Sen が指摘したように、この傾きの選択により、値x _iとそれに対応する残差y _i − mx _i − bを比較する際に使用されるケンドールのタウ順位相関係数がほぼゼロになります。直感的に、これは近似直線がデータ点の上または下をどれだけ通過するかは、その点がデータセットの左側にあるか右側にあるかとは相関がないことを示唆しています。b の選択はケンドール係数には影響しませんが、中央値残差がほぼゼロになります。つまり、近似直線は同数の点の上と下を通過します。^{[ 9 ]}

傾き推定値の信頼区間は、点のペアによって決定される直線の傾きの中央 95% を含む区間として決定できます^{[ 13 ]。}また、点のペアをサンプリングし、サンプリングされた傾きの 95% 区間を決定することで、迅速に推定できます。シミュレーションによると、正確な信頼区間を決定するには、約 600 組のサンプルで十分です。^{[ 11 ]}

Theil–Sen 推定量の変形であるSiegel (1982)の繰り返し中央値回帰は、各サンプル点( x _i , y _i )について、その点を通る直線の傾き( y _j − y _i )/( x _j − x _i )の中央値m _{i を}決定し、次にこれらの中央値の中央値として全体の推定量を決定します。これは Theil–Sen 推定量よりも多くの外れ値を許容できますが、これを効率的に計算するための既知のアルゴリズムはより複雑で実用的ではありません。^{[ 14 ]}

別のバリアントでは、サンプル点をx座標の順位でペアにします。座標が最小の点は中央値より上の最初の点とペアになり、2番目に小さい点は中央値より上の次の点とペアになり、以下同様です。次に、これらの点のペアによって決定される直線の傾きの中央値を計算し、Theil–Sen推定量よりも大幅に少ないペアを調べることで速度を向上させます。^{[ 15 ]}

重み付き中央値に基づくテイル・セン推定量のバリエーションも研究されており、 x座標の差が大きいサンプルペアほど正確な傾きを持つ可能性が高く、したがってより高い重みが与えられるべきであるという原理に基づいている。^{[ 16 ]}

季節データの場合、同じ月または同じ季節に属するサンプルポイントのペアのみを考慮し、このより制限されたペアのセットによって決定される直線の傾きの中央値を求めることで、データの季節変動を平滑化することが適切である可能性があります。^{[ 17 ]}

タイル・セン推定量は、単純線形回帰における真の傾きの不偏推定量である。^{[ 18 ]}応答誤差の多くの分布において、この推定量は最小二乗推定に比べて高い漸近効率を持つ。^{[ 19 ]}効率の低い推定量は、効率的な不偏推定量と同じ標本分散を達成するために、より多くの独立した観測値を必要とする。

タイル・セン推定量は、外れ値に対する感度がはるかに低いため、最小二乗推定量よりも頑健です。ブレークダウンポイントは

${\displaystyle 1-{\frac {1}{\sqrt {2}}}\approx 29.3\%,}$

つまり、入力データポイントの最大 29.3% が任意に破損しても精度が低下しないということです。^{[ 12 ]}ただし、この手法の高次元一般化ではブレークダウンポイントは低下します。^{[ 20 ]}別の堅牢な直線近似アルゴリズムであるSiegel の繰り返し中央値推定器では、より高いブレークダウンポイントである 50% が成り立ちます。 ^{[ 12 ]}

タイル・セン推定量は、応答変数のあらゆる線形変換に対して同変である。つまり、データを先に変換してから直線を当てはめる場合と、先に直線を当てはめてから同じように変換する場合のどちらでも同じ結果が得られる。^{[ 21 ]}ただし、予測変数と応答変数の両方のアフィン変換に対しては同変ではない。^{[ 20 ]}

n個のサンプル点の集合の中央値勾配は、点のペアを通るO ( n ² )本の直線をすべて計算し、線形時間の中央値探索アルゴリズムを適用することで正確に計算できます。あるいは、点のペアをサンプリングすることで推定することもできます。この問題は、射影双対性の下では、直線の配置において、すべての交点の中で中央値のx座標を持つ交点を見つける問題と同等です。 ^{[ 22 ]}

計算幾何学において、勾配選択を正確に、かつ総当たり式の2次時間アルゴリズムよりも効率的に行う問題は、これまで広く研究されてきた。Theil–Sen推定量をO ( n log n )時間で正確に計算する方法はいくつか知られており、決定論的^{[ 3 ]}またはランダム化アルゴリズム^{[ 4 ]}を用いる方法がある。Siegelの繰り返し中央値推定量も同じ時間で構築できる^{[ 23 ]} 。入力座標が整数であり、整数に対するビット演算が定数時間で行われる計算モデルでは、Theil–Sen推定量はさらに高速に、ランダム化期待時間で構築できる。${\displaystyle O(n{\sqrt {\log n}})}$[ ^{24 ]​}

テイル・セン推定量と同じブレークダウンポイントを持つ、ほぼ中央値ランクの傾き推定量は、εネットに基づくアルゴリズムを使用してデータストリームモデル（サンプルポイントがデータセット全体を表すのに十分な永続ストレージを持たないアルゴリズムによって1つずつ処理される）で維持することができる。^{[ 25 ]}

テイル・セン推定は、打ち切り回帰モデルを処理できるため、天文学に適用されています。^{[ 29 ]}生物物理学では、フェルナンデスとルブラン（2005）は、「計算の単純さ、信頼区間の分析的推定、外れ値に対する堅牢性、残差に関する検証可能な仮定、および測定誤差に関する事前情報の制限」のため、反射率データからの葉面積の推定などのリモートセンシングアプリケーションでの使用を提案しています。[ 30 ^{]水質など}の季節的な環境データの測定には、歪んだデータが存在する場合の精度が高いため、最小二乗推定よりも好ましいものとして、季節調整されたテイル・セン推定量の変種が提案されています。^{[ 17 ]}コンピュータサイエンスでは、テイル・セン法はソフトウェアの老化の傾向を推定するために使用されています。^{[ 31 ]}気象学と気候学では、風の発生と速度の長期的な傾向を推定するために使用されています。^{[ 32 ]}

• 中央値-中央値法
• 回帰希釈法は、推定トレンド勾配に影響を与える別の問題である。