検閲（統計）

統計学において、検閲とは、測定値または観測値が部分的にしか分からない状態を指す。

例えば、ある薬剤が死亡率に及ぼす影響を測定する研究が行われたとします。そのような研究では、被験者の死亡時の年齢が少なくとも75歳（それ以上の場合もある）であることが分かっているかもしれません。これは、被験者が75歳で研究から離脱した場合、あるいは被験者が現在75歳で生存している場合に起こり得ます。

検閲は、測定器の測定範囲外の値が発生した場合にも発生します。たとえば、体重計は140kgまでしか測定できず、それを超えると0に戻ってカウントアップを続ける場合があります。160kgの人がこの体重計で体重を測られた場合、観察者はその人の体重が20 mod 140kgであることしかわかりません（160kgの他に、200kg、300kg、440kgなどもあり得ます）。

ある変数の観測値が部分的にしか分かっていない打ち切りデータの問題は、ある変数の観測値が全く分からない欠損データの問題と関連している。

検閲は、関連する概念である切り捨てと混同してはならない。検閲では、観測結果は適用される正確な値を知るか、値が区間内にあることを知るかのいずれかとなる。一方、切り捨てでは、観測結果は特定の範囲外の値にはならない。つまり、母集団において範囲外の値は観測されないか、観測されたとしても記録されない。統計学において、切り捨ては丸めとは異なることに注意されたい。

種類

左側打ち切り–データポイントが特定の値より小さいが、その差がどれくらいかは不明である。
区間打ち切り–データポイントが2つの値の間の区間上のどこかに位置する場合。
右側検閲–あるデータポイントが特定の値を超えているが、その差がどれくらいかは不明である。
タイプIの打ち切りとは、実験において被験者または項目の数が固定されており、実験があらかじめ決められた時点で終了する場合に発生するもので、その時点で残っている被験者は右側打ち切りとなる。
タイプIIの打ち切りは、実験において被験者または項目の数が固定されており、あらかじめ定められた数の被験者または項目が失敗したと判断された時点で実験が中止される場合に発生します。この場合、残りの被験者は右側打ち切りとなります。
ランダム（または非情報的）打ち切りとは、各被験者の打ち切り時間が、その被験者の故障時間とは統計的に独立している場合を指します。観測値は、打ち切り時間と故障時間のうち小さい方の値となります。故障時間が打ち切り時間よりも大きい被験者は、右側打ち切りとなります。

区間打ち切りは、ある値を観測する際に追跡調査や検査が必要な場合に発生する。左側打ち切りと右側打ち切りは区間打ち切りの特殊なケースであり、それぞれ区間の開始点がゼロ、終了点が無限大となる。

左側打ち切りデータを使用する推定方法は様々であり、すべての推定方法がすべてのデータセットに適用可能であるとは限らず、またすべてのデータセットに対して最も信頼できるとは限りません。 ^{[ 1 ]}

時間間隔データに関するよくある誤解は、開始時刻が不明な場合、それを左側打ち切りデータとして分類することです。このような場合、時間間隔の下限値が存在するため、データは右側打ち切りデータとなります（タイムラインとして見ると、欠落している開始点は既知の時間間隔の左側にあるにもかかわらず！）。

分析

打ち切りデータを処理するには、特別な手法を用いることができます。特定の故障時間を持つテストは実際の故障としてコード化され、打ち切りデータは打ち切りの種類と既知の区間または限界値に基づいてコード化されます。特別なソフトウェアプログラム（多くの場合、信頼性に着目したもの）は、要約統計量、信頼区間などの最尤推定を行うことができます。

疫学

打ち切りデータを含む統計的問題を分析する最も初期の試みの 1 つは、ダニエル・ベルヌーイが 1766 年に天然痘の罹患率と死亡率のデータを分析し、ワクチン接種の有効性を実証したことでした。^{[ 2 ]}打ち切りコストの推定にKaplan–Meier 推定量を使用した初期の論文はQuesenberry ら (1989) によるものでしたが、^{[ 3 ]}このアプローチは、すべての患者が時間の経過とともに共通の決定論的レート関数でコストを蓄積しない限り、Lin らによって無効であることが判明しました。^{[ 4 ]}彼らは、Lin 推定量として知られる代替推定手法を提案しました。^{[ 5 ]}

動作寿命試験

信頼性試験は、多くの場合、特定の条件下で対象物に対して試験を実施し、故障が発生するまでの時間を測定することから構成される。

故障は計画され、予測されていたにもかかわらず発生しない場合がある。例えば、オペレーターのミス、機器の故障、試験異常などが挙げられる。試験結果は期待していた故障時間ではなかったが、試験終了時間として使用できる（そして使用すべきである）。データの一部が欠落している状態は意図的ではないが、必要な場合が多い。
エンジニアは、一定の時間制限または失敗回数に達した時点で、他のすべてのテストを終了するようにテストプログラムを計画することがあります。このように中断された時間は、右側打ち切りデータとして扱われます。打ち切りデータの使用は意図的なものです。

繰り返しテストのデータ分析には、失敗した項目の失敗までの時間と、失敗しなかった項目のテスト終了時間の両方が含まれる。

検閲回帰

打ち切り回帰の初期のモデルであるトビットモデルは、 1958年にジェームズ・トビンによって提案された。^{[ 6 ]}

可能性

尤度とは、想定されるモデルのパラメータの関数として捉えた、観測された事象の確率または確率密度のことです。尤度に打ち切りデータ点を組み込むには、打ち切りデータ点を、モデルパラメータの関数としての打ち切りデータ点の確率、つまり密度や確率質量ではなく累積分布関数（CDF）の関数として表します。

最も一般的な検閲ケースは、区間検閲である。 $Pr(a<x\leqslant b)=F(b)-F(a)$ 、どこ $F(x)$ は確率分布の累積分布関数であり、2つの特殊なケースは次のとおりです。

左派による検閲： $\Pr(-\infty <x\leq b)=F(b)-F(-\infty )=F(b)-0=F(b)=\Pr(x\leq b)$
右派検閲： $\Pr(a<x\leq \infty )=F(\infty )-F(a)=1-F(a)=1-\Pr(x\leq a)=\Pr(x>a)$

連続確率分布の場合： $\Pr(a<x\leq b)=Pr(a<x<b)$

例

生存時間に興味があると仮定します。 $T_{1},T_{2},\dots ,T_{n}$ しかし、私たちは観察しません $T_{i}$ すべての人々のために $i$ 代わりに、我々は観察する

$(U_{i},\delta _{i})$ 、と $U_{i}=T_{i}$ そして $\delta _{i}=1$ もし $T_{i}$ 実際に観察され、
$(U_{i},\delta _{i})$ 、と $U_{i}<T_{i}$ そして $\delta _{i}=0$ 私たちが知っているのはそれだけです $T_{i}$ より長い $U_{i}$ 。

いつ $T_{i}>U_{i},U_{i}$ これは検閲時間と呼ばれる。^{[ 7 ]}

打ち切り時間がすべて既知の定数である場合、尤度は

$L=\prod _{i,\delta _{i}=1}f(u_{i})\prod _{i,\delta _{i}=0}S(u_{i})$

どこ $f(u_{i})$ 確率密度関数は、 $u_i$ 、そして $S(u_{i})$ 確率は $T_{i}$ より大きい $u_i$ 生存関数と呼ばれる。

これは、瞬間的な死亡力であるハザード関数を次のように定義することで簡略化できます。

$\lambda (u)={\frac {f(u)}{S(u)}}$

それで

$f(u)=\lambda (u)S(u).$

それから

$L=\prod _{i}\lambda (u_{i})^{\delta _{i}}S(u_{i}).$

指数分布の場合、ハザード率は、 $\lambda$ は定数であり、 $S(u)=\exp(-\lambda u)$ 。それから：

$L(\lambda )=\lambda ^{k}\exp \left(-\lambda \sum _{i}u_{i}\right),$

どこ ${\textstyle k=\sum _{i}\delta _{i}}$ 。

これから簡単に計算できます ${\hat {\lambda }}$ 、最大尤度推定値（MLE） $\lambda$ 、次のように：

$\ell (\lambda )=\log(L(\lambda ))=k\log(\lambda )-\lambda \sum _{i}u_{i}.$

それから

$\displaystyle {\frac {d\ell }{d\lambda }}={\frac {k}{\lambda }}-\sum _{i}u_{i}.}$

これを0に設定して解く $\lambda$ 取得するため：

${\hat {\lambda }}={\frac {k}{\sum _{i}u_{i}}}.$

言い換えれば、平均故障時間は次のようになる。

${\frac {1}{\hat {\lambda }}}={\frac {\sum _{i}u_{i}}{k}}.$

これは、指数分布の標準的な最尤推定法とは異なり、打ち切り観測値は分子でのみ考慮される。

参考文献

↑ Helsel, D. (2010). "ほとんど何もないのに大騒ぎ：科学における非検出の組み込み" . Annals of Occupational Hygiene . 54 (3): 257– 262. doi : 10.1093/annhyg/mep092 . PMID 20032004 .
↑ベルヌーイ D. (1766)。「死の運命を分析する、小さな人生のエッセイ」。メム。数学。ファイ。アカド。ロイ。科学。パリ、ブラッドリー（1971）21およびブロワー（2004）に再録
↑ Quesenberry, CP Jr.; et al. (1989). "後天性免疫不全症候群患者の入院に関する生存分析" . American Journal of Public Health . 79 (12): 1643– 1647. doi : 10.2105/AJPH.79.12.1643 . PMC 1349769 . PMID 2817192 .
↑ Lin, DY; et al. (1997). 「不完全な追跡調査データからの医療費の推定」. Biometrics . 53 ( 2): 419–434 . doi : 10.2307/2533947 . JSTOR 2533947. PMID 9192444 .
↑ Wijeysundera, HC; et al. (2012). "検閲データを用いた医療費推定手法：医療サービス研究者のための概要" . ClinicoEconomics and Outcomes Research . 4 : 145– 155. doi : 10.2147/CEOR.S31552 . PMC 3377439 . PMID 22719214 .
↑ Tobin, James (1958). "限定従属変数の関係の推定" (PDF) . Econometrica . 26 (1): 24– 36. doi : 10.2307/1907382 . JSTOR 1907382 .
↑ Lu Tian、「尤度構築、パラメトリック生存分布の推論（PDF）」、Wikidata Q98961801 。

さらに読む

Blower, S. (2004), D, Bernoulliの「天然痘による死亡率と、それを予防するための接種の利点に関する新しい分析の試み」(PDF) 。 2017年8月8日にオリジナル(PDF)からアーカイブ済み。 2019年6月25日取得。 (146 KiB ) 「、医学ウイルス学レビュー、14 :275–288
ブラッドリー、L. (1971).天然痘接種：18世紀の数学的論争. ノッティンガム. ISBN 0-902031-23-6。{{cite book}}: CS1メンテナンス: 場所の発行元が見つかりません (リンク)
Mann, NR ; et al. (1975).信頼性および寿命データの統計分析法. ニューヨーク: Wiley. ISBN 047156737X。
Bagdonavicius, V., Kruopis, J., Nikulin, MS (2011)「打ち切りデータに対するノンパラメトリック検定」、ロンドン、ISTE/WILEY、ISBN 9781848212893。

外部リンク

「エンジニアリング統計ハンドブック」、NIST/SEMATEK、

[1] Helsel, D. (2010). "ほとんど何もないのに大騒ぎ：科学における非検出の組み込み" . Annals of Occupational Hygiene . 54 (3): 257– 262. doi : 10.1093/annhyg/mep092 . PMID 20032004 .

[2] ベルヌーイ D. (1766)。「死の運命を分析する、小さな人生のエッセイ」。メム。数学。ファイ。アカド。ロイ。科学。パリ、ブラッドリー（1971）21およびブロワー（2004）に再録

[3] Quesenberry, CP Jr.; et al. (1989). "後天性免疫不全症候群患者の入院に関する生存分析" . American Journal of Public Health . 79 (12): 1643– 1647. doi : 10.2105/AJPH.79.12.1643 . PMC 1349769 . PMID 2817192 .

[4] Lin, DY; et al. (1997). 「不完全な追跡調査データからの医療費の推定」. Biometrics . 53 ( 2): 419–434 . doi : 10.2307/2533947 . JSTOR 2533947. PMID 9192444 .

[5] Wijeysundera, HC; et al. (2012). "検閲データを用いた医療費推定手法：医療サービス研究者のための概要" . ClinicoEconomics and Outcomes Research . 4 : 145– 155. doi : 10.2147/CEOR.S31552 . PMC 3377439 . PMID 22719214 .

[6] Tobin, James (1958). "限定従属変数の関係の推定" (PDF) . Econometrica . 26 (1): 24– 36. doi : 10.2307/1907382 . JSTOR 1907382 .

[7] Lu Tian、「尤度構築、パラメトリック生存分布の推論（PDF）」、Wikidata Q98961801 。

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]