ホプキンスの統計

ホプキンス統計量（ブライアン・ホプキンスとジョン・ゴードン・スケラムが提唱）は、データセットのクラスター傾向を測定する方法です。 ^[1]これは、スパースサンプリング検定の一種です。これは、帰無仮説がデータがポアソン点過程によって生成され、一様ランダムに分布しているという統計的仮説検定として機能します。[ 2 ]個体が^集約されている場合、その値は0に近づき、個体がランダムに分布している場合は、値が0.5に近づきます。^[3]

ホプキンス統計の典型的な定式化は以下の通りである。^[2]

をデータポイントの集合とします。${\displaystyle X}$${\displaystyle n}$

から置換なしでサンプリングされたデータ ポイントのランダム サンプルを生成します。${\displaystyle {\overset {\sim }{X}}}$${\displaystyle m\ll n}$${\displaystyle X}$

均一にランダムに分布したデータ ポイントのセットを生成します。${\displaystyle Y}$${\displaystyle m}$

2つの距離尺度を定義する。

${\displaystyle u_{i},}$の最も近い近傍までの最小距離（適切な距離が与えられた場合）、および${\displaystyle y_{i}\in Y}$${\displaystyle X}$

${\displaystyle w_{i},}$最も近い隣接点までの最小距離${\displaystyle {\overset {\sim }{x}}_{i}\in {\overset {\sim }{X}}\subseteq X}$${\displaystyle x_{j}\in X,\,{\overset {\sim }{x_{i}}}\neq x_{j}.}$

上記の表記法では、データが次元化されている場合、ホプキンス統計量は次のように定義されます。^[4]${\displaystyle d}$

${\displaystyle H={\frac {\sum _{i=1}^{m}{u_{i}^{d}}}{\sum _{i=1}^{m}{u_{i}^{d}}+\sum _{i=1}^{m}{w_{i}^{d}}}}\,}$

帰無仮説の下では、この統計量はBeta(m,m)分布に従います。

• http://www.sthda.com/english/wiki/assessing-clustering-tendency-a-vital-issue-unsupervised-machine-learning