多様性指数

多様性指数は、データセット（例えば、コミュニティ）内にいくつの異なるタイプ（例えば、種）が存在するかを測定する方法です。より洗練された指数の中には、タイプ間の系統学的関連性も考慮に入れたものもあります。 ^[1]多様性指数は、生物多様性のさまざまな側面（例えば、豊かさ、均等性、優位性）を統計的に表現したもので、異なるコミュニティや場所を比較する際に便利な簡略化です。

生態学で多様性指標が使用される場合、関心のあるタイプは通常は種ですが、属、科、機能タイプ、ハプロタイプなどの他のカテゴリになることもあります。関心のある実体は通常個々の生物（植物や動物など）であり、豊かさの尺度は、たとえば個体数、バイオマス、被覆率などです。人口統計学では、関心のある実体は人々であり、関心のあるタイプはさまざまな人口統計グループです。情報科学では、実体は文字やアルファベットのさまざまな文字のタイプです。最も一般的に使用される多様性指標は、実効タイプの数の単純な変換（「真の多様性」とも呼ばれる）ですが、各多様性指標は、それ自体で実際の現象に対応する尺度として解釈することもできます（ただし、多様性指標ごとに異なるもの）。^{[2] [3] [4] [5]}

多くの指標は、対象者また​​はエンティティ間のカテゴリの多様性のみを考慮します。ただし、このような指標は、カテゴリの多様性と質の多様性の両方を計算した場合にのみ発生する、対象者また​​はエンティティ間で保持できる全体的な変動 (多様性) を考慮していません。

真の多様性、または有効な型の数とは、型の平均的な割合の豊富さが、対象のデータセットで観察されるものと等しくなるために必要な、等しく豊富な型の数を指します（すべての型が等しく豊富であるとは限りません）。データセットの真の多様性は、まずデータセット内の型の割合の豊富さの加重一般化平均 M _{q −1}を取り、次にその逆数を取ることによって計算されます。式は次のとおりです。^{[4] [5]}

${\displaystyle {}^{q}\!D={1 \over M_{q-1}}={1 \over {\sqrt[{q-1}]{\sum _{i=1}^{R}p_{i}p_{i}^{q-1}}}}=\left({\sum _{i=1}^{R}p_{i}^{q}}\right)^{1/(1-q)}}$

分母M _{q −1}は 、指数q  − 1の加重一般化平均で計算されたデータセット内のタイプの平均比例存在度に等しい。この式で、R は豊富さ（データセット内のタイプの総数）であり、i番目のタイプの比例存在度はp _iである。比例存在度自体は名目上の重みとして使用される。これらの数は、qオーダーのヒル数または有効種数と呼ばれる。^[6]${\displaystyle ^{q}D}$

q = 1の場合、上記の式は定義されません。ただし、q が1 に近づくにつれて数学的な限界が明確に定義され、対応する多様性は次の式で計算されます。

${\displaystyle {}^{1}\!D={1 \over {\prod _{i=1}^{R}p_{i}^{p_{i}}}}=\exp \left(-\sum _{i=1}^{R}p_{i}\ln(p_{i})\right)}$

これは、自然対数で計算されたシャノンエントロピーの指数です（上記参照）。他の分野では、この統計はパープレキシティとも呼ばれます。

多様性の一般的な方程式は、多くの場合、次の形式で表されます^{[2] [3]}

${\displaystyle {}^{q}\!D=\left({\sum _{i=1}^{R}p_{i}^{q}}\right)^{1/(1-q)}}$

括弧内の項は基本和と呼ばれます。いくつかの一般的な多様性指標は、qの異なる値で計算された基本和に対応しています。^[3]

qの値は、しばしば多様性の順序と呼ばれます。これは、種の相対的存在量の加重平均の計算方法を変更することで、希少種と豊富な種に対する真の多様性の感度を定義します。パラメータqの値によっては、一般化平均M _{q −1}の値は、よく知られている種類の加重平均を特殊なケースとして想定します。特に、

• q = 0は加重調和平均に対応し、
• q = 1 を加重幾何平均とし、
• q = 2を加重算術平均します。
• q が無限大に近づくと、指数q  − 1を持つ加重一般化平均は最大p _i値に近づきます。これは、データセット内で最も豊富な種の比例存在度です。

一般的に、 qの値を大きくすると、最も豊富な種に与えられる有効な重みが増加します。これにより、q が増加するにつれて、 M _{q −1値が大きくなり、真の多様性 (} ^q D ) 値が小さくなります。

q = 1の場合、 p _i値の加重幾何平均が使用され、それぞれの種は、その比例存在度によって正確に加重されます（加重幾何平均では、重みは指数です）。q > 1の場合、豊富な種に与えられる重みは誇張され、q < 1の場合、希少種に与えられる重みは誇張されます。q = 0の場合、種の重みは種の比例存在度を正確に打ち消し、すべての種が均等に豊富でなくても、p _i値の加重平均は1 / Rに等しくなります。 q = 0の場合、有効な種の数⁰ Dは、実際の種の数Rに等しくなります。 多様性の文脈では、q は一般に非負の値に制限されます。これは、 qが負の値になると、希少種に豊富な種よりもはるかに大きな重みが与えられ、^q D がR を超えてしまうためです。^{[4] [5]}

豊富さR は、対象となるデータセットに何種類の生物が含まれているかを単純に数値化したものです。たとえば、種の豊富さ (通常Sと表記) は、特定の場所などにおける種の数です。豊富さは単純な尺度であるため、豊富さのデータが入手できないことが多い生態学では、多様性の指標としてよく使われてきました。^{[7]真の多様性を}q = 0で計算すると、有効な種類の数 ( ⁰ D ) は実際の種類の数に等しくなり、豊富さ ( R )と同じになります。^{[3] [5]}

シャノン指数は、生態学の文献では人気の多様性指数で、シャノンの多様性指数、シャノン・ウィーナー指数、（誤って）シャノン・ウィーバー指数とも呼ばれています。^[8]この指標はもともと、テキスト文字列のエントロピー（したがって、シャノンエントロピーはシャノン情報量に関連）を定量化するために、1948年にクロード・シャノンによって提案されました。 ^[9]その考え方は、文字の数が多く、文字列内での文字の比率が近いほど、文字列の次の文字がどの文字であるかを正しく予測することが難しくなるというものです。シャノンエントロピーは、この予測に関連する不確実性（エントロピーまたは驚きの度合い）を定量化します。これは、次のように計算されることがよくあります。

${\displaystyle H'=-\sum _{i=1}^{R}p_{i}\ln p_{i}}$

ここで、p _{i は、}対象の文字列内のi番目の文字タイプに属する文字の割合です。生態学では、 p _{i は、}対象のデータセット内のi番目の種に属する個体の割合であることがよくあります。そして、シャノン エントロピーは、データセットからランダムに抽出された個体の種のアイデンティティを予測する際の不確実性を定量化します。

ここでは方程式は自然対数で書かれていますが、シャノンエントロピーを計算するときに使用する対数の底は自由に選択できます。シャノン自身が対数の底 2、10、eについて議論しており、これらはそれ以来シャノンエントロピーを使用するアプリケーションで最も一般的な底となっています。各対数底は異なる測定単位に対応しており、底 2、10、eに対してそれぞれ 2 進数 (bits)、10 進数 (decits)、自然数 (nats) と呼ばれています。もともと異なる対数底で計算されたシャノンエントロピー値を比較するには、同じ対数底に変換する必要があります。底aから底bへの変更は、 log _b aを乗算することで得られます。^[9]

シャノン指数（H' ）は、各タイプの相対的存在量の加重幾何平均と関係している。具体的には、 q = 1で計算した真の多様性の対数に等しい：^[4]

${\displaystyle H'=-\sum _{i=1}^{R}p_{i}\ln p_{i}=-\sum _{i=1}^{R}\ln p_{i}^{p_{i}}}$

これは次のようにも書ける。

${\displaystyle H'=-(\ln p_{1}^{p_{1}}+\ln p_{2}^{p_{2}}+\ln p_{3}^{p_{3}}+\cdots +\ln p_{R}^{p_{R}})}$

これは

${\displaystyle H'=-\ln p_{1}^{p_{1}}p_{2}^{p_{2}}p_{3}^{p_{3}}\cdots p_{R}^{p_{R}}=\ln \left({1 \over p_{1}^{p_{1}}p_{2}^{p_{2}}p_{3}^{p_{3}}\cdots p_{R}^{p_{R}}}\right)=\ln \left({1 \over {\prod _{i=1}^{R}p_{i}^{p_{i}}}}\right)}$

定義によりp _i値の合計は 1 に等しいため、分母はp _i値の加重幾何平均に等しく、p _i値自体が重み（式の指数）として使用されます。したがって、括弧内の項は真の多様性¹ Dに等しく、H' はln( ¹ D )に等しくなります。^{[2] [4] [5]}

対象のデータセット内のすべてのタイプが同じように一般的である場合、すべてのp _i値は1 / Rに等しく、したがってシャノン指数は値ln( R )になります。タイプの存在率が不均等であるほど、 p _i値の加重幾何平均は大きくなり、対応するシャノンエントロピーは小さくなります。実質的にすべての存在率が 1 つのタイプに集中し、他のタイプが非常にまれである場合 (多くあっても)、シャノンエントロピーはゼロに近づきます。データセットにタイプが 1 つしかない場合、シャノンエントロピーは正確にゼロになります (次にランダムに選択されるエンティティのタイプを予測する際に不確実性はありません)。

機械学習では、シャノン指数は情報ゲインとも呼ばれます。

レニエントロピーは、シャノンエントロピーを 1 以外のq値に一般化したものです。次のように表すことができます。

${\displaystyle {}^{q}H={\frac {1}{1-q}}\;\ln \left(\sum _{i=1}^{R}p_{i}^{q}\right)}$

これは

${\displaystyle {}^{q}H=\ln \left({1 \over {\sqrt[{q-1}]{\sum _{i=1}^{R}p_{i}p_{i}^{q-1}}}}\right)=\ln({}^{q}\!D)}$

これは、任意のqの値に基づいて真の多様性の対数を取ると、同じqの値に対応する Rényi エントロピーが得られることを意味します。

シンプソン指数は、個体をタイプに分類する際の集中度を測定するために、 1949年にエドワード・H・シンプソンによって導入されました。 ^[10]同じ指数は、1950年にオリス・C・ハーフィンダールによって再発見されました。 ^[11]この指数の平方根は、1945年に経済学者アルバート・O・ハーシュマンによってすでに導入されていました。^[12]その結果、同じ指標は通常、生態学ではシンプソン指数として、経済学ではハーフィンダール指数またはハーフィンダール・ハーシュマン指数（HHI）として知られています。

この指標は、対象のデータセットからランダムに抽出された2つのエンティティが同じタイプを表す確率に等しい。^[10]これは次の式に等しい。

${\displaystyle \lambda =\sum _{i=1}^{R}p_{i}^{2},}$

ここで、R は豊富さ（データセット内のタイプの総数）です。この式は、関心のあるタイプの比例存在度p _i^{の加重算術平均にも等しく、比例存在度自体が重みとして使用されます。 [2]}比例存在度は定義により 0 から 1 の間の値に制限されますが、これは加重算術平均であるため、λ ≥ 1/ Rとなり、すべてのタイプが等しく豊富になったときに達します。

λを計算する式と真の多様性を計算する式を比較すると、 1/λは^2D、つまりq = 2で計算された真の多様性に等しいことがわかります。したがって、元のシンプソン指数は対応する基本合計に等しくなります。^[3]

λ を、対象のデータセットからランダムに抽出された 2 つのエンティティが同じタイプを表す確率として解釈する場合、最初のエンティティがデータセットに置き換えられてから 2 番目のエンティティが抽出されることを前提とします。データセットが非常に大きい場合、置き換えなしのサンプリングではほぼ同じ結果が得られますが、データセットが小さい場合は、差が大きくなる可能性があります。データセットが小さく、置き換えなしのサンプリングが想定される場合、両方のランダム抽出で同じタイプが得られる確率は次のようになります。

${\displaystyle \ell ={\frac {\sum _{i=1}^{R}n_{i}(n_{i}-1)}{N(N-1)}}}$

ここで、n _{i は}i番目のタイプに属するエンティティの数であり、Nはデータセット内のエンティティの総数である。^[10]この形式のシンプソン指数は、微生物学ではハンター・ガストン指数としても知られている。^[13]

タイプの平均比例存在度は、タイプの数が減少し、最も豊富なタイプの存在度が増加するにつれて増加するため、λは多様性の高いデータセットでは小さな値になり、多様性の低いデータセットでは大きな値になります。これは多様性指数としては直感に反する動作であるため、代わりに、多様性の増加とともに増加するλの変換が使用されることがよくあります。そのような指数の中で最も人気があるのは、逆シンプソン指数（1 / λ）とジニシンプソン指数（1−λ）です。^{[2] [3]}これらは両方とも生態学の文献ではシンプソン指数とも呼ばれているため、異なる指数を同じであるかのように誤って比較しないように注意する必要があります。

逆シンプソン指数は次のようになります。

${\displaystyle {\frac {1}{\lambda }}={1 \over \sum _{i=1}^{R}p_{i}^{2}}={}^{2}D}$

これは単純に、2 次真の多様性、つまり、加重算術平均を使用して対象のデータセット内のタイプの平均比例存在量を定量化したときに得られるタイプの有効数に等しくなります。

この指数は、実質的な政党数の尺度としても用いられる。

ジニ・シンプソン指数は、機械学習の分野ではジニ不純度、またはジニの多様性指数^[14]とも呼ばれます。元のシンプソン指数λは、対象のデータセットからランダムに抽出された2つのエンティティが同じタイプを表す確率に等しくなります（復元あり）。したがって、その変換1−λは、2つのエンティティが異なるタイプを表す確率に等しくなります。この指標は、生態学では種間遭遇確率（PIE）^[15]やジニ・シンプソン指数^[3]としても知られています。これは、真の多様性の順序2の変換として表すことができます。

${\displaystyle 1-\lambda =1-\sum _{i=1}^{R}p_{i}^{2}=1-{\frac {1}{{}^{2}D}}}$

社会学、心理学、経営学におけるギブス・マーティン指数^[16]は、ブルー指数としても知られ、ジニ・シンプソン指数と同じ指標である。

この量は集団遺伝学では 期待されるヘテロ接合性としても知られています。

ベルガー・パーカー指数は、ヴォルフガング・H・ベルガーとフランシス・ローレンス・パーカーにちなんで名付けられ、^[17]データセット内の最大のpi_値、すなわち最も豊富な種類の比例的豊富さに等しい。これはqが無限大に近づく_ときのpi値の加重一般化平均に対応し、したがって無限大の真の多様性の逆数（1/ ^∞D ）に等しい。

• コリンヴォー、ポール A. (1973)。生態学入門。ワイリー。ISBN 0-471-16498-4。
• Cover, Thomas M.; Thomas, Joy A. (1991).情報理論の要素. Wiley. ISBN 0-471-06259-6。 上記で非公式に説明したコーディング手順の詳細については、第 5 章を参照してください。
• Chao, A. ; Shen, TJ. (2003). 「サンプル内に未知の種が存在する場合のシャノンの多様性指数のノンパラメトリック推定」(PDF) .環境および生態統計. 10 (4): 429–443. doi :10.1023/A:1026096204727. S2CID  20389926.

• シンプソンの多様性指数
• 多様性指数 Archived 2005-12-19 at the Wayback Machineには、実際の生態系におけるシンプソン指数の推定例がいくつか示されています。