線形判別分析

線型判別分析( LDA )、正規判別分析( NDA )、または判別関数分析は、統計学やその他の分野で使用される手法であるフィッシャーの線型判別を一般化したものであって、2 つ以上のオブジェクトまたはイベントのクラスを特徴づけたり分離したりする特徴の線型結合を見つけるものです。結果として得られる結合は、線型分類器として使用することも、より一般的には、後の分類の前の次元削減に使用することもできます。

LDAは分散分析（ANOVA）や回帰分析と密接な関係があり、これらも1つの従属変数を他の特徴や測定値の線形結合として表現しようとします。^{[2] [3]}しかし、ANOVAはカテゴリ 独立変数と連続 従属変数を使用するのに対し、判別分析は連続独立変数とカテゴリ従属変数（つまり、クラスラベル）を使用します。^[4] ロジスティック回帰とプロビット回帰は、カテゴリ変数を連続独立変数の値によって説明するため、ANOVAよりもLDAに似ています。これらの他の方法は、独立変数が正規分布していると仮定することが合理的ではない用途に適しています。これはLDA法の基本的な仮定です。

LDA は主成分分析(PCA) や因子分析とも密接に関連しており、どちらもデータを最もよく説明する変数の線形結合を探します。^[5] LDA は、データのクラス間の違いを明示的にモデル化しようとします。対照的に、PCA はクラスの違いを考慮せず、因子分析は類似点ではなく相違点に基づいて特徴の組み合わせを構築します。判別分析は相互依存手法ではないという点でも因子分析とは異なります。独立変数と従属変数 (基準変数とも呼ばれる) を区別する必要があります。

LDAは、各観測値に対する独立変数の測定値が連続量である場合に機能します。カテゴリ独立変数を扱う場合、同等の手法は判別対応分析です。^{[6] [7]}

判別分析は、グループが事前にわかっている場合に使用されます（クラスター分析とは異なります）。各ケースには、1つ以上の定量的予測指標のスコアと、グループ指標のスコアが必要です。^[8]簡単に言えば、判別関数分析は分類、つまり同じタイプのグループ、クラス、またはカテゴリに物事を分配する行為です。

二分判別分析は、 1936年にロナルド・フィッシャー卿によって開発されました。^[9]これは、 1つ以上の独立したカテゴリ変数によって1つ（ANOVA）または複数（MANOVA）の連続従属変数を予測するために使用されるANOVAまたはMANOVAとは異なります。判別関数分析は、変数セットがカテゴリのメンバーシップを予測するのに効果的かどうかを判断するのに役立ちます。^[10]

既知のクラスを持つオブジェクトまたはイベントの各サンプルの観測値（特徴、属性、変数、測定値とも呼ばれる）のセットを考えてみましょう。このサンプルセットは、教師あり学習のコンテキストではトレーニングセットと呼ばれます。分類問題は、観測値のみを与えられた場合に、同じ分布の任意のサンプル（必ずしもトレーニングセットからのものではない）のクラスの適切な予測子を見つけることです。^{[11] ：338}${\displaystyle {\vec {x}}}$${\displaystyle y}$${\displaystyle y}$${\displaystyle {\vec {x}}}$

LDA は、条件付き確率密度関数 とが、それぞれ平均と共分散パラメータを持つ正規分布であると仮定して、問題に取り組みます。この仮定の下では、ベイズ最適解は、尤度比の対数がしきい値 T より大きい場合に、点が 2 番目のクラスからのものであると予測することです。 ${\displaystyle p({\vec {x}}|y=0)}$${\displaystyle p({\vec {x}}|y=1)}$${\displaystyle \left({\vec {\mu }}_{0},\Sigma _{0}\right)}$${\displaystyle \left({\vec {\mu }}_{1},\Sigma _{1}\right)}$

${\displaystyle {\frac {1}{2}}({\vec {x}}-{\vec {\mu }}_{0})^{\mathrm {T} }\Sigma _{0}^{-1}({\vec {x}}-{\vec {\mu }}_{0})+{\frac {1}{2}}\ln |\Sigma _{0}|-{\frac {1}{2}}({\vec {x}}-{\vec {\mu }}_{1})^{\mathrm {T} }\Sigma _{1}^{-1}({\vec {x}}-{\vec {\mu }}_{1})-{\frac {1}{2}}\ln |\Sigma _{1}|\ >\ T}$

それ以上の仮定がない場合、結果として得られる分類器は二次判別分析(QDA)と呼ばれます。

LDA は、代わりに、追加の単純化された等分散性仮定 (つまり、クラス共分散が同一であるため) と共分散がフルランクを持つことを仮定します。この場合、いくつかの項がキャンセルされます。 ${\displaystyle \Sigma _{0}=\Sigma _{1}=\Sigma }$

${\displaystyle {\vec {x}}^{\mathrm {T} }\Sigma _{0}^{-1}{\vec {x}}={\vec {x}}^{\mathrm {T} }\Sigma _{1}^{-1}{\vec {x}}}$

${\displaystyle {\vec {x}}^{\mathrm {T} }{\Sigma _{i}}^{-1}{\vec {\mu }}_{i}={{\vec {\mu }}_{i}}^{\mathrm {T} }{\Sigma _{i}}^{-1}{\vec {x}}}$エルミートだ から${\displaystyle \Sigma _{i}}$

そして、上記の決定基準はドット積の閾値となる。

${\displaystyle {\vec {w}}^{\mathrm {T} }{\vec {x}}>c}$

ある閾値定数cに対して、

${\displaystyle {\vec {w}}=\Sigma ^{-1}({\vec {\mu }}_{1}-{\vec {\mu }}_{0})}$

${\displaystyle c={\frac {1}{2}}\,{\vec {w}}^{\mathrm {T} }({\vec {\mu }}_{1}+{\vec {\mu }}_{0})}$

これは、入力がクラス内にあるかどうかの基準が、既知の観測値の線形結合の関数にすぎないことを意味します。 ${\displaystyle {\vec {x}}}$${\displaystyle y}$

この結論を幾何学的な観点から見ると、多くの場合役に立ちます。入力がクラスに属するかどうかの基準は、多次元空間の点をベクトルに投影する関数に他なりません(したがって、その方向のみを考慮します)。言い換えると、対応する がに垂直な超平面の特定の側に位置する場合、観測値は に属します。平面の位置は、しきい値 によって定義されます。 ${\displaystyle {\vec {x}}}$${\displaystyle y}$${\displaystyle {\vec {x}}}$${\displaystyle {\vec {w}}}$${\displaystyle y}$${\displaystyle {\vec {x}}}$${\displaystyle {\vec {w}}}$${\displaystyle c}$

判別分析の仮定はMANOVAの仮定と同じです。この分析は外れ値に対して非常に敏感であり、最小グループのサイズは予測変数の数よりも大きくなければなりません。^[8]

• 多変量正規性：独立変数はグループ化変数の各レベルに対して正規分布する。^{[10] [8]}
• 分散/共分散の等質性（等分散性）：グループ変数間の分散は、予測変数のレベルを超えて同じです。ボックスのM統計量で検定できます。^{[10]ただし、共分散が等しい場合は線形判別分析を使用し、共分散が等しくない場合は}二次判別分析を使用することが提案されています。^[8]
• 独立性：参加者はランダムに抽出され、ある変数に対する参加者のスコアは他のすべての参加者のその変数に対するスコアとは独立していると仮定されます。^{[10] [8]}

判別分析はこれらの仮定のわずかな違反に対しては比較的堅牢であることが示唆されており^[12]、また判別分析は二値変数（多変量正規性がしばしば違反される）を使用する場合でも依然として信頼できる可能性があることも示されています^{[13] 。}

判別分析は、予測子の 1 つ以上の線形結合を作成し、各関数に新しい潜在変数を作成することによって機能します。これらの関数は判別関数と呼ばれます。可能な関数の数は、= グループ数、または(予測子の数)のいずれか小さい方です。作成された最初の関数は、その関数のグループ間の差異を最大化します。2 番目の関数はその関数の差異を最大化しますが、前の関数と相関してはなりません。これは、新しい関数が前の関数のいずれとも相関していないという要件で、後続の関数に続きます。 ${\displaystyle N_{g}-1}$${\displaystyle N_{g}}$${\displaystyle p}$

グループと 標本空間 のセットが与えられた場合、ならば となる判別規則が存在します。判別分析では、分類誤差を最小化する の「良い」領域を見つけ 、その結果、分類表で正しく分類される割合が高くなります。^[14]${\displaystyle j}$${\displaystyle \mathbb {R} _{j}}$${\displaystyle x\in \mathbb {R} _{j}}$${\displaystyle x\in j}$${\displaystyle \mathbb {R} _{j}}$

各関数には判別スコア^{[説明が必要]}が与えられ、グループの配置をどの程度正確に予測できるかが判断されます。

• 構造相関係数：各予測変数と各関数の判別スコア間の相関。これはゼロ次相関（つまり、他の予測変数については補正されていない）である。^[15]
• 標準化係数: 判別関数である線形結合における各予測子の重み。回帰方程式と同様に、これらの係数は部分的です (つまり、他の予測子に対して補正されます)。グループ割り当てを予測する際の各予測子の固有の寄与を示します。
• グループ重心における関数: 各グループ化変数の平均判別スコアが各関数に対して与えられます。平均が離れるほど、分類の誤差は少なくなります。

• 最大尤度：集団密度を最大化するグループに割り当てる。^[16]${\displaystyle x}$
• ベイズ判別規則：を最大化するグループに割り当てます。ここでπi_はその分類の事前確率を表し、 は人口密度を表します。^[16]${\displaystyle x}$${\displaystyle \pi _{i}f_{i}(x)}$${\displaystyle f_{i}(x)}$
• _{フィッシャーの線形判別規則：間の}SSと_内のSSの比を最大化し、グループを予測するための予測変数の線形結合を見つける。^[16]

判別分析における固有値は、各関数の特性根です。^[要説明]これは、その関数がグループをどれだけうまく区別しているかを示すもので、固有値が大きいほど、関数の区別が優れていることを意味します。^[8]ただし、固有値には上限がないため、これは慎重に解釈する必要があります。^{[10] [8]従属変数が判別関数で、グループが}IVのレベルである場合、固有値は、ANOVAの場合と同様に、_{グループ間の}SSとグループ_内のSS の比として見ることができます^[要説明]。^[10]つまり、最大の固有値は最初の関数に関連し、2番目に大きい固有値は2番目の関数に関連し、以下同様です。

効果サイズの尺度として固有値の使用を提案する人もいますが、これは一般的には支持されていません。^[10]代わりに、正準相関が効果サイズの推奨される尺度です。これは固有値に似ていますが、 SS_間のSSとSS_合計の比の平方根です。これは、グループと関数の相関です。^[10] 効果サイズの別の一般的な尺度は、各関数の分散のパーセント^{[説明が必要]}です。これは、次のように計算されます： ( λ _x /Σλ _i ) X 100 ここで、λ _xは関数の固有値、 Σ λ _{i は}すべての固有値の合計です。これは、その特定の関数の予測が他の関数と比較してどれほど強いかを示します。^[10] 正しく分類されたパーセントも効果サイズとして分析できます。カッパ値は、偶然の一致を補正しながらこれを説明できます。^[10]カッパは、有意に優れたクラスやパフォーマンスの悪いクラスによって偏るのではなく、すべてのカテゴリにわたって正規化します。^{[説明が必要] [17]}

正準判別分析 (CDA) は、カテゴリを最も適切に分離する軸 ( k  − 1正準座標、kはクラスの数) を見つけます。これらの線形関数は相関がなく、実質的に、 kグループ(の空間内の投影) を最も適切に分離するn次元データ クラウドを通じて最適なk  − 1 空間を定義します。詳細については、以下の「マルチクラス LDA」を参照してください。

フィッシャーの線形判別式とLDAという用語はしばしば互換的に使用されますが、フィッシャーの元の論文^{[2]では、実際にはLDAのいくつかの仮定、例えば}正規分布クラスや等クラス共分散を考慮しない、わずかに異なる判別式について説明しています。

2 つの観測クラスに平均 と共分散があるとします。この場合、特徴の線形結合にはの平均と分散 があります。フィッシャーは、これら 2 つの分布間の分離を、クラス間の分散とクラス内の分散の比として定義しました。 ${\displaystyle {\vec {\mu }}_{0},{\vec {\mu }}_{1}}$${\displaystyle \Sigma _{0},\Sigma _{1}}$${\displaystyle {\vec {w}}^{\mathrm {T} }{\vec {x}}}$ ${\displaystyle {\vec {w}}^{\mathrm {T} }{\vec {\mu }}_{i}}$ ${\displaystyle {\vec {w}}^{\mathrm {T} }\Sigma _{i}{\vec {w}}}$${\displaystyle i=0,1}$

${\displaystyle S={\frac {\sigma _{\text{between}}^{2}}{\sigma _{\text{within}}^{2}}}={\frac {({\vec {w}}\cdot {\vec {\mu }}_{1}-{\vec {w}}\cdot {\vec {\mu }}_{0})^{2}}{{\vec {w}}^{\mathrm {T} }\Sigma _{1}{\vec {w}}+{\vec {w}}^{\mathrm {T} }\Sigma _{0}{\vec {w}}}}={\frac {({\vec {w}}\cdot ({\vec {\mu }}_{1}-{\vec {\mu }}_{0}))^{2}}{{\vec {w}}^{\mathrm {T} }(\Sigma _{0}+\Sigma _{1}){\vec {w}}}}}$

この尺度は、ある意味では、クラスラベル付けの信号対雑音比の尺度である。最大の分離は、次の場合に発生することが示される。

${\displaystyle {\vec {w}}\propto (\Sigma _{0}+\Sigma _{1})^{-1}({\vec {\mu }}_{1}-{\vec {\mu }}_{0})}$

LDA の仮定が満たされている場合、上記の式は LDA と同等になります。

ベクトルは判別超平面の法線であることに注意してください。たとえば、2 次元の問題では、2 つのグループを最もよく分割する線は に垂直です。 ${\displaystyle {\vec {w}}}$${\displaystyle {\vec {w}}}$

一般的に、判別するデータ ポイントは に投影され、次に 1 次元分布の分析からデータを最もよく分離するしきい値が選択されます。しきい値には一般的なルールはありません。ただし、両方のクラスのポイントの投影がほぼ同じ分布を示す場合は、2 つの平均の投影間の超平面と が適切な選択になります。この場合、しきい値条件のパラメーター c は明示的に見つけることができます。 ${\displaystyle {\vec {w}}}$${\displaystyle {\vec {w}}\cdot {\vec {\mu }}_{0}}$${\displaystyle {\vec {w}}\cdot {\vec {\mu }}_{1}}$${\displaystyle {\vec {w}}\cdot {\vec {x}}>c}$

${\displaystyle c={\vec {w}}\cdot {\frac {1}{2}}({\vec {\mu }}_{0}+{\vec {\mu }}_{1})={\frac {1}{2}}{\vec {\mu }}_{1}^{\mathrm {T} }\Sigma _{1}^{-1}{\vec {\mu }}_{1}-{\frac {1}{2}}{\vec {\mu }}_{0}^{\mathrm {T} }\Sigma _{0}^{-1}{\vec {\mu }}_{0}}$。

Otsu 法は、フィッシャーの線形判別法に関連しており、黒と白のピクセル クラスに割り当てられたグレースケール内/グレースケール間でクラス内分散を最小限に抑え、クラス間分散を最大化する黒/白しきい値を最適に選択することにより、グレースケール画像のピクセルのヒストグラムを 2 値化するために作成されました。

2つ以上のクラスがある場合、フィッシャー判別式の導出に使用された分析は、クラスの変動性をすべて含むと思われる部分空間を見つけるために拡張することができます。 ^{[18]この一般化は}CRラオによるものです。^[19] Cクラスのそれぞれが平均と同じ共分散を持っていると仮定します。すると、クラス変動性間の散布は、クラス平均の標本共分散によって定義できます。 ${\displaystyle \mu _{i}}$${\displaystyle \Sigma }$

${\displaystyle \Sigma _{b}={\frac {1}{C}}\sum _{i=1}^{C}(\mu _{i}-\mu )(\mu _{i}-\mu )^{\mathrm {T} }}$

ここで、クラス平均の平均です。この場合の方向のクラス分離は次のように表されます。 ${\displaystyle \mu }$${\displaystyle {\vec {w}}}$

${\displaystyle S={\frac {{\vec {w}}^{\mathrm {T} }\Sigma _{b}{\vec {w}}}{{\vec {w}}^{\mathrm {T} }\Sigma {\vec {w}}}}}$

これは、分離の固有ベクトルが対応する固有値に等しくなることを意味します。 ${\displaystyle {\vec {w}}}$${\displaystyle \Sigma ^{-1}\Sigma _{b}}$

が対角化可能な場合、特徴間の変動は、 C  − 1 個の最大固有値に対応する固有ベクトルによって張られる部分空間に含まれます(のランクは最大でもC  − 1 であるため)。これらの固有ベクトルは、PCA の場合と同様に、主に特徴削減に使用されます。より小さな固有値に対応する固有ベクトルは、トレーニング データの正確な選択に非常に敏感になる傾向があり、次のセクションで説明するように、正則化を使用する必要があることがよくあります。 ${\displaystyle \Sigma ^{-1}\Sigma _{b}}$${\displaystyle \Sigma _{b}}$

分類が必要な場合は、次元削減の代わりに、いくつかの代替手法を利用できます。たとえば、クラスを分割し、各パーティションを分類するために標準のフィッシャー判別式または LDA を使用できます。一般的な例としては、「1 対 1 残り」があります。これは、1 つのクラスのポイントを 1 つのグループに入れ、他のすべてを別のグループに入れて、LDA を適用するものです。これにより、C 分類器が生成され、その結果が結合されます。もう 1 つの一般的な方法は、ペアワイズ分類です。この方法では、クラスのペアごとに新しい分類器が作成され (合計でC ( C  − 1)/2 分類器が生成されます)、個々の分類器が結合されて最終的な分類が生成されます。

LDA 技術の一般的な実装では、すべてのサンプルが事前に利用可能である必要があります。ただし、データセット全体が利用できず、入力データがストリームとして観測される状況もあります。この場合、LDA 特徴抽出では、データセット全体でアルゴリズムを実行せずに、新しいサンプルを観測することによって、計算された LDA 特徴を更新できることが望ましいです。たとえば、モバイル ロボットやオンライン顔認識などの多くのリアルタイム アプリケーションでは、新しい観測が利用可能になるとすぐに、抽出された LDA 特徴を更新することが重要です。新しいサンプルを観測するだけで LDA 特徴を更新できる LDA 特徴抽出技術は、増分 LDA アルゴリズムであり、このアイデアは過去 20 年間にわたって広範に研究されてきました。^[20] Chatterjee と Roychowdhury は、LDA 特徴を更新するための増分自己組織化 LDA アルゴリズムを提案しました。^[21]他の研究では、Demir と Ozmehmet は、エラー訂正とヘブビアン学習規則を使用して LDA 特徴を増分的に更新するオンライン ローカル ラーニング アルゴリズムを提案しました。^[22]その後、Aliyariらは新しいサンプルを観察することでLDAの特徴を更新するための高速増分アルゴリズムを導出した。^[20]

実際には、クラス平均と共分散は不明です。ただし、トレーニング セットから推定できます。上記の式の正確な値の代わりに、最大尤度推定値または最大事後推定値を使用できます。共分散の推定値は、ある意味では最適であると考えられますが、正規分布クラスの仮定が正しい場合でも、これらの値を代入して得られる判別式がいかなる意味でも最適であることを意味するものではありません。

LDA とフィッシャーの判別式を実際のデータに適用する際のもう 1 つの複雑な問題は、各サンプルの測定回数 (つまり、各データ ベクトルの次元数) が各クラスのサンプル数を超える場合に発生します。^[5]この場合、共分散推定値はフル ランクを持たないため、逆行列を求めることはできません。これに対処する方法はいくつかあります。1 つは、上記の式で通常の逆行列の代わりに擬似逆行列を使用することです。ただし、最初に問題を が張る部分空間に投影することで、数値安定性が向上する場合があります。^{[23]サンプル サイズが小さい場合に対処するもう 1 つの戦略は、共分散行列の}収縮推定値 を使用することです。これは数学的に次のように表すことができます。 ${\displaystyle \Sigma _{b}}$

${\displaystyle \Sigma =(1-\lambda )\Sigma +\lambda I\,}$

ここで は単位行列、 は収縮強度または正則化パラメータである。これは、正則化判別分析^{[24]または収縮判別分析[25]}の枠組みにつながる。${\displaystyle I}$${\displaystyle \lambda }$

また、多くの実際のケースでは、線形判別式は適していません。LDA とフィッシャーの判別式は、カーネル トリックを介して非線形分類で使用できるように拡張できます。ここで、元の観測値は、より高次元の非線形空間に効果的にマッピングされます。この非線形空間での線形分類は、元の空間での非線形分類と同等になります。この最もよく使用される例は、カーネル フィッシャー判別式です。

LDA は多重判別分析に一般化することができ、ここでc は2 つの状態だけではなくNの状態を持つカテゴリ変数になります。同様に、クラス条件付き密度が共分散を共有する正規分布である場合、の十分な統計量はN個の投影の値であり、これはN個の平均が張る部分空間を逆共分散行列でアフィン投影したものです。これらの投影は一般化固有値問題 を解くことで見つけることができます。ここで分子は平均をサンプルとして扱うことで形成される共分散行列であり、分母は共有共分散行列です。詳細については、上記の「マルチクラス LDA」を参照してください。 ${\displaystyle p({\vec {x}}\mid c=i)}$${\displaystyle P(c\mid {\vec {x}})}$

以下に示す例に加えて、LDA はポジショニングや製品管理にも適用されます。

会計比率やその他の財務変数に基づく倒産予測において、線形判別分析は、どの企業が倒産し、どの企業が生き残ったかを体系的に説明するために適用された最初の統計的手法であった。線形判別分析の正規分布の仮定に対する会計比率の不一致などの制限があるにもかかわらず、エドワード・アルトマンの1968年のモデル^[26]は、実用化において今でも主要なモデルである。^{[27] [28] [29]}

コンピューターによる顔認識では、各顔は多数のピクセル値で表現されます。ここでは主に線形判別分析が使用され、分類前に特徴の数を管理しやすい数に減らします。新しい次元のそれぞれは、テンプレートを形成するピクセル値の線形結合です。フィッシャーの線形判別を使用して取得された線形結合はフィッシャー顔と呼ばれ、関連する主成分分析を使用して取得された線形結合は固有顔と呼ばれます。

マーケティングでは、かつては調査やその他の収集データに基づいて、異なるタイプの顧客や製品を区別する要因を決定するために判別分析がよく使用されていました。現在では、ロジスティック回帰やその他の方法の方が一般的に使用されています。マーケティングにおける判別分析の使用は、次の手順で説明できます。

1. 問題を定式化してデータを収集する -消費者がこのカテゴリの製品を評価するために使用する顕著な属性を特定する -定量的なマーケティング調査手法 (アンケートなど) を使用して、すべての製品属性の評価に関するデータを潜在的な顧客のサンプルから収集します。データ収集段階は通常、マーケティング調査の専門家によって行われます。調査の質問では、調査員が選択したさまざまな属性に基づいて、回答者に製品を 1 ～ 5 (または 1 ～ 7、または 1 ～ 10) で評価するよう求めます。選択される属性は 5 ～ 20 個です。使いやすさ、重量、正確さ、耐久性、色彩、価格、サイズなどが含まれます。選択される属性は、調査対象の製品によって異なります。調査のすべての製品について同じ質問がされます。複数の製品のデータがコード化され、R、SPSS、SASなどの統計プログラムに入力されます(この手順は因子分析の場合と同じです)。
2. 判別関数の係数を推定し、統計的有意性と妥当性を判断する - 適切な判別分析法を選択します。直接法では、すべての予測変数が同時に評価されるように判別関数を推定します。ステップワイズ法では、予測変数を順番に入力します。従属変数に 2 つのカテゴリまたは状態がある場合は、2 グループ法を使用する必要があります。従属変数に 3 つ以上のカテゴリ状態がある場合は、多重判別法を使用します。SPSS ではWilks のラムダを使用して、SAS では F 統計を使用して有意性を検定します。妥当性を検定する最も一般的な方法は、サンプルを推定または分析サンプルと、検証またはホールドアウト サンプルに分割することです。推定サンプルは、判別関数の作成に使用されます。検証サンプルは、正しく分類されたケースと誤って分類されたケースの数を含む分類マトリックスの作成に使用されます。正しく分類されたケースの割合は、ヒット率と呼ばれます。
3. 結果を 2 次元マップにプロットし、次元を定義して、結果を解釈します。統計プログラム (または関連モジュール) が結果をマップします。マップには各製品がプロットされます (通常は 2 次元空間)。製品間の距離は、製品がどれだけ異なるかを示します。次元は研究者がラベル付けする必要があります。これには主観的な判断が必要であり、非常に困難な場合がよくあります。知覚マッピングを参照してください。

医学における判別分析の主な用途は、患者の重症度と病気の予後を評価することです。たとえば、遡及分析では、患者は病気の重症度（軽症、中等症、重症）に応じてグループに分けられます。次に、臨床分析と検査分析の結果を調べて、これらのグループ内の統計的に異なる変数を明らかにします。これらの変数を使用して、将来の患者の病気の重症度を分類するための判別関数が構築されます。さらに、線形判別分析（LDA）は、データ拡張のためのより判別的なサンプルを選択するのに役立ち、分類のパフォーマンスを向上させます。^[30]

生物学では、同様の原理が、異なる生物学的対象物のグループを分類・定義するために使用されています。例えば、フーリエ変換赤外スペクトルに基づいてサルモネラ・エンテリティディスのファージタイプを定義したり、^[31]大腸菌の毒性因子を研究して動物由来のものを検出したり^[32]などです。

この方法は、変質ゾーンを分離するために使用することができます^{[説明が必要]}。たとえば、さまざまなゾーンからの異なるデータが利用可能な場合、判別分析はデータ内のパターンを見つけて効果的に分類することができます。^[33]

判別関数分析はロジスティック回帰と非常によく似ており、どちらも同じ研究上の質問に答えるために使用できます。^[10]ロジスティック回帰には、判別分析ほど多くの仮定や制限はありません。ただし、判別分析の仮定が満たされている場合は、ロジスティック回帰よりも強力です。^[34]ロジスティック回帰とは異なり、判別分析は小さなサンプルサイズで使用できます。サンプルサイズが等しく、分散/共分散の均一性が保たれている場合、判別分析の方が正確であることが示されています。^[8]これらすべての利点にもかかわらず、判別分析の仮定が満たされることはめったにないため、ロジスティック回帰が一般的な選択肢となっています。^{[9] [8]}

高次元における幾何学的異常は、よく知られている次元の呪いにつながる。しかし、測度の集中現象を適切に利用すれば、計算は容易になる。^{[35]こうした}次元の恩恵の重要な事例は 、ドノホとタナーによって強調された。つまり、サンプルが本質的に高次元であれば、指数関数的に大きなサンプルであっても、各点はサンプルの残りの部分から高い確率で線形不等式によって分離できるということである。^[36]これらの線形不等式は、豊富な確率分布族に対して、線形判別式の標準（フィッシャー）形式で選択することができる。^[37]特に、このような定理は、多次元正規分布を含む対数凹分布（証明は対数凹測度の集中不等式に基づく^{[38] ）と、多次元立方体上の積測度（これは積確率空間に対する}タラグランドの集中不等式を使用して証明される）に対して証明されている。古典的な線形判別によるデータの分離可能性は、高次元の人工知能システムのエラー訂正の問題を簡素化します。^[39]

• データマイニング
• 決定木学習
• 因子分析
• カーネルフィッシャー判別分析
• Logit（ロジスティック回帰）
• 線形回帰
• 多重判別分析
• 多次元尺度法
• パターン認識
• 嗜好回帰
• 二次分類器
• 統計分類

• Duda, RO; Hart, PE; Stork, DH (2000)。パターン分類（第2版）。Wiley Interscience。ISBN 978-0-471-05669-0. MR  1802993。
• Hilbe, JM (2009).ロジスティック回帰モデル. Chapman & Hall/CRC Press. ISBN 978-1-4200-7575-5。
• Mika, S.; et al. (1999). 「カーネルによるフィッシャー判別分析」。Neural Networks for Signal Processing IX: Proceedings of the 1999 IEEE Signal Processing Society Workshop (Cat. No.98TH8468) 。pp . 41–48。CiteSeerX 10.1.1.35.9904。doi  : 10.1109 / NNSP.1999.788121。ISBN 978-0-7803-5673-3. S2CID  8473401。{{cite book}}: CS1 maint: date and year (link)
• McFarland, H. Richard; Donald, St. P. Richards ( 2001). 「プラグイン正規二次判別関数の正確な誤分類確率。I. 等平均の場合」。多変量解析ジャーナル。77 (1): 21–53。doi : 10.1006/ jmva.2000.1924。
• McFarland, H. Richard; Donald, St. P. Richards ( 2002). 「プラグイン正規二次判別関数の正確な誤分類確率。II. 異質なケース」。多変量解析ジャーナル。82 (2): 299–330。doi : 10.1006 /jmva.2001.2034。
• Haghighat, M.; Abdel-Mottaleb, M.; Alhalabi, W. (2016). 「判別相関分析: マルチモーダル生体認証のためのリアルタイム特徴レベル融合」. IEEE Transactions on Information Forensics and Security . 11 (9): 1984–1996. doi :10.1109/TIFS.2016.2569061. S2CID  15624506.

Wikiversityには判別関数分析に関する学習リソースがあります

• ハギガット論文の判別相関分析（DCA）（上記参照）
• ALGLIB には、C# / C++ / Pascal / VBA でのオープンソースの LDA 実装が含まれています。
• Python での LDA - Python での LDA 実装
• MS Excel を使用した LDA チュートリアル
• 生物医学統計。判別分析
• StatQuest: 線形判別分析 (LDA) をYouTubeでわかりやすく解説
• コースノート、判別関数分析、G. David Garson、NC州立大学
• Kardi Teknomo による Microsoft Excel での判別分析チュートリアル
• デイビッド・W・ストックバーガー（ミズーリ州立大学）による判別関数分析の講義ノート、Wayback Machineに 2016-03-03 にアーカイブ
• 判別関数分析 (DA)、サンフランシスコ州立大学のジョン・ポールセンとアーロン・フレンチ