統計分類

コンピュータによって 分類が実行される場合、通常、アルゴリズムの開発には統計的手法が使用されます。

多くの場合、個々の観察結果は、説明変数または特徴と呼ばれる一連の定量化可能なプロパティに分析されます。これらのプロパティは、カテゴリ（血液型の場合は「A」、「B」、「AB」、「O」など）、順序（「大きい」、「中」、「小さい」など）、整数値（電子メールでの特定の単語の出現回数など）、実数値（血圧の測定値など）など、さまざまな値になります。他の分類子は、類似性または距離関数を使用して、観察結果を以前の観察結果と比較することで機能します。

分類を実装するアルゴリズム、特に具体的な実装は、分類器と呼ばれます。「分類器」という用語は、入力データをカテゴリにマッピングする、分類アルゴリズムによって実装される数学関数を指すこともあります。

分野によって用語は多種多様です。統計学では、分類はロジスティック回帰や同様の手順で行われることが多く、観測値のプロパティは説明変数（または独立変数、回帰変数など）と呼ばれ、予測されるカテゴリは結果と呼ばれ、従属変数の可能な値と見なされます。機械学習では、観測値はインスタンスと呼ばれることが多く、説明変数は特徴（特徴ベクトルにグループ化）と呼ばれ、予測される可能性のあるカテゴリはクラスと呼ばれます。他の分野では異なる用語が使用される場合があります。たとえば、群集生態学では、「分類」という用語は通常、クラスター分析を指します。

分類とクラスタリングは、パターン認識のより一般的な問題の例です。パターン認識は、与えられた入力値に何らかの出力値を割り当てる問題です。他の例としては、各入力に実数値の出力を割り当てる回帰、値のシーケンスの各メンバーにクラスを割り当てるシーケンス ラベリング(たとえば、入力文の各単語に品詞を割り当てる品詞タグ付け)、入力文に構文木を割り当てて文の 統語構造を記述する構文解析などがあります。

分類の一般的なサブクラスは、確率的分類です。この種のアルゴリズムは、統計的推論を使用して、特定のインスタンスに最適なクラスを見つけます。単に「最適な」クラスを出力する他のアルゴリズムとは異なり、確率的アルゴリズムは、インスタンスが各可能なクラスのメンバーである確率を出力します。通常、最適なクラスは、最も高い確率を持つクラスとして選択されます。ただし、このようなアルゴリズムには、非確率的分類器に比べて多くの利点があります。

• 選択に関連付けられた信頼値を出力できます (一般に、これを実行できる分類器は、信頼度重み付け分類器と呼ばれます)。
• 同様に、特定の出力を選択する自信が低すぎる場合には、棄権することができます。
• 生成される確率のおかげで、確率的分類器は、エラー伝播の問題を部分的または完全に回避する方法で、より大規模な機械学習タスクに効果的に組み込むことができます。

統計的分類に関する初期の研究は、 2グループの問題を背景としてフィッシャーによって行われ、^{[1] [2]} 、新しい観測値にグループを割り当てる規則としてフィッシャーの線形判別関数が導き出されました。 ^[3]この初期の研究では、2つのグループのそれぞれ内のデータ値は多変量正規分布に従うと想定されていました。この同じ文脈を2つ以上のグループに拡張することも、分類規則が線形でなければならないという制限を課して検討されました。^{[3] [4]}多変量正規分布に関するその後の研究では、分類器を非線形にすることが可能になりました。^[5]マハラノビス距離の異なる調整に基づいて複数の分類規則を導き出すことができ、新しい観測値は、観測値からの調整距離が最も短い中心を持つグループに割り当てられます。

頻度主義の手順とは異なり、ベイズ分類の手順は、全体の集団内の異なるグループの相対的なサイズに関する利用可能な情報を考慮に入れる自然な方法を提供します。^[6]ベイズ手順は計算コストが高くなる傾向があり、マルコフ連鎖モンテカルロ計算が開発される前には、ベイズクラスタリングルールの近似値が考案されました。^[7]

一部のベイズ手順では、グループメンバーシップ確率の計算が行われます 。これにより、新しい観測ごとに単一のグループラベルを単純に割り当てるよりも有益な結果が得られます。

分類は、 2クラス分類と多クラス分類という2つの別々の問題として考えることができます。より理解しやすいタスクである2クラス分類では、2つのクラスのみが関係しますが、多クラス分類では、オブジェクトを複数のクラスのうちの1つに割り当てます。^[8]多くの分類方法は2クラス分類専用に開発されているため、多クラス分類では、多くの場合、複数の2クラス分類器を組み合わせて使用​​する必要があります。

ほとんどのアルゴリズムは、インスタンスの個々の測定可能なプロパティの特徴ベクトルを使用して、カテゴリを予測する個々のインスタンスを記述します。各プロパティは特徴と呼ばれ、統計学では説明変数（または独立変数、ただし特徴は統計的に独立している場合とそうでない場合があります）とも呼ばれます。特徴は、バイナリ（例：「オン」または「オフ」）、カテゴリ（例：血液型の場合、「A」、「B」、「AB」または「O」）、順序（例：「大きい」、「中」、「小さい」）、整数値（例：電子メールでの特定の単語の出現回数）、または実数値（例：血圧の測定値）など、さまざまな値になります。インスタンスが画像の場合、特徴値は画像のピクセルに対応します。インスタンスがテキストの場合、特徴値はさまざまな単語の出現頻度です。一部のアルゴリズムは離散データに対してのみ機能し、実数値または整数値のデータをグループ（5 未満、5 から 10 の間、または 10 より大きいなど）に 離散化する必要があります。

分類アルゴリズムの多くは、インスタンスの特徴ベクトルと重みベクトルをドット積で組み合わせることで、各カテゴリkにスコアを割り当てる線形関数として表現できます。予測されるカテゴリは、スコアが最も高いカテゴリです。このタイプのスコア関数は線形予測関数と呼ばれ、次の一般的な形式になります。 ここで、X _iはインスタンスiの特徴ベクトル、β _{k は}カテゴリkに対応する重みベクトル、 score( X _i , k ) はインスタンスi をカテゴリkに割り当てることに関連付けられたスコアです。離散選択理論では、インスタンスは人を表し、カテゴリは選択を表し、スコアは人iがカテゴリk を選択することに関連付けられた効用と見なされます。 $${\displaystyle \operatorname {スコア} (\mathbf {X} _{i},k)={\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i},}$$

この基本的な設定を持つアルゴリズムは線形分類器として知られています。これらを区別するのは、最適な重み/係数を決定 (トレーニング) する手順と、スコアを解釈する方法です。

このようなアルゴリズムの例としては、

• ロジスティック回帰 – バイナリ従属変数の統計モデル
  • 多項ロジスティック回帰 – 2つ以上の離散結果に対する回帰
• プロビット回帰 – 従属変数が2つの値しか取れない統計的回帰リダイレクト先の簡単な説明を表示するページ
• パーセプトロンアルゴリズム​
• サポートベクターマシン – 教師あり統計学習のための一連の手法
• 線形判別分析 – 統計学、パターン認識などの分野で使用される手法

すべてのデータセットに適した単一の分類方法は存在しないため、分類アルゴリズムの大規模なツールキットが開発されている。最も一般的に使用されるものは以下のとおりである。^[9]

• 人工ニューラルネットワーク – 連結された階層的関数に基づく機械学習で使用される計算モデルリダイレクト先の簡単な説明を表示するページ
• ブースティング（機械学習）  – 機械学習における手法
• ランダムフォレスト – ツリーベースのアンサンブル機械学習手法
• 遺伝的プログラミング – 自然の遺伝的プロセスに類似した技術を使用してコンピュータプログラムを進化させる
  • 遺伝子発現プログラミング – 進化アルゴリズム
  • 多式プログラミング
  • 線形遺伝的プログラミング – 遺伝的プログラミングアルゴリズムの一種フォールバックとしてウィキデータの説明を表示するページ
• カーネル推定 – ウィンドウ関数リダイレクト先の簡単な説明を表示するページ
  • k近傍法 – ノンパラメトリック分類法リダイレクト先の簡単な説明を表示するページ
• ベクトル量子化の学習
• 線形分類器 – 機械学習における統計的分類
  • フィッシャーの線形判別法 – 統計学、パターン認識などの分野で使われる手法リダイレクト先の簡単な説明を表示するページ
  • ロジスティック回帰 – バイナリ従属変数の統計モデル
  • ナイーブベイズ分類器 – 確率的分類アルゴリズム
  • パーセプトロン – バイナリ分類器の教師あり学習アルゴリズム
• 二次分類器 – 機械学習で2つ以上のオブジェクトのクラスの測定値を分離するために使用されるフォールバックとしてウィキデータの説明を表示するページ
• サポートベクターマシン – 教師あり統計学習のための一連の手法
  • 最小二乗サポートベクターマシン

さまざまなアルゴリズムの選択は、精度の定量的な評価に基づいて行われることが多い。

分類には多くの用途があります。その一部ではデータ マイニング手順として使用され、他の一部ではより詳細な統計モデリングが行われます。

• 生物学的分類 – 生物のグループを識別、記述、定義、命名する科学
• 生体認証リダイレクト先の簡単な説明を表示するページ- 人間の特徴の識別 に関連する指標
• コンピュータビジョン – 画像からのコンピュータによる情報抽出
  • 医療画像解析と医療画像診断 - 体の内部を視覚的に表現する技術とプロセス
  • 光学文字認識 – 視覚的なテキストのコンピュータ認識
  • ビデオトラッキング – ビデオのフレームを分析して移動する物体の位置を特定する
• 信用スコアリング – 個人の信用度を表す数値表現リダイレクト先の簡単な説明を表示するページ
• 文書分類 – 文書を分類するプロセス
• 医薬品の発見と開発 – 新しい医薬品を市場に投入するプロセス
  • トキシコゲノミクス – 毒物学とゲノミクスの分野フォールバックとしてウィキデータの説明を表示するページ
  • 定量的構造活性相関 - 予測化学モデルリダイレクト先の簡単な説明を表示するページ
• 地理統計学 – 空間データセットに焦点を当てた統計学の分野
• 手書き認識 – コンピュータが理解可能な手書き入力を受信して​​解釈する能力
• インターネット検索エンジン
• マイクロアレイ分類
• パターン認識 – データ内のパターンと規則性の自動認識
• レコメンデーションシステム – ユーザーの嗜好を予測する情報フィルタリングシステム
• 音声認識 – 話し言葉をテキストに自動変換
• 統計的自然言語処理 – 言語学とコンピュータサイエンスの分野リダイレクト先の簡単な説明を表示するページ

ウィキメディア・コモンズには、統計分類に関連するメディアがあります。