Loading article…
機械学習において、線形分類器は、各オブジェクトの特徴の線形結合に基づいて分類決定を行います。より簡単な定義としては、線形分類器とは、決定境界が線形である分類器のことです。このような分類器は、文書分類などの実用的な問題、そしてより一般的には多数の変数（特徴）を持つ問題によく機能し、非線形分類器に匹敵する精度レベルを達成しながら、トレーニングと使用にかかる時間が短くなります。[ 1 ]
分類器への入力特徴ベクトルが実数ベクトルである場合すると出力スコアは
どこは重みの実数ベクトルであり、fは 2 つのベクトルの内積を目的の出力に変換する関数です。（言い換えれば、1形式または線形関数写像（ R上に）重みベクトルはラベル付きトレーニングサンプルのセットから学習されます。多くの場合、fは閾値関数であり、すべての値をマッピングします。ある閾値を超える値を第1クラス、その他の値を第2クラスに分類します。例：
上付き文字 T は転置とはスカラー閾値です。より複雑なfは、ある項目が特定のクラスに属する確率を表す場合があります。
2クラス分類問題の場合、線形分類器の動作は、高次元の入力空間を超平面で分割するものとして視覚化できます。超平面の片側にあるすべての点は「はい」と分類され、それ以外の点は「いいえ」と分類されます。
線形分類器は、分類速度が問題となる状況でよく使用されます。これは、特に次のような場合に最も高速な分類器であることが多いからです。は疎です。また、線形分類器は、次元数がは、文書分類のように、各要素がは通常、文書内での単語の出現回数です（文書-単語行列を参照）。このような場合、分類器は適切に正則化されている必要があります。
線形分類器のパラメータを決定する方法は大きく分けて2種類あります。これらは生成モデルと識別モデルになり得る。 [ 2 ] [ 3 ]前者のモデルは同時確率分布をモデル化し、後者のモデルは条件付き密度関数をモデル化する。こうしたアルゴリズムの例としては、以下のようなものがある。
2つ目の手法群には、訓練データセットにおける出力品質を最大化しようとする識別モデルが含まれます。訓練コスト関数に項を追加することで、最終モデルの正則化を容易に行うことができます。線形分類器の識別訓練の例としては、以下のようなものがあります。
注: その名前にもかかわらず、LDA はこの分類法における識別モデルのクラスには属しません。しかし、LDA を他の主要な線形次元削減アルゴリズムである主成分分析(PCA) と比較すると、その名前は意味を持ちます。LDA はデータのラベルを利用する教師あり学習アルゴリズムであるのに対し、PCA はラベルを無視する教師なし学習アルゴリズムです。要約すると、その名前は歴史的な遺物です。[ 5 ]
判別学習は、条件付き密度関数をモデル化するよりも高い精度をもたらすことが多い。しかし、欠損データの処理は、条件付き密度モデルの方が容易な場合が多い。
上記に挙げた線形分類アルゴリズムはすべて、異なる入力空間で動作する非線形アルゴリズムに変換できる。カーネルトリックを使用します。
線形分類器の識別学習は通常、望ましい出力を持つトレーニングセットと、分類器の出力と望ましい出力との間の不一致を測定する損失関数が与えられた最適化アルゴリズムによって、教師あり学習で行われます。したがって、学習アルゴリズムは、 [ 1 ]の形式の最適化問題を解きます。
どこ
一般的な損失関数には、ヒンジ損失（線形SVMの場合）と対数損失（線形ロジスティック回帰の場合）があります。正則化関数Rが凸関数であれば、上記は凸問題です。[ 1 ]このような問題を解決するためのアルゴリズムは多数存在します。線形分類でよく使われるものには、（確率的）勾配降下法、L-BFGS、座標降下法、ニュートン法などがあります。
