ベクトル量子化の学習

コンピュータ サイエンスにおいて、学習ベクトル量子化( LVQ ) はプロトタイプ ベースの 教師あり 分類 アルゴリズムです。LVQ はベクトル量子化システム の教師あり版です。

LVQは人工ニューラルネットワークの特殊なケースとして理解することができ、より正確には、勝者総取りの ヘブビアン学習ベースのアプローチを適用します。これは自己組織化マップ（SOM）の前身であり、ニューラルガスやk近傍法（k-NN）に関連しています。LVQはTeuvo Kohonenによって発明されました。^[1]

LVQ システムは、観測データの特徴空間で定義されるプロトタイプによって表されます。勝者総取りのトレーニング アルゴリズムでは、各データ ポイントについて、指定された距離測定に従って入力に最も近いプロトタイプを決定します。このいわゆる勝者プロトタイプの位置は調整されます。つまり、勝者はデータ ポイントを正しく分類した場合は近づき、データ ポイントを誤って分類した場合は遠ざけられます。 ${\displaystyle W=(w(i),...,w(n))}$

LVQの利点は、それぞれのアプリケーション分野の専門家にとって解釈しやすいプロトタイプを作成できることです。^[2] LVQシステムは、自然な方法で 多クラス分類問題 に適用できます。

LVQ における重要な問題は、トレーニングと分類のための適切な距離または類似性の尺度を選択することです。最近では、システムのトレーニング中にパラメータ化された距離尺度を適応させる技術が開発されています。たとえば、(Schneider、Biehl、Hammer、2009) ^[3]およびその中の参考文献を参照してください。

LVQ はテキスト文書の分類に非常に役立ちます。^{[引用が必要]}

以下に簡単な説明を示します。
アルゴリズムは 3 つの基本ステップで構成されます。アルゴリズムの入力は次のとおりです。

• システムが持つニューロンの数（最も単純なケースではクラスの数に等しい）${\displaystyle M}$
• 各ニューロンの重み${\displaystyle {\vec {w_{i}}}}$${\displaystyle i=0,1,...,M-1}$
• 各ニューロンに対応するラベル${\displaystyle c_{i}}$${\displaystyle {\vec {w_{i}}}}$
• ニューロンがどれだけ速く学習しているか${\displaystyle \eta}$
• ラベルが既にわかっているすべてのベクトルを含む入力リスト（トレーニング セット）。${\displaystyle L}$

アルゴリズムの流れは次のとおりです。

1. の次の入力（ラベル付き）について、最も近いニューロン、つまり 、使用されるメトリック（ユークリッドなど）がどこにあるかを検索します。${\displaystyle {\vec {x}}}$${\displaystyle y}$${\displaystyle L}$${\displaystyle {\vec {w_{m}}}}$
   ${\displaystyle d({\vec {x}},{\vec {w_{m}}})=\min \limits _{i}{d({\vec {x}},{\vec {w_{i}}})}}$${\displaystyle \,d}$

• 自己組織化マップと特徴シーケンスの学習ベクトル量子化、Somervuo と Kohonen。2004 (pdf)

• コホーネンと彼のチームによる lvq_pak 公式リリース (1996)