パターン認識のための事前知識

パターン認識は、機械学習と密接に関連する非常に活発な研究分野です。分類または統計的分類とも呼ばれるパターン認識は、入力パターンのクラスを判定できる分類器を構築することを目的としています。トレーニングと呼ばれるこの手順は、入力と出力のペアのセットのみに基づいて未知の決定関数を学習することに相当します。${\displaystyle ({\boldsymbol {x}}_{i},y_{i})}$これらは訓練データ（または訓練セット）を構成します。しかしながら、文字認識などの実際のアプリケーションでは、問題に関する一定量の情報が事前に分かっているのが一般的です。この事前知識を訓練に組み込むことが、多くのアプリケーションでパフォーマンス向上を可能にする重要な要素となります。

事前知識^{[ 1 ]}とは、トレーニングデータに加えて利用可能な問題に関するすべての情報を指します。しかし、この最も一般的な形式では、事前知識なしに有限個のサンプルからモデルを決定することは、一意のモデルが存在しない可能性があるという意味で、不適切問題です。多くの分類器は、トレーニングサンプルの1つに類似したテストパターンが同じクラスに割り当てられる傾向があるという一般的な平滑性仮定を取り入れています。

機械学習における事前知識の重要性は、探索と最適化におけるその役割からも示唆される。大まかに言えば、「ノー・フリー・ランチ定理」は、すべての探索アルゴリズムはすべての問題に対して同じ平均性能を持つことを示しており、したがって、特定のアプリケーションで性能を向上させるには、その問題に関する事前知識を含む特殊なアルゴリズムを使用する必要があることを意味している。

パターン認識において遭遇する様々な種類の事前知識は、現在ではクラス不変性とデータに関する知識という2つの主要なカテゴリに再分類されている。

パターン認識における非常に一般的な事前知識の一つは、入力パターンの変換に対するクラス（または分類器の出力）の不変性です。この種の知識は変換不変性と呼ばれます。画像認識で最もよく使用される変換は次のとおりです。

• 翻訳;
• 回転;
• 歪む;
• スケーリング。

変換に不変性を組み込む${\displaystyle T_{\theta }:{\boldsymbol {x}}\mapsto T_{\theta }{\boldsymbol {x}}}$パラメータ化された${\displaystyle \theta }$ 出力の分類器へ${\displaystyle f({\boldsymbol {x}})}$入力パターンに対して${\displaystyle {\boldsymbol {x}}}$平等を強制することに相当する

${\displaystyle f({\boldsymbol {x}})=f(T_{\theta }{\boldsymbol {x}}),\quad \forall {\boldsymbol {x}},\theta .}$

を中心とする変換に対しても局所的不変性を考慮することができる。${\displaystyle \theta =0}$、 となることによって${\displaystyle T_{0}{\boldsymbol {x}}={\boldsymbol {x}}}$制約を使用することにより

$\displaystyle \left.{\frac {\partial }{\partial \theta }}\right|_{\theta =0}f(T_{\theta }{\boldsymbol {x}})=0.}$

機能${\displaystyle f}$これらの式において、は分類器の決定関数、またはその実数値出力のいずれかである。

別のアプローチとしては、変換ではなく「入力空間のドメイン」に関してクラス不変性を考慮する方法がある。この場合、問題は次のようになる。${\displaystyle f}$となることによって

${\displaystyle f({\boldsymbol {x}})=y_{\mathcal {P}},\ \forall {\boldsymbol {x}}\in {\mathcal {P}},}$

どこ${\displaystyle y_{\mathcal {P}}}$地域の会員区分です${\displaystyle {\mathcal {P}}}$入力空間の。

パターン認識において見られる別のタイプのクラス不変性として、順列不変性、すなわち構造化された入力における要素の順列に対するクラスの不変性があります。この種の事前知識の典型的な応用例は、行列入力の行の順列に対して不変な分類器です。

クラス不変性以外の事前知識の形態は、より具体的にデータに関わるものであり、したがって実世界のアプリケーションにとって特に重要です。データ収集時に最も頻繁に発生する3つの具体的なケースは次のとおりです。

• ラベルのないサンプルには、推定されるクラス分類が示されています。
• あるクラスのサンプルが過剰に多いために、トレーニングセットに不均衡が生じている。
• データの質はサンプルごとに異なる場合がある。

これらの事前知識を学習に組み込むことで、認識精度を向上させることができます。さらに、一部のデータの質が低いことや、クラス間の大きな不均衡を考慮しないと、分類器の判断が誤る可能性があります。

• E. Krupka、N. Tishby、「特徴に関する事前知識を学習に組み込む」、第11回人工知能と統計に関する国際会議（AISTATS 07）