パターン認識

パターン認識は、データから抽出されたパターンに基づいて観察にクラスを割り当てるタスクです。パターン認識 (PR) はパターン マシン (PM) と似ていますが、混同しないでください。パターン マシンは (PR) 機能を備えている場合もありますが、主な機能は出現パターンを区別して作成することです。PR は、統計データ解析、信号処理、画像解析、情報検索、バイオインフォマティクス、データ圧縮、コンピューター グラフィックス、機械学習に応用されています。パターン認識は、統計学と工学に起源を持ちます。パターン認識への最近のアプローチには、ビッグ データが利用できるようになり、処理能力が新たに豊富になったため、機械学習の使用が含まれます。

パターン認識システムは、通常、ラベル付きの「トレーニング」データからトレーニングされます。ラベル付きのデータが利用できない場合は、他のアルゴリズムを使用して、これまで知られていなかったパターンを発見できます。KDDとデータ マイニングは、教師なし手法に重点を置いており、ビジネス用途との結びつきが強いです。パターン認識は、信号に重点を置いており、取得と信号処理も考慮に入れています。これはエンジニアリングで生まれた用語で、コンピューター ビジョンの分野ではよく使われています。主要なコンピューター ビジョン カンファレンスは、Conference on Computer Vision and Pattern Recognitionと呼ばれています。

機械学習では、パターン認識は与えられた入力値にラベルを割り当てることです。統計学では、判別分析が1936年に同じ目的で導入されました。パターン認識の例としては分類が挙げられます。分類では、与えられたクラスのセットの1つに各入力値を割り当てようとします（たとえば、与えられた電子メールが「スパム」であるかどうかを判断します）。パターン認識は、他の種類の出力も含むより一般的な問題です。他の例としては、各入力に実数値の出力を割り当てる回帰、 ^[1]シーケンスラベリング（値のシーケンスの各メンバーにクラスを割り当てる^）[2]（たとえば、品詞タグ付け（入力文の各単語に品詞を割り当てる））、および構文解析（入力文に構文木を割り当てて文の統語構造を記述する） ^{[3]などがあります。}

パターン認識アルゴリズムは、一般的に、すべての可能な入力に対して妥当な回答を提供し、統計的変動を考慮しながら入力の「最も可能性の高い」マッチングを実行することを目的としています。これは、入力と既存のパターンとの完全な一致を探すパターン マッチングアルゴリズムとは対照的です。パターン マッチング アルゴリズムの一般的な例は、テキスト データ内の特定の種類のパターンを探す正規表現マッチングであり、多くのテキスト エディターやワード プロセッサの検索機能に含まれています。

パターン認識の現代的な定義は次のとおりです。

パターン認識の分野は、コンピュータアルゴリズムを使用してデータ内の規則性を自動的に発見し、これらの規則性を使用してデータをさまざまなカテゴリに分類するなどのアクションを実行することに関係しています。^[4]

パターン認識は、一般的に、出力値を生成するために使用される学習手順のタイプに従って分類されます。教師あり学習では、正しい出力で適切に手作業でラベル付けされたインスタンスのセットで構成されるトレーニング データ セット (トレーニング セット) が提供されていることを前提としています。次に、学習手順によって、時には矛盾する 2 つの目的を達成しようとするモデルが生成されます。トレーニング データに対して可能な限り優れたパフォーマンスを発揮し、新しいデータに対して可能な限り一般化すること (通常、これは可能な限り単純であることを意味します。「単純」の技術的な定義は、以下で説明するオッカムの剃刀に従います)。一方、教師なし学習では、手作業でラベル付けされていないトレーニング データを想定し、新しいデータ インスタンスの正しい出力値を決定するために使用できるデータ内の固有のパターンを見つけようとします。 ^[5]これまでに検討されている 2 つの組み合わせは、ラベル付きデータとラベルなしデータの組み合わせ (通常は、ラベル付きデータの小さなセットと大量のラベルなしデータの組み合わせ) を使用する半教師あり学習です。教師なし学習の場合、トレーニング データがまったく存在しないこともあります。

同じ種類の出力に対する対応する教師あり学習手順と教師なし学習手順を説明するために、異なる用語が使用されることがあります。分類の教師なし同等のものは、通常、クラスタリングとして知られています。これは、タスクにはトレーニング データはほとんど含まれず、各入力インスタンスを一連の定義済みクラスの 1 つに割り当てるのではなく、何らかの固有の類似性尺度(多次元ベクトル空間内のベクトルとして考えられたインスタンス間の距離など) に基づいて入力データをクラスターにグループ化するという一般的な認識に基づいています。分野によっては、用語が異なります。群集生態学では、分類という用語は、一般に「クラスタリング」として知られているものを指すために使用されます。

出力値が生成される入力データは、正式にはインスタンスと呼ばれます。インスタンスは、インスタンスの既知の特性すべてを記述する特徴のベクトルによって正式に記述されます。これらの特徴ベクトルは、適切な多次元空間内の定義点と見なすことができ、ドット積や 2 つのベクトル間の角度を計算するなど、ベクトル空間内のベクトルを操作する方法をそれに応じて適用できます。特徴は通常、カテゴリ(名目値とも呼ばれ、順序付けられていない項目のセットの 1 つで構成されます。たとえば、「男性」または「女性」の性別、または「A」、「B」、「AB」または「O」の血液型など)、順序(順序付けられた項目のセットの 1 つで構成されます。たとえば、「大きい」、「中」、「小さい」など)、整数値(たとえば、電子メール内の特定の単語の出現回数)、または実数値(たとえば、血圧の測定値) のいずれかです。多くの場合、カテゴリデータと順序データはグループ化されますが、これは整数値データと実数値データにも当てはまります。多くのアルゴリズムはカテゴリデータのみを対象としており、実数値または整数値のデータをグループ (5 未満、5 から 10 の間、10 より大きいなど) に分割する必要があります。

一般的なパターン認識アルゴリズムの多くは、統計的推論を使用して特定のインスタンスに最適なラベルを見つけるという点で、本質的に確率的です。単に「最適な」ラベルを出力する他のアルゴリズムとは異なり、確率アルゴリズムは多くの場合、指定されたラベルによってインスタンスが説明される確率も出力します。さらに、多くの確率アルゴリズムは、単一の最適なラベルではなく、 Nの値に対するN個の最適なラベルとそれに関連する確率のリストを出力します。可能なラベルの数がかなり少ない場合 (分類の場合など)、Nを設定して、すべての可能なラベルの確率が出力されることがあります。確率アルゴリズムには、非確率アルゴリズムに比べて多くの利点があります。

• 選択に関連付けられた信頼度値が出力されます。(他のアルゴリズムでも信頼度値が出力されることがありますが、一般的に、確率アルゴリズムの場合のみ、この値は確率理論に数学的に根拠づけられます。非確率的信頼度値には、一般的に特定の意味を与えることはできず、同じアルゴリズムによって出力された他の信頼度値と比較するためにのみ使用されます。)
• 同様に、特定の出力を選択することに対する信頼度が低すぎる場合には、棄権することができます。
• 確率出力により、確率的パターン認識アルゴリズムは、エラー伝播の問題を部分的または完全に回避する方法で、より大規模な機械学習タスクに効果的に組み込むことができます。

特徴選択アルゴリズムは、冗長な、または無関係な特徴を直接取り除こうとする。特徴選択のアプローチと課題をまとめた一般的な紹介がすでに行われている。^[6]特徴選択の複雑さは、その非単調な性質のため、特徴の総数が与えられた場合に、特徴のすべてのサブセットからなるべき集合を探索する必要がある最適化問題である。分岐限定アルゴリズム^[7]はこの複雑さを軽減するが、利用可能な特徴の数が中程度から大きい値の場合、扱いにくい。${\displaystyle n}$${\displaystyle 2^{n}-1}$${\displaystyle n}$

パターン マッチング アルゴリズムを適用する前に、生の特徴ベクトルを変換する手法 (特徴抽出) が使用されることがあります。特徴抽出アルゴリズムは、主成分分析(PCA)などの数学的手法を使用して、高次元の特徴ベクトルを、扱いやすく冗長性が少ない低次元のベクトルに縮小しようとします。特徴選択と特徴抽出の違いは、特徴抽出後に得られる特徴は元の特徴とは異なる種類のものであり、簡単に解釈できない可能性があるのに対し、特徴選択後に残る特徴は元の特徴のサブセットにすぎないことです。

パターン認識の問題は、次のように述べることができます。入力インスタンスを出力ラベル にマッピングする未知の関数(グラウンド トゥルース)と、マッピングの正確な例を表すと想定されるトレーニング データが与えられた場合、正しいマッピング にできるだけ近似する関数を生成します。(たとえば、問題がスパムのフィルタリングである場合、 は電子メールの何らかの表現であり、「スパム」または「非スパム」のいずれかです)。この問題が明確に定義されるためには、「できるだけ近似する」が厳密に定義される必要があります。決定理論では、これは、誤ったラベルを生成することによって生じる「損失」に特定の値を割り当てる損失関数またはコスト関数を指定することによって定義されます。目標は、の確率分布にわたる期待値で、期待損失を最小化することです。実際には、 の分布もグラウンド トゥルース関数も正確にはわかっていませんが、 のサンプルを大量に収集し、 の正しい値を使用して手動でラベル付けすることによってのみ経験的に計算できます (時間のかかるプロセスであり、収集できるこの種のデータの量を制限する要因となるのが一般的です)。特定の損失関数は、予測されるラベルの種類によって異なります。たとえば、分類の場合、単純な0 対 1の損失関数で十分な場合がよくあります。これは、誤ったラベル付けに損失 1 を割り当てることに相当し、最適な分類器が独立したテスト データに対するエラー率を最小化することを意味します (つまり、学習した関数が誤ってラベル付けしたインスタンスの割合をカウントアップします。これは、正しく分類されたインスタンスの数を最大化するのと同じです)。学習手順の目標は、"一般的な" テスト セットに対する エラー率を最小化する (正確さを最大化する) ことです。${\displaystyle g:{\mathcal {X}}\rightarrow {\mathcal {Y}}}$${\displaystyle {\boldsymbol {x}}\in {\mathcal {X}}}$${\displaystyle y\in {\mathcal {Y}}}$${\displaystyle \mathbf {D} =\{({\boldsymbol {x}}_{1},y_{1}),\dots ,({\boldsymbol {x}}_{n},y_{n})\}}$${\displaystyle h:{\mathcal {X}}\rightarrow {\mathcal {Y}}}$${\displaystyle g}$${\displaystyle {\boldsymbol {x}}_{i}}$${\displaystyle y}$${\displaystyle {\mathcal {X}}}$${\displaystyle {\mathcal {X}}}$${\displaystyle g:{\mathcal {X}}\rightarrow {\mathcal {Y}}}$${\displaystyle {\mathcal {X}}}$${\displaystyle {\mathcal {Y}}}$${\displaystyle h:{\mathcal {X}}\rightarrow {\mathcal {Y}}}$

確率的パターン認識器の場合、問題は特定の入力インスタンスが与えられた場合に各可能な出力ラベルの確率を推定すること、すなわち、次の形式の関数を推定することである。

${\displaystyle p({\rm {label}}|{\boldsymbol {x}},{\boldsymbol {\theta }})=f\left({\boldsymbol {x}};{\boldsymbol {\theta }}\right)}$

ここで特徴ベクトル入力は であり、関数fは通常いくつかのパラメータ によってパラメータ化されます。^[8]この問題に対する識別的アプローチでは、 f は直接推定されます。一方、生成的アプローチでは、逆確率が推定され、ベイズの規則を用いて事前確率と次のように組み合わせられます。 ${\displaystyle {\boldsymbol {x}}}$${\displaystyle {\boldsymbol {\theta }}}$${\displaystyle p({{\boldsymbol {x}}|{\rm {label}}})}$ ${\displaystyle p({\rm {label}}|{\boldsymbol {\theta }})}$

${\displaystyle p({\rm {label}}|{\boldsymbol {x}},{\boldsymbol {\theta }})={\frac {p({{\boldsymbol {x}}|{\rm {label,{\boldsymbol {\theta }}}}})p({\rm {label|{\boldsymbol {\theta }}}})}{\sum _{L\in {\text{all labels}}}p({\boldsymbol {x}}|L)p(L|{\boldsymbol {\theta }})}}.}$

ラベルが連続的に分布している場合（例えば、回帰分析）、分母には合計ではなく積分が含まれます。

${\displaystyle p({\rm {label}}|{\boldsymbol {x}},{\boldsymbol {\theta }})={\frac {p({{\boldsymbol {x}}|{\rm {label,{\boldsymbol {\theta }}}}})p({\rm {label|{\boldsymbol {\theta }}}})}{\int _{L\in {\text{all labels}}}p({\boldsymbol {x}}|L)p(L|{\boldsymbol {\theta }})\operatorname {d} L}}.}$

の値は、通常、最大事後確率(MAP) 推定を使用して学習されます。これは、トレーニング データで可能な限り最高のパフォーマンスを発揮すること (最小のエラー率) と、可能な限り単純なモデルを見つけることという、2 つの矛盾する目的を同時に満たす最適な値を見つけます。基本的に、これは最大尤度推定と、より複雑なモデルよりも単純なモデルを優先する正則化手順を組み合わせたものです。ベイジアンのコンテキストでは、正則化手順は、のさまざまな値に事前確率を設定することと見なすことができます。数学的には、次のようになります。 ${\displaystyle {\boldsymbol {\theta }}}$ ${\displaystyle p({\boldsymbol {\theta }})}$${\displaystyle {\boldsymbol {\theta }}}$

${\displaystyle {\boldsymbol {\theta }}^{*}=\arg \max _{\boldsymbol {\theta }}p({\boldsymbol {\theta }}|\mathbf {D} )}$

ここで、はその後の評価手順で使用される値であり、の事後確率は次のように与えられる。 ${\displaystyle {\boldsymbol {\theta }}^{*}}$${\displaystyle {\boldsymbol {\theta }}}$${\displaystyle p({\boldsymbol {\theta }}|\mathbf {D} )}$${\displaystyle {\boldsymbol {\theta }}}$

${\displaystyle p({\boldsymbol {\theta }}|\mathbf {D} )=\left[\prod _{i=1}^{n}p(y_{i}|{\boldsymbol {x}}_{i},{\boldsymbol {\theta }})\right]p({\boldsymbol {\theta }}).}$

この問題に対するベイズアプローチでは、単一のパラメータベクトル を選択する代わりに、事後確率に応じて重み付けされた のすべての可能な値にわたって積分することによって、新しいインスタンスの特定のラベルの確率が計算されます。 ${\displaystyle {\boldsymbol {\theta }}^{*}}$${\displaystyle {\boldsymbol {x}}}$${\displaystyle {\boldsymbol {\theta }}}$

${\displaystyle p({\rm {label}}|{\boldsymbol {x}})=\int p({\rm {label}}|{\boldsymbol {x}},{\boldsymbol {\theta }})p({\boldsymbol {\theta }}|\mathbf {D} )\operatorname {d} {\boldsymbol {\theta }}.}$

最初のパターン分類器であるフィッシャーが提案した線形判別は、頻度主義の伝統の中で開発されました。頻度主義アプローチでは、モデル パラメータは未知ですが客観的であると見なされます。パラメータは収集されたデータから計算 (推定) されます。線形判別の場合、これらのパラメータは正確には平均ベクトルと共分散行列です。また、各クラスの確率は収集されたデータセットから推定されます。パターン分類器で「ベイズ ルール」を使用しても、分類アプローチがベイズ的になるわけではないこと に注意してください。${\displaystyle p({\rm {label}}|{\boldsymbol {\theta }})}$

ベイズ統計は、すでに「先験的」知識と「後験的」知識が区別されていたギリシャ哲学に起源を持ちます。後にカントは、観察前に先験的に知られていることと、観察から得られる経験的知識との区別を定義しました。ベイズパターン分類器では、クラス確率はユーザーが選択でき、それが先験的です。さらに、先験的パラメータ値として定量化された経験は、ベータ分布（共役事前分布）やディリクレ分布などを使用して、経験的観察で重み付けできます。ベイズアプローチは、主観的確率の形での専門知識と客観的観察とのシームレスな混合を促進します。 ${\displaystyle p({\rm {label}}|{\boldsymbol {\theta }})}$

確率的パターン分類器は、頻度主義的アプローチまたはベイズ的アプローチに従って使用できます。

医学では、パターン認識はコンピュータ支援診断（CAD）システムの基礎となっています。CADは、医師の解釈と所見をサポートする手順を記述します。パターン認識技術の他の一般的な応用としては、自動音声認識、話者識別、テキストの複数のカテゴリへの分類（スパムメールか非スパムメールかなど）、郵便封筒の手書きの自動認識、人の顔画像の自動認識、医療フォームからの手書き画像抽出などがあります。^{[9] [10]}最後の2つの例は、パターン認識システムへの入力としてデジタル画像を扱うパターン認識のサブトピック画像分析を形成します。 ^{[11] [12]}

光学文字認識は、パターン分類器の応用例です。署名方法は、1990 年からスタイラスとオーバーレイで記録されるようになりました。^{[引用が必要]}ストローク、速度、相対最小値、相対最大値、加速度、圧力を使用して、一意に識別し、本人確認を行います。この技術は当初銀行に提供されましたが、銀行詐欺に対して FDIC から徴収することに満足しており、顧客に迷惑をかけたくありませんでした。^{[引用が必要]}

パターン認識は、画像処理において多くの実世界で応用されています。例としては次のようなものがあります。

• 識別と認証：例えば、ナンバープレート認識、^[13]、指紋分析、顔検出/検証、^[14]、音声認証^[15]など。
• 医学的診断：例えば、子宮頸がんのスクリーニング（パプネット）、^[16]乳がんや心音の検査など。
• 防衛：各種航法・誘導システム、目標認識システム、形状認識技術など
• モビリティ：先進運転支援システム、自律走行車技術など^{[17] [18] [19] [20] [21]}

心理学では、パターン認識は物体を理解して識別するために使用され、知覚と密接に関連しています。これは、人間が受け取る感覚入力が意味を持つようになる仕組みを説明しています。パターン認識は、2つの異なる方法で考えることができます。1つ目はテンプレートマッチングに関するもので、2つ目は特徴検出に関するものです。テンプレートとは、同じ比率のアイテムを作成するために使用されるパターンです。テンプレートマッチング仮説は、入力された刺激が長期記憶内のテンプレートと比較されることを示唆しています。一致した場合、刺激が識別されます。文字を分類するためのパンデモニウムシステム（Selfridge、1959）などの特徴検出モデルは、刺激が識別のために構成要素に分解されることを示唆しています。1つの観察結果は、大文字のEに3本の水平線と1本の垂直線があることです。^[22]

パターン認識のアルゴリズムは、ラベル出力のタイプ、学習が教師あり学習か教師なし学習か、アルゴリズムが統計的か非統計的かによって異なります。統計アルゴリズムは、さらに生成的または識別的に分類できます。

パラメトリック: ^[23]

• 線形判別分析
• 二次判別分析
• 最大エントロピー分類器(別名:ロジスティック回帰、多項ロジスティック回帰): ロジスティック回帰はその名前にもかかわらず、分類のためのアルゴリズムであることに注意してください。(ロジスティック回帰は線形回帰モデルの拡張を使用して、入力が特定のクラスに含まれる確率をモデル化することからその名前が付けられています。)

ノンパラメトリック: ^[24]

• 決定木、決定リスト
• カーネル推定とK近傍法アルゴリズム
• ナイーブベイズ分類器
• ニューラルネットワーク（多層パーセプトロン）
• パーセプトロン
• サポートベクターマシン
• 遺伝子発現プログラミング

• カテゴリ混合モデル
• 階層的クラスタリング（凝集型または分割型）
• K平均法クラスタリング
• 相関クラスタリング
• カーネル主成分分析(カーネル PCA)

• ブースティング（メタアルゴリズム）
• ブートストラップ集約（「バギング」）
• アンサンブル平均化
• 専門家の混合、専門家の階層的混合

• ベイジアンネットワーク
• マルコフ確率場

監督なし:

• 多重線型主成分分析(MPCA)

• カルマンフィルタ
• 粒子フィルター

• ガウス過程回帰（クリギング）
• 線形回帰と拡張
• 独立成分分析(ICA)
• 主成分分析（PCA）

• 条件付きランダムフィールド（CRF）
• 隠れマルコフモデル(HMM)
• 最大エントロピーマルコフモデル（MEMM）
• リカレントニューラルネットワーク(RNN)
• ダイナミックタイムワーピング（DTW）

• 福永 啓之助 (1990)。統計的パターン認識入門（第2版）。ボストン：アカデミック・プレス。ISBN 978-0-12-269851-4。
• Hornegger, Joachim; Paulus, Dietrich WR (1999)。応用パターン認識: C++ による画像および音声処理の実践入門(第 2 版)。サンフランシスコ: Morgan Kaufmann Publishers。ISBN 978-3-528-15558-2。
• シュールマン、ユルゲン（1996）。パターン分類：統計的アプローチとニューラルアプローチの統一的見解。ニューヨーク：ワイリー。ISBN 978-0-471-13534-0。
• Godfried T. Toussaint編 (1988)。計算形態学。アムステルダム: North-Holland Publishing Company。ISBN 9781483296722。
• Kulikowski, Casimir A.; Weiss, Sholom M. (1991)。学習するコンピュータシステム: 統計、ニューラルネット、機械学習、エキスパートシステムからの分類と予測方法。サンフランシスコ: Morgan Kaufmann Publishers。ISBN 978-1-55860-065-2。
• Duda, Richard O.; Hart, Peter E.; Stork, David G. (2000). パターン分類 (第 2 版). Wiley-Interscience. ISBN 978-0471056690。
• Jain, Anil.K.; Duin, Robert.PW; Mao, Jianchang (2000). 「統計的パターン認識: レビュー」. IEEE Transactions on Pattern Analysis and Machine Intelligence . 22 (1): 4–37. CiteSeerX  10.1.1.123.8151 . doi :10.1109/34.824819. S2CID  192934.
• 分類器の入門チュートリアル（基本用語の紹介と数値例）
• Kovalevsky, VA (1980)。画像パターン認識。ニューヨーク、NY: Springer New York。ISBN 978-1-4612-6033-2. OCLC  852790446.

• 国際パターン認識協会
• パターン認識ウェブサイトのリスト
• パターン認識研究ジャーナル 2008-09-08ウェイバックマシンにアーカイブ
• パターン認識情報
• パターン認識 (パターン認識学会誌)
• 国際パターン認識と人工知能ジャーナル 2004-12-11ウェイバックマシンにアーカイブ
• 国際応用パターン認識ジャーナル
• オープンパターン認識プロジェクトは、パターン認識のアルゴリズムを共有するためのオープンソースプラットフォームとなることを目指しています。
• 高速パターンマッチングの改善 高速パターンマッチングの改善