コンピュータビジョン

固体物理学は、コンピュータビジョンと密接に関連するもう1つの分野です。ほとんどのコンピュータビジョンシステムは、可視光、赤外線、または紫外線のいずれかの形で電磁放射を検出するイメージセンサーに依存しています。センサーは量子物理学を使用して設計されています。光が表面と相互作用するプロセスは、物理学を使用して説明されます。物理学は、ほとんどのイメージングシステムのコア部分である光学の挙動を説明します。高度なイメージセンサーは、画像形成プロセスを完全に理解するために量子力学さえ必要とします。 [ 11 ^]また、流体の動きなど、物理学におけるさまざまな測定問題をコンピュータビジョンを使用して解決できます。

物体検出におけるニューラルネットワークの学習の簡略化された例：このネットワークは、ヒトデとウニを描いた複数の画像で学習され、これらの画像は視覚的特徴を表す「ノード」と関連付けられています。ヒトデは環状のテクスチャと星形の輪郭で識別され、ほとんどのウニは縞模様のテクスチャと楕円形で識別されます。しかし、環状のテクスチャを持つウニが存在すると、両者の間に弱い重み付けの関連付けが生じます。

入力画像に対するネットワークのその後の実行（左）：^{[ 21 ]}ネットワークはヒトデを正しく検出します。しかし、リング状のテクスチャとウニの間の弱い重み付けの関連付けにより、2 つの中間ノードの 1 つからウニに弱い信号が与えられます。さらに、トレーニングに含まれていない貝殻は楕円形に弱い信号を与え、その結果、ウニの出力にも弱い信号が生じます。これらの弱い信号により、ウニの偽陽性結果が生じる可能性があります。実際には、テクスチャと輪郭は単一のノードではなく、複数のノードの関連付けられた重みパターンによって表現されます。

神経生物学は、コンピュータビジョンアルゴリズムの開発に大きな影響を与えてきました。過去1世紀にわたり、人間と様々な動物の視覚刺激の処理に関わる目、ニューロン、脳構造に関する広範な研究が行われてきました。これにより、特定の視覚関連タスクを解決するために自然の視覚システムがどのように機能するかについて、大まかではあるものの複雑な記述が得られました。これらの研究成果は、コンピュータビジョンのサブ分野として、さまざまな複雑さのレベルで生物システムの処理と動作を模倣するように設計された人工システムが誕生しました。また、コンピュータビジョンで開発された学習ベースの手法（例えば、ニューラルネットワークやディープラーニングに基づく画像および特徴分析と分類）の中には、神経生物学を背景としているものもあります。1970年代に福島邦彦によって開発されたニューラルネットワークであるネオコグニトロンは、コンピュータビジョンが神経生物学、特に一次視覚野から直接インスピレーションを得た初期の例です。

コンピュータビジョン研究の一部は、生物学的視覚の研究と密接に関連しています。実際、AI研究の多くの分野が、人間の知能や、蓄積された知識を使用して視覚情報を解釈、統合、利用する研究と密接に結びついているのと同様です。生物学的視覚の分野は、人間や他の動物の視覚知覚の背後にある生理学的プロセスを研究し、モデル化します。一方、コンピュータビジョンは、人工視覚システムの背後にあるソフトウェアとハ​​ードウェアに実装されるアルゴリズムを開発し、記述します。生物学的視覚とコンピュータビジョンの間の学際的な交流は、両方の分野にとって実り多いことが証明されています。^{[ 22 ]}

コンピュータビジョンに関連するもう一つの分野は信号処理です。1変数信号（典型的には時間信号）を処理するための多くの手法は、コンピュータビジョンにおける2変数信号や多変数信号の処理に自然な形で拡張できます。しかし、画像の特殊性ゆえに、コンピュータビジョンで開発された手法の中には、1変数信号の処理には対応する手法が存在しないものが数多くあります。信号の多次元性と相まって、これは信号処理をコンピュータビジョンの一部として捉えるサブ分野を形成しています。

ロボットナビゲーションは、ロボットシステムが環境内をナビゲートするための自律的な経路計画や検討を扱う場合がある。^{[ 23 ]}これらの環境をナビゲートするには、環境の詳細な理解が必要となる。環境に関する情報は、視覚センサーとして機能し、環境とロボットに関する高レベルの情報を提供するコンピュータビジョンシステムによって提供される。

コンピュータビジョンに関する上記の見解に加えて、関連する研究トピックの多くは、純粋に数学的な観点からも研究できます。たとえば、コンピュータビジョンの多くの手法は、統計、最適化、または幾何学に基づいています。最後に、この分野のかなりの部分は、コンピュータビジョンの実装面に費やされています。既存の手法をさまざまなソフトウェアとハ​​ードウェアの組み合わせでどのように実現できるか、または、パフォーマンスを大きく損なうことなく処理速度を向上させるためにこれらの手法をどのように変更できるかです。コンピュータビジョンは、ファッションeコマース、在庫管理、特許検索、家具、美容業界でも使用されています。^{[ 24 ]}

コンピュータビジョンに最も密接に関連する分野は、画像処理、画像解析、マシンビジョンです。これらの分野が扱う技術や応用範囲には大きな重複があります。これは、これらの分野で使用および開発される基本的な技術が類似していることを意味し、異なる名称を持つ一つの分野であると解釈することもできます。一方で、研究グループ、学術誌、学会、企業は、これらの分野のいずれかに特化して自らをアピールまたは宣伝する必要があるようで、そのため、各分野を他の分野と区別するさまざまな特徴が提示されています。画像処理では、入力と出力はどちらも画像ですが、コンピュータビジョンでは、入力は画像またはビデオであり、出力は強調された画像、画像のコンテンツの分析、あるいはその分析に基づくシステムの動作である可能性があります。

コンピュータグラフィックスは3Dモデルから画像データを生成し、コンピュータビジョンは画像データから3Dモデルを生成することが多い。^{[ 25 ]}また、拡張現実で探求されているように、2つの分野を組み合わせる傾向もある。

以下の特徴づけは妥当であるように思われるが、普遍的に受け入れられていると考えるべきではない。

• 画像処理と画像解析は、2次元画像に焦点を当て、コントラスト強調などのピクセル単位の操作、エッジ抽出やノイズ除去などの局所的な操作、画像の回転などの幾何学的変換によって、ある画像を別の画像に変換する方法を扱う傾向があります。この特徴は、画像処理／解析は画像の内容に関する仮定を必要とせず、また解釈も生み出さないことを意味します。
• コンピュータビジョンには、2D画像からの3D解析が含まれます。これは、1枚または複数枚の画像に投影された3Dシーンを解析するもので、例えば、1枚または複数枚の画像から3Dシーンの構造やその他の情報を再構築する方法などが含まれます。コンピュータビジョンは、画像に描かれたシーンについて、多かれ少なかれ複雑な仮定に基づいていることがよくあります。
• マシンビジョンは、産業用途において、画像ベースの自動検査、プロセス制御、ロボット誘導を実現するために、さまざまな技術と手法を適用するプロセスです^{[ 26 ] 。 [ 22 ]}マシンビジョンは、主に製造業におけるアプリケーション、例えば、ビジョンベースのロボットや、ビジョンベースの検査、測定、ピッキング（ビンピッキング^{[ 27 ]}など）のためのシステムに焦点を当てる傾向があります。これは、イメージセンサー技術と制御理論が、ロボットを制御するための画像データの処理と統合されることが多く、ハードウェアとソフトウェアの効率的な実装によってリアルタイム処理が重視されることを意味します。また、照明などの外部条件は、一般的なコンピュータビジョンよりもマシンビジョンの方が制御しやすく、また実際に制御されていることが多く、これによりさまざまなアルゴリズムの使用が可能になります。
• 画像生成プロセスに主に焦点を当てたイメージングという分野もありますが、画像の処理や分析も扱うことがあります。例えば、医用画像処理には、医療用途における画像データの分析に関する重要な研究が含まれます。畳み込みニューラルネットワーク（CNN）の進歩により、特に心臓病学、病理学、皮膚科学、放射線学において、医用画像における疾患の正確な検出が向上しました。^{[ 28 ]}
• 最後に、パターン認識は、主に統計的手法と人工ニューラルネットワークに基づいて、信号から情報を抽出するさまざまな方法を使用する分野です。^{[ 29 ]}この分野の大部分は、これらの方法を画像データに適用することに費やされています。

写真測量はコンピュータビジョンとも重複する部分があり、例えばステレオ写真測量とコンピュータステレオビジョンなどが挙げられる。

最も注目されている応用分野の 1 つは、医用コンピュータ ビジョン、または医用画像処理であり、画像データから情報を抽出して患者を診断することを特徴としています。^{[ 37 ]}例としては、腫瘍、動脈硬化症、その他の悪性変化、さまざまな歯科疾患の検出が挙げられます。臓器の寸法、血流などの測定も別の例です。また、脳の構造や医療処置の質に関する新しい情報を提供することで、医学研究を支援します。医療分野におけるコンピュータ ビジョンの応用には、ノイズの影響を軽減するために、人間が解釈する画像 (たとえば、超音波画像や X 線画像) の強調も含まれます。

コンピュータビジョンの2番目の応用分野は、生産プロセスをサポートする目的で情報が抽出される産業分野であり、これはマシンビジョンと呼ばれることもあります。1つの例は品質管理で、欠陥を見つけるために詳細または最終製品が自動的に検査されます。このような検査の最も一般的な分野の1つはウェハー産業で、コンピュータチップが使用できない状態で市場に出回るのを防ぐために、すべてのウェハーが測定され、不正確さや欠陥がないか検査されます。もう1つの例は、ロボットアームによってピックアップされる詳細の位置と向きの測定です。マシンビジョンは、農業プロセスでも、バルク材料から不要な食品を取り除くために広く使用されており、このプロセスは光学選別と呼ばれます。^{[ 38 ]}

分かりやすい例としては、敵兵や敵車両の探知、ミサイル誘導などが挙げられる。より高度なミサイル誘導システムでは、ミサイルを特定の目標ではなく、ある領域に向けて発射し、ミサイルがその領域に到達した際に、その場で取得した画像データに基づいて目標を選択する。現代の軍事概念である「戦場認識」は、画像センサーを含む様々なセンサーが、戦闘状況に関する豊富な情報を提供し、戦略的意思決定を支援するために活用できることを示唆している。この場合、データの自動処理によって複雑さを軽減し、複数のセンサーからの情報を融合することで信頼性を高める。

比較的新しい応用分野の一つに自律走行車があり、これには潜水艇、陸上車両（車輪付き小型ロボット、自動車、トラックなど）、航空機、無人航空機（UAV）が含まれます。自律性のレベルは、完全自律型（無人）車両から、コンピュータビジョンベースのシステムが様々な状況でドライバーやパイロットを支援する車両まで多岐にわたります。完全自律型車両は通常、ナビゲーション（例えば、現在位置の把握や環境マッピング（SLAM ））、障害物検出などにコンピュータビジョンを使用します。また、森林火災を探すUAVなど、特定のタスク固有のイベントを検出するためにも使用できます。支援システムの例としては、自動車の障害物警告システム、車両に搭載されたカメラやLiDARセンサー、航空機の自律着陸システムなどがあります。複数の自動車メーカーが自動車の自律走行システムを実証しています。軍事用自律走行車には、高度なミサイルから偵察任務やミサイル誘導用のUAVまで、数多くの例があります。宇宙探査は既に、コンピュータビジョンを用いた自律走行車によって行われている。例えば、NASAのキュリオシティやCNSAの玉兎2号探査車などが挙げられる。

ゴムやシリコンなどの材料は、微細な凹凸の検出やロボットハンドのキャリブレーションなどの用途に使用できるセンサーの作成に使用されています。ゴムは、指に装着できる型を作成するために使用でき、この型の内部には複数のひずみゲージがあります。指の型とセンサーは、ゴムピンの配列を含む小さなゴムシートの上に配置できます。ユーザーは指の型を装着して表面をトレースできます。コンピューターはひずみゲージからデータを読み取り、1 つ以上のピンが上方に押し上げられているかどうかを測定できます。ピンが上方に押し上げられている場合、コンピューターはこれを表面の欠陥として認識できます。この種の技術は、非常に大きな表面の欠陥に関する正確なデータを取得するのに役立ちます。^{[ 39 ]}この指型センサーの別のバリエーションは、シリコンに吊り下げられたカメラを含むセンサーです。シリコンはカメラの外側にドームを形成し、シリコンには等間隔のポイントマーカーが埋め込まれています。これらのカメラは、ロボットハンドなどのデバイスに取り付けることで、コンピュータが非常に正確な触覚データを受信できるようになります。^{[ 40 ]}

その他の応用分野としては、以下のようなものがあります。

• 映画や放送向けの視覚効果制作のサポート（例：カメラトラッキング（マッチムーブ））。
• 監視。
• 運転者の眠気検出^{[ 41 ] [ 42 ] [ 43 ]}
• 生物科学における生物の追跡と計数^{[ 44 ]}（例えば、食用作物の葉の計数など）。^{[ 45 ]}

コンピュータビジョン、画像処理、マシンビジョンにおける古典的な問題は、画像データに特定の物体、特徴、または活動が含まれているかどうかを判断することです。文献には、さまざまな種類の認識問題が記載されています。^{[ 47 ]}

• 物体認識（物体分類とも呼ばれる）とは、あらかじめ指定された、あるいは学習済みの物体や物体クラスを、通常は画像内の2次元位置やシーン内の3次元姿勢とともに認識する技術です。Blippar、 Google Goggles、LikeThatなどは、この機能を実例で示すスタンドアロンプ​​ログラムを提供しています。 
• 識別とは、対象物の個々のインスタンスを認識することです。例としては、特定の人物の顔や指紋の識別、手書きの数字の識別、特定の車両の識別などが挙げられます。 
• 検出とは、画像データをスキャンして特定の物体とその位置を特定する手法です。例えば、車の視野内の障害物の検出、医療画像における異常な細胞や組織の検出、自動料金徴収システムにおける車両の検出などが挙げられます。比較的単純かつ高速な計算に基づく検出は、より高度な計算処理を必要とする手法でさらに分析し、正確な解釈を得るための、より小さな領域の画像データを見つけるために用いられることがあります。 

現在、このようなタスクに最適なアルゴリズムは畳み込みニューラルネットワークに基づいています。その能力を示す例として、ImageNet大規模視覚認識チャレンジがあります。これは、数百万枚の画像と1000のオブジェクトクラスが競技で使用された、オブジェクト分類と検出のベンチマークです。^{[ 48 ]} ImageNetテストにおける畳み込みニューラルネットワークのパフォーマンスは、現在では人間のパフォーマンスに近づいています。^{[ 48 ]}最良のアルゴリズムでも、花の茎の上の小さなアリや羽根ペンを持った人など、小さくて細いオブジェクトには依然として苦労しています。また、フィルターで歪んだ画像（現代のデジタルカメラでますます一般的になっている現象）にも苦労しています。対照的に、このような種類の画像は人間にとってほとんど問題になりません。しかし、人間は他の問題で苦労する傾向があります。たとえば、特定の犬種や鳥の種類など、細かいクラスにオブジェクトを分類するのが得意ではありませんが、畳み込みニューラルネットワークはこれを簡単に処理します。

認識に基づく専門的なタスクはいくつか存在し、例えば以下のようなものがある。

• コンテンツベース画像検索とは、特定のコンテンツを持つ画像を、より大きな画像セットの中からすべて見つけ出すことです。コンテンツは、さまざまな方法で指定できます。たとえば、逆画像検索技術を利用して、対象画像との類似性に基づいて指定したり（画像Xに類似するすべての画像を表示）、テキスト入力として与えられる高レベルの検索条件に基づいて指定したりできます（多くの家が写っていて、冬に撮影され、車が写っていないすべての画像を表示）。 

• 姿勢推定とは、カメラに対する特定の物体の位置や向きを推定することです。この技術の応用例としては、組み立てラインでロボットアームがコンベアベルトから物体を取り出したり、容器から部品を取り出したりする際の補助などが挙げられます。 
• 光学文字認識（OCR）とは、印刷されたテキストや手書きのテキストの画像から文字を識別し、通常は編集やインデックス作成に適した形式（例：ASCII ）にテキストをエンコードする技術です。関連するタスクとして、データマトリックスやQRコードなどの2次元コードの読み取りがあります 
• 顔認識とは、 デジタル画像やビデオフレーム内の顔を顔データベースと照合することを可能にする技術であり、現在では携帯電話の顔認証ロック、スマートドアロックなどに広く利用されている。 ^{[ 49 ]}
• 感情認識とは、顔認識のサブセットであり、人間の感情を分類するプロセスを指します。しかし、心理学者は、内面的な感情は顔から確実に検出することはできないと警告しています。^{[ 50 ]} 
• 人物認識システムにおける形状認識技術（SRT）は、人間（頭部と肩のパターン）と物体を区別する。
• 人間の行動認識とは、一連のビデオフレームから、例えば人が物を拾っているのか、歩いているのかといった行動を認識することです。

いくつかのタスクは動き推定に関連しており、画像シーケンスを処理して、画像内の各点、3Dシーン内、あるいは画像を生成するカメラ自体の速度を推定します。そのようなタスクの例としては、次のようなものがあります。

• エゴモーションとは、カメラによって生成された画像シーケンスから、カメラの3次元剛体運動（回転と並進）を決定することです。 
• トラッキングとは、画像シーケンス内の（通常は）少数の関心点またはオブジェクト（車両、物体、人間、その他の生物[44]など）の動きを追跡することです。これ^{は、ほとんど}の高性能機械をこの方法で監視できるため、産業分野で幅広く応用されています。 
• オプティカルフローとは、画像内の各点について、その点が画像平面に対してどのように動いているか、つまり見かけ上の動きを判定する手法です。この動きは、対応する3D点がシーン内でどのように動いているかと、カメラがシーンに対してどのように動いているかの両方によって生じます。 

シーンの 1 つまたは (通常) 複数枚の画像、またはビデオが与えられた場合、シーンの3D モデルを計算することが目的です。最も単純なケースでは、モデルは 3D 点の集合になります。より高度な方法では、完全な 3D サーフェス モデルが生成されます。動きやスキャンを必要としない 3D イメージングと関連する処理アルゴリズムの出現により、この分野で急速な進歩が実現しています。グリッドベースの 3D センシングを使用して、複数の角度から 3D 画像を取得できます。複数の 3D 画像を点群や 3D モデルに結合するためのアルゴリズムが現在利用可能です。^{[ 25 ]}

画像復元は、レンズの位置ずれ、伝送干渉、低照度、モーションブラーなど、ノイズと呼ばれる外部要因によって元の画像が劣化または損傷した場合に必要となります。画像が劣化または損傷すると、そこから抽出される情報も損傷します。したがって、画像を本来の状態に復元する必要があります。画像復元の目的は、画像からノイズ（センサーノイズ、モーションブラーなど）を除去することです。ノイズ除去の最も単純な方法は、ローパスフィルタやメディアンフィルタなどのさまざまな種類のフィルタを使用することです。より高度な方法では、局所的な画像構造がどのように見えるかをモデル化して、ノイズと区別します。まず、線やエッジなどの局所的な画像構造の観点から画像データを分析し、次に分析ステップからの局所情報に基づいてフィルタリングを制御することで、通常、単純な方法よりも優れたレベルのノイズ除去が得られます。

この分野の一例として、インペインティングが挙げられます。

画像理解システム（IUS）は、以下の3つの抽象化レベルで構成されています。低レベルには、エッジ、テクスチャ要素、領域などの画像プリミティブが含まれます。中間レベルには、境界、表面、ボリュームが含まれます。高レベルには、オブジェクト、シーン、イベントが含まれます。これらの要件の多くは、今後の研究課題となっています。

これらのレベルにおけるIUSの設計における表現上の要件は、プロトタイプ概念の表現、概念の構成、空間的知識、時間的知識、尺度化、および比較と差異化による記述である。

推論とは、現在知られている事実から明示的に表現されていない新しい事実を導き出すプロセスを指すのに対し、制御とは、処理の特定の段階で適用すべき多くの推論、検索、およびマッチング手法を選択するプロセスを指します。IUSの推論と制御の要件は、検索と仮説の活性化、マッチングと仮説の検証、期待の生成と使用、注意の変化と焦点、確信と信念の強さ、推論と目標の達成です。^{[ 55 ]}

• コンピュータビジョンの概要
• 新興技術一覧
• ロボット工学ソフトウェア一覧
• 人工知能の概要