コンピュータービジョン

コンピュータビジョンのタスクには、デジタル画像を取得、処理、分析、理解する方法と、現実世界から高次元データを抽出して、意思決定などの形で数値または記号情報を生成する方法が含まれます。 ^{[1] [2] [3] [4]この文脈での理解とは、視覚画像（人間のアナログでは}網膜への入力）を、思考プロセスに意味をなして適切な行動を引き出すことができる世界の説明に変換することを意味します。この画像理解は、幾何学、物理学、統計学、学習理論の助けを借りて構築されたモデルを使用して、画像データから記号情報を分離することと見なすことができます。

コンピュータ ビジョンという科学分野は、画像から情報を抽出する人工システムの背後にある理論に関係しています。画像データは、ビデオ シーケンス、複数のカメラからのビュー、3D スキャナーからの多次元データ、LiDaR センサーからの 3D ポイント クラウド、医療用スキャン デバイスなど、さまざまな形式をとることができます。コンピュータ ビジョンという技術分野では、その理論とモデルをコンピュータ ビジョン システムの構築に適用することを目指しています。

コンピューター ビジョンのサブドメインには、シーンの再構成、オブジェクト検出、イベント検出、アクティビティ認識、ビデオ追跡、オブジェクト認識、3D ポーズ推定、学習、インデックス作成、モーション推定、視覚サーボ、3D シーン モデリング、画像復元などがあります。

コンピュータ ビジョン テクノロジの導入は、単一ソリューションがないため、組織にとって骨の折れる作業となる可能性があります。コンピュータ ビジョン アプリケーションを簡単に導入および管理できる、統合された分散プラットフォームまたはオペレーティング システムを提供している企業はほとんどありません。

コンピュータビジョンは、コンピュータがデジタル画像やビデオから高度な理解を得る方法を扱う学際的な分野です。エンジニアリングの観点からは、人間の視覚システムが実行できるタスクを自動化することを目指しています。^{[5] [6] [7]}「コンピュータビジョンは、単一の画像または一連の画像から有用な情報を自動的に抽出、分析、理解することに関係しています。自動視覚理解を実現するための理論的およびアルゴリズム的基礎の開発が含まれます。」^[8]科学分野としてのコンピュータビジョンは、画像から情報を抽出する人工システムの背後にある理論に関係しています。画像データは、ビデオシーケンス、複数のカメラからのビュー、または医療用スキャナからの多次元データなど、さまざまな形式をとることができます。^[9]技術分野としてのコンピュータビジョンは、その理論とモデルをコンピュータビジョンシステムの構築に適用することを目指しています。マシンビジョンは、特に工場自動化のコンテキストで、システムエンジニアリング分野を指します。最近では、コンピュータビジョンとマシンビジョンという用語は、より高度に融合しています。^{[10] : 13}

1960年代後半、人工知能の先駆者であった大学でコンピュータビジョンが始まりました。これは、ロボットに知的な行動を与えるための足がかりとして、人間の視覚システムを模倣することを目的としていました。 ^[11] 1966年には、これは学部生の夏季プロジェクトで達成できると考えられていました。^[12]カメラをコンピュータに接続し、「見たものを説明」させることで実現できます。^{[13] [14]}

当時主流だったデジタル画像処理の分野とコンピュータビジョンを区別するものは、画像から3次元構造を抽出し、シーン全体を理解しようとする点であった。1970年代の研究は、画像からのエッジ抽出、線のラベル付け、非多面体および多面体モデリング、より小さな構造の相互接続としてのオブジェクトの表現、オプティカルフロー、動き推定など、今日存在する多くのコンピュータビジョンアルゴリズムの初期の基礎を形成した。^[11]

次の10年間は​​、より厳密な数学的分析とコンピュータビジョンの定量的側面に基づく研究が行われた。これらには、スケールスペースの概念、陰影、テクスチャ、フォーカスなどのさまざまな手がかりからの形状の推論、スネークとして知られる輪郭モデルなどが含まれる。研究者らはまた、これらの数学的概念の多くが、正則化やマルコフランダムフィールドと同じ最適化フレームワーク内で扱うことができることに気づいた。^[15] 1990年代までには、以前の研究トピックのいくつかが他のトピックよりも活発になった。射影 3D再構成の研究は、カメラキャリブレーションの理解を深めることにつながった。カメラキャリブレーションの最適化手法の登場により、多くのアイデアが写真測量分野のバンドル調整理論ですでに検討されていることが認識された。これにより、複数の画像からシーンのスパース3D再構成手法が生まれた。高密度ステレオ対応問題とさらなるマルチビューステレオ技術が進歩した。同時に、グラフカットのバリエーションが画像セグメンテーションの解決に使用された。この10年間は​​、統計学習技術が画像内の顔認識に初めて実際に使用された時期でもありました（Eigenfaceを参照）。1990年代の終わりにかけて、コンピュータグラフィックスとコンピュータビジョンの分野間の相互作用が増加し、大きな変化が起こりました。これには、画像ベースのレンダリング、画像モーフィング、ビュー補間、パノラマ画像ステッチング、初期のライトフィールドレンダリングが含まれます。^[11]

最近の研究では、機械学習技術や複雑な最適化フレームワークと組み合わせて使用​​される特徴ベースの方法が復活しています。 ^{[16] [17]ディープラーニング技術の進歩により、コンピュータービジョンの分野がさらに活性化しました。分類、 [18]}セグメンテーション、オプティカルフロー などのタスクに対するいくつかのベンチマークコンピュータービジョンデータセットでのディープラーニングアルゴリズムの精度は、従来の方法を上回っています。^{[要出典] [19]}

固体物理学は、コンピュータビジョンと密接に関連しているもう一つの分野です。ほとんどのコンピュータビジョンシステムは、通常、可視光、赤外線、または紫外線のいずれかの形態をとる電磁放射を検出する画像センサーに依存しています。センサーは量子物理学を使用して設計されています。光が表面と相互作用するプロセスは、物理学を使用して説明されます。物理学は、ほとんどの画像システムの中核となる光学系の動作を説明します。高度な画像センサーでは、画像形成プロセスを完全に理解するために量子力学さえ必要です。 ^[11]また、流体中の動きなど、物理学におけるさまざまな測定問題も、コンピュータビジョンを使用して解決できます。

神経生物学は、コンピュータ ビジョン アルゴリズムの開発に大きな影響を与えてきました。過去 1 世紀にわたって、人間とさまざまな動物の両方で視覚刺激の処理に特化した目、ニューロン、脳の構造の研究が広範に行われてきました。これにより、特定の視覚関連タスクを解決するために自然の視覚システムがどのように機能するかについて、大まかで複雑な説明がなされるようになりました。これらの結果から、コンピュータ ビジョン内に、さまざまなレベルの複雑さで生物システムの処理と動作を模倣するように人工システムが設計されるサブ分野が生まれました。また、コンピュータ ビジョン内で開発された学習ベースの方法の一部 (ニューラル ネットやディープ ラーニングベースの画像および特徴の分析と分類など) は、神経生物学を背景としています。1970年代に福島邦彦によって開発されたニューラル ネットワークであるネオコグニトロンは、神経生物学、特に一次視覚野から直接インスピレーションを得たコンピュータ ビジョンの初期の例です。

コンピュータビジョン研究の一部は、生物学的視覚の研究と密接に関連しています。実際、AI研究の多くの分野が人間の知能の研究や、視覚情報を解釈、統合、利用するための蓄積された知識の利用と密接に結びついているのと同じです。生物学的視覚の分野では、人間や他の動物の視覚知覚の背後にある生理学的プロセスを研究し、モデル化します。一方、コンピュータビジョンは、人工視覚システムの背後にあるソフトウェアとハ​​ードウェアに実装されたアルゴリズムを開発し、説明します。生物学的視覚とコンピュータビジョンの学際的な交流は、両方の分野にとって有益であることが証明されています。^[21]

コンピュータ ビジョンに関連するもう 1 つの分野は信号処理です。1 変数信号 (通常は時間信号) を処理する多くの方法は、コンピュータ ビジョンでの 2 変数信号または多変数信号の処理に自然に拡張できます。ただし、画像の特殊な性質のため、コンピュータ ビジョン内で開発された方法には、1 変数信号の処理に対応するものがないものが多数あります。信号の多次元性と相まって、これはコンピュータ ビジョンの一部としての信号処理のサブフィールドを定義します。

ロボットナビゲーションは、ロボットシステムが環境をナビゲートするための自律的な経路計画や検討を扱うことがあります。^[22]これらの環境をナビゲートするには、環境の詳細な理解が必要です。環境に関する情報は、視覚センサーとして機能し、環境とロボットに関する高レベルの情報を提供するコンピュータービジョンシステムによって提供できます。

コンピュータビジョンに関する上記の見解の他に、関連する研究テーマの多くは、純粋に数学的な観点からも研究することができます。たとえば、コンピュータビジョンの多くの方法は、統計、最適化、または幾何学に基づいています。最後に、この分野の大部分は、コンピュータビジョンの実装面、つまり、既存の方法をソフトウェアとハ​​ードウェアのさまざまな組み合わせで実現する方法、またはこれらの方法を変更して、パフォーマンスをあまり損なうことなく処理速度を上げる方法に費やされています。コンピュータビジョンは、ファッションの電子商取引、在庫管理、特許検索、家具、美容業界でも使用されています。^[23]

コンピュータビジョンに最も関連のある分野は、画像処理、画像解析、マシンビジョンです。これらがカバーする技術とアプリケーションの範囲には、かなりの重複があります。これは、これらの分野で使用および開発されている基本的な技術が類似していることを意味し、名前が異なるだけで 1 つの分野しかないと解釈できます。一方、研究グループ、科学雑誌、会議、および企業は、これらの分野のいずれかに特に属しているとして自らを紹介または宣伝する必要があるようで、そのため、各分野を他の分野と区別するさまざまな特徴付けが提示されてきました。画像処理では、入力は画像であり、出力も画像ですが、コンピュータビジョンでは、画像またはビデオが入力として取得され、出力は強化された画像、画像の内容の理解、またはそのような理解に基づくコンピュータシステムの動作になる可能性があります。

コンピュータグラフィックスでは3Dモデルから画像データを生成し、コンピュータビジョンでは画像データから3Dモデルを生成することが多い。^{[24]また、}拡張現実（AR）などで見られるように、この2つの分野を組み合わせる傾向もある。

以下の特徴は関連性があるように見えますが、普遍的に受け入れられているとは考えられません。

• 画像処理と画像解析は、2D 画像、つまり、コントラスト強調などのピクセル単位の操作、エッジ抽出やノイズ除去などのローカル操作、画像の回転などの幾何学的変換など、ある画像を別の画像に変換する方法に重点を置く傾向があります。この特徴は、画像処理/解析では、画像の内容に関する仮定を必要とせず、解釈も生成しないことを意味します。
• コンピュータ ビジョンには、2D 画像からの 3D 分析が含まれます。これは、1 つまたは複数の画像に投影された 3D シーンを分析します。たとえば、1 つまたは複数の画像から 3D シーンの構造やその他の情報を再構築する方法などです。コンピュータ ビジョンは、多くの場合、画像に描かれたシーンに関する多かれ少なかれ複雑な仮定に依存します。
• マシンビジョンは、産業用途において画像ベースの自動検査、プロセス制御、ロボット誘導^{[25]を提供するためのさまざまな技術と方法を適用するプロセスです。 [21]}マシンビジョンは、主に製造業におけるアプリケーション、たとえば、ビジョンベースのロボットや、ビジョンベースの検査、測定、ピッキング（ビンピッキング^[26]など）のためのシステムに焦点を当てる傾向があります。これは、画像センサー技術と制御理論が、ロボットを制御するための画像データの処理と統合されることが多く、ハードウェアとソフトウェアの効率的な実装によってリアルタイム処理が重視されることを意味します。また、照明などの外部条件は、一般的なコンピュータービジョンよりもマシンビジョンでより制御可能であり、実際により制御されていることが多く、さまざまなアルゴリズムを使用できることを意味しています。
• また、主に画像生成のプロセスに焦点を当てたイメージングと呼ばれる分野もありますが、画像の処理と分析を扱うこともあります。たとえば、医療用イメージングには、医療アプリケーションにおける画像データの分析に関する重要な作業が含まれます。畳み込みニューラルネットワーク（CNN）の進歩により、特に心臓病学、病理学、皮膚科、放射線学の分野で、医療画像における病気の正確な検出が向上しました。^[27]
• 最後に、パターン認識は、主に統計的アプローチと人工ニューラルネットワークに基づいて、さまざまな方法を使用して一般的な信号から情報を抽出する分野です。^[28]この分野の大部分は、これらの方法を画像データに適用することに費やされています。

写真測量はコンピューター ビジョンとも重複します (例:ステレオ写真測量とコンピューター ステレオ ビジョン)。

アプリケーションは、たとえば生産ラインを高速で通過するボトルを検査する産業用マシン ビジョンシステムなどのタスクから、周囲の世界を理解できる人工知能やコンピュータまたはロボットの研究まで多岐にわたります。コンピュータ ビジョンとマシン ビジョンの分野には、かなりの重複があります。コンピュータ ビジョンは、多くの分野で使用されている自動画像分析の中核技術をカバーしています。マシン ビジョンは通常、自動画像分析と他の方法や技術を組み合わせて、産業用アプリケーションで自動検査やロボット ガイダンスを提供するプロセスを指します。多くのコンピュータ ビジョン アプリケーションでは、コンピュータは特定のタスクを解決するように事前にプログラムされていますが、学習に基づく方法がますます一般的になりつつあります。コンピュータ ビジョンのアプリケーションの例には、次のシステムが含まれます。

• 自動検査、例：製造アプリケーションなど
• 種の識別システムなど、人間の識別作業を支援すること^[29]
• 産業用ロボットなどのプロセスの制御。
• イベントの検出（例：視覚監視、またはレストラン業界などでの人数カウントなど）
• インタラクション、例えば、コンピュータと人間のインタラクションのためのデバイスへの入力として。
• 農作物のモニタリングでは、例えば、オープンソースのビジョントランスフォーマーモデル^[30] が開発され、農家がイチゴの病気を98.4%の精度で自動的に検出できるようにしています。^[31]
• オブジェクトまたは環境のモデリング（例：医療画像分析または地形モデリング）。
• 自律走行車や移動ロボットによるナビゲーションなど。
• 情報を整理します。たとえば、画像や画像シーケンスのデータベースをインデックス付けするためなどです。
• 拡張現実体験を可能にするために、3D 座標で表面または平面を追跡します。

最も顕著な応用分野の一つは、医療用コンピュータビジョン、または医療用画像処理であり、画像データから情報を抽出して患者を診断することを特徴とする。その一例は、腫瘍、動脈硬化症またはその他の悪性変化、およびさまざまな歯科病状の検出であり、別の例としては、臓器の寸法、血流などの測定がある。また、脳の構造や治療の質などに関する新しい情報を提供することで、医療研究を支援している。医療分野におけるコンピュータビジョンの応用には、人間が解釈する画像（超音波画像やX線画像など）を強化してノイズの影響を減らすことなどもある。

コンピュータビジョンの2番目の応用分野は、時にはマシンビジョンと呼ばれる産業分野であり、生産プロセスをサポートする目的で情報が抽出されます。1つの例は、欠陥を見つけるために細部または最終製品を自動的に検査する品質管理です。このような検査の最も一般的な分野の1つは、コンピュータチップが使用できない状態で市場に出回ることを防ぐために、すべてのウェハを測定して不正確さや欠陥がないか検査するウェーハ産業です。別の例は、ロボットアームで拾う細部の位置と方向の測定です。マシンビジョンは、バルク材料から望ましくない食品を取り除く農業プロセス、つまり光学選別と呼ばれるプロセスでも頻繁に使用されています。^[32]

軍事用途は、おそらくコンピュータ ビジョンの最も大きな分野の 1 つです^[要出典]。わかりやすい例としては、敵の兵士や車両の検出とミサイル誘導があります。ミサイル誘導のより高度なシステムは、特定のターゲットではなくエリアにミサイルを送り、ミサイルがそのエリアに到達したときに、ローカルで取得した画像データに基づいてターゲットが選択されます。「戦場認識」などの現代の軍事概念は、画像センサーを含むさまざまなセンサーが、戦略的な決定をサポートするために使用できる戦闘シーンに関する豊富な情報セットを提供することを示唆しています。この場合、データの自動処理を使用して複雑さを軽減し、複数のセンサーからの情報を融合して信頼性を高めます。

新しい応用分野の 1 つに自律走行車があります。これには、潜水艇、陸上車両 (車輪付きの小型ロボット、自動車、またはトラック)、航空機、無人航空機 ( UAV ) が含まれます。自律性のレベルは、完全自律 (無人) 車両から、さまざまな状況でコンピューター ビジョン ベースのシステムが運転手やパイロットをサポートする車両まで多岐にわたります。完全自律走行車は通常、ナビゲーション (現在地の把握、環境のマッピング ( SLAM ))、障害物の検出などにコンピューター ビジョンを使用します。また、森林火災を探している UAVなど、特定のタスク固有のイベントの検出にも使用できます。サポート システムの例としては、自動車の障害物警告システム、自動車のカメラや LiDAR センサー、航空機の自律着陸システムなどがあります。いくつかの自動車メーカーは、自動車の自律運転システムを実証しています。高度なミサイルから偵察任務やミサイル誘導用の UAV に至るまで、軍用の自律走行車の例は数多くあります。宇宙探査は、NASAのCuriosityやCNSAのYutu-2ローバー など、コンピューター ビジョンを使用した自律走行車によってすでに行われています。

ゴムやシリコンなどの材料は、微小な起伏の検出やロボットハンドの調整などの用途を可能にするセンサーの作成に使用されています。ゴムは、指の上に置くことができる型を作成するために使用でき、この型の中には複数のひずみゲージがあります。指の型とセンサーは、ゴムピンの配列を含む小さなゴムシートの上に置くことができます。ユーザーは指の型を装着して表面をなぞることができます。コンピューターはひずみゲージからデータを読み取り、1つまたは複数のピンが押し上げられているかどうかを測定できます。ピンが押し上げられている場合、コンピューターはこれを表面の欠陥として認識できます。この種の技術は、非常に大きな表面の欠陥に関する正確なデータを取得するのに役立ちます。^[33]この指の型センサーの別のバリエーションは、シリコンに吊り下げられたカメラを含むセンサーです。シリコンはカメラの外側の周りにドームを形成し、シリコンには等間隔のポイントマーカーが埋め込まれています。これらのカメラはロボットハンドなどのデバイスに設置することができ、コンピュータが高精度の触覚データを受信できるようになります。^[34]

その他の応用分野は次のとおりです。

• 映画や放送用の視覚効果作成のサポート（例：カメラトラッキング（マッチムービング））。
• 監視。
• 運転者の眠気検知^{[35] [36] [37]}
• 生物科学における生物の追跡と計数^[38]

上記の各アプリケーション領域では、さまざまなコンピュータ ビジョン タスクが採用されています。これは、多かれ少なかれ明確に定義された測定問題または処理問題であり、さまざまな方法で解決できます。以下に、一般的なコンピュータ ビジョン タスクの例をいくつか示します。

コンピュータビジョンのタスクには、デジタル画像を取得、処理、分析、理解する方法や、現実世界から高次元データを抽出して、たとえば意思決定の形で数値情報や記号情報を生成する方法などが含まれます。^{[1] [2] [3] [4]}この文脈における理解とは、視覚画像（網膜の入力）を他の思考プロセスと連携して適切な行動を引き出すことができる世界の説明に変換することを意味します。この画像理解は、幾何学、物理学、統計学、学習理論の助けを借りて構築されたモデルを使用して、画像データから記号情報を分離することと見なすことができます。^[39]

コンピュータビジョン、画像処理、マシンビジョンにおける古典的な問題は、画像データに特定のオブジェクト、特徴、またはアクティビティが含まれているかどうかを判断することです。文献にはさまざまな種類の認識問題が記載されています。^[40]

• オブジェクト認識(オブジェクト分類とも呼ばれる) - 1 つまたは複数の事前指定または学習されたオブジェクトまたはオブジェクト クラスを、通常は画像内の 2D 位置またはシーン内の 3D ポーズとともに認識できます。Blippar、 Google Goggles、および LikeThat は、この機能を示すスタンドアロン プログラムを提供しています。
• 識別 – オブジェクトの個々のインスタンスが認識されます。例としては、特定の人物の顔や指紋の識別、手書きの数字の識別、特定の車両の識別などがあります。
• 検出 – 画像データをスキャンして、特定のオブジェクトとその位置を探します。例としては、自動車の視野内の障害物や医療画像内の異常な細胞や組織の検出、自動道路料金システムでの車両の検出などがあります。比較的単純で高速な計算に基づく検出は、興味深い画像データの小さな領域を見つけるために使用されることがあります。この領域は、より計算量の多い技術でさらに分析して、正しい解釈を導き出すことができます。

現在、このようなタスクに最適なアルゴリズムは、畳み込みニューラルネットワークに基づいています。その能力の一例として、ImageNet Large Scale Visual Recognition Challengeが挙げられます。これは、オブジェクトの分類と検出のベンチマークであり、コンテストでは数百万枚の画像と 1000 のオブジェクトクラスが使用されています。^[41 ] ImageNet テストにおける畳み込みニューラルネットワークのパフォーマンスは、現在、人間のパフォーマンスに近づいています。^[41]最高のアルゴリズムでも、花の茎にとまった小さなアリや羽根ペンを手に持った人など、小さいまたは薄いオブジェクトには依然として苦労しています。また、フィルターで歪んだ画像にも問題があります (これは、現代のデジタルカメラでますます一般的になっている現象です)。対照的に、そのような種類の画像が人間を困らせることはほとんどありません。ただし、人間は他の問題に苦労する傾向があります。たとえば、特定の犬種や鳥の種類など、オブジェクトを細かいクラスに分類することは得意ではありませんが、畳み込みニューラルネットワークはこれを簡単に処理します。^[要出典]

認識に基づいた次のような専門的なタスクがいくつかあります。

• コンテンツベースの画像検索 - 特定のコンテンツを持つ、より大きな画像セット内のすべての画像を検索します。コンテンツは、さまざまな方法で指定できます。たとえば、逆画像検索技術を使用して、ターゲット画像との類似性 (画像 X に類似するすべての画像を取得) の観点から指定したり、テキスト入力として指定された高レベルの検索条件 (多くの家が写っていて、冬に撮影され、車が写っていないすべての画像を取得) の観点から指定したりできます。

• 姿勢推定 - カメラに対する特定のオブジェクトの位置または方向を推定します。この技術の応用例としては、組立ラインでコンベア ベルトからオブジェクトを取り出したり、箱から部品を拾ったりするロボット アームの支援が挙げられます。
• 光学文字認識(OCR) –印刷または手書きのテキストの画像内の文字を識別します。通常は、編集やインデックス作成に適した形式( ASCIIなど) でテキストをエンコードすることを目的としています。関連するタスクとして、 データ マトリックスやQRコードなどの 2D コードの読み取りがあります
• 顔認識 –デジタル画像やビデオフレーム内の顔を顔データベースと照合することを可能にする技術。現在、携帯電話の顔認証やスマートドアロックなどに広く使用されています。 ^[42]
• 感情認識 –顔認識のサブセットである感情認識は、人間の感情を分類するプロセスを指します。しかし、心理学者は、内面の感情は顔から確実に検出することはできないと警告しています。^[43]
• 人物カウンターシステムの形状認識テクノロジー(SRT) は、人間 (頭と肩のパターン) と物体を区別します。
• 人間の活動認識- 人が物を拾っているか、歩いているかなど、一連のビデオ フレームから活動を認識します。

いくつかのタスクは動きの推定に関連しており、画像シーケンスを処理して、画像内または 3D シーン内の各ポイント、あるいは画像を生成するカメラの速度を推定します。このようなタスクの例は次のとおりです。

• Egomotion  – カメラによって生成された画像シーケンスからカメラの 3D 剛体運動 (回転と移動) を決定します。
• 追跡 – 画像シーケンス内の（通常は）少数の関心点または物体（例：車両、物体、人間、その他の生物^[38]）の動きを追跡します。ほとんどの高速回転機械をこの方法で監視できるため、これは幅広い産業用途に使用されています。
• オプティカルフロー - 画像内の各ポイントが画像平面に対してどのように動いているか、つまり見かけの動きを判断します。この動きは、対応する 3D ポイントがシーン内でどのように動いているか、およびカメラがシーンに対してどのように動いているかの両方の結果です。

シーン再構成は、シーンの 1 枚または (通常は) 複数の画像、またはビデオが与えられた場合に、シーンの3D モデルを計算することを目的としています。最も単純なケースでは、モデルは 3D ポイントのセットになります。より洗練された方法では、完全な 3D サーフェス モデルが生成されます。動きやスキャンを必要としない 3D イメージングと関連する処理アルゴリズムの登場により、この分野は急速に進歩しています。グリッドベースの 3D センシングを使用すると、複数の角度から 3D 画像を取得できます。複数の 3D 画像をつなぎ合わせてポイント クラウドと 3D モデルを作成するアルゴリズムが利用可能になりました。^[24]

画像復元は、レンズの誤った位置、伝送干渉、低照度、モーション ブラーなどの外部要因によって元の画像が劣化または損傷し、ノイズが発生した場合に必要になります。画像が劣化または損傷すると、そこから抽出される情報も損傷します。したがって、画像を意図したとおりに回復または復元する必要があります。画像復元の目的は、画像からノイズ (センサー ノイズ、モーション ブラーなど) を除去することです。ノイズ除去の最も単純なアプローチは、ローパス フィルターやメディアン フィルターなどのさまざまな種類のフィルターを使用することです。より洗練された方法では、ローカルな画像構造の外観モデルを想定して、それらをノイズと区別します。最初に、線やエッジなどのローカルな画像構造の観点から画像データを分析し、次に分析ステップからのローカル情報に基づいてフィルタリングを制御することにより、通常、より単純なアプローチと比較して、より優れたレベルのノイズ除去が得られます。

この分野の例としては、インペインティングが挙げられます。

コンピュータ ビジョン システムの構成は、アプリケーションに大きく依存します。一部のシステムは、特定の測定または検出の問題を解決するスタンドアロン アプリケーションですが、他のシステムは、たとえば、機械アクチュエータの制御、計画、情報データベース、マンマシン インターフェイスなどのサブシステムも含む、より大規模な設計のサブシステムを構成します。コンピュータ ビジョン システムの具体的な実装は、その機能が事前に指定されているかどうか、またはその一部を操作中に学習または変更できるかどうかによっても異なります。多くの機能はアプリケーションに固有です。ただし、多くのコンピュータ ビジョン システムに共通する一般的な機能もあります。

• 画像取得– デジタル画像は、1つまたは複数の画像センサーによって生成されます。画像センサーには、さまざまな種類の光感度カメラのほか、距離センサー、断層撮影装置、レーダー、超音波カメラなどが含まれます。センサーの種類に応じて、結果として得られる画像データは通常の2D画像、3Dボリューム、または画像シーケンスになります。ピクセル値は通常、1つまたは複数のスペクトルバンド（グレー画像またはカラー画像）の光強度に対応しますが、深度、音波または電磁波の吸収または反射率、磁気共鳴画像などのさまざまな物理的測定値に関連付けることもできます。^[32]
• 前処理– 特定の情報を抽出するため、コンピューター ビジョン メソッドを画像データに適用する前に、通常、メソッドによって暗示される特定の仮定を満たすようにデータを処理する必要があります。例:
  • 画像座標系が正しいことを確認するために再サンプリングします。
  • センサーノイズによって誤った情報が導入されないようにするためのノイズ低減。
  • 関連情報を検出できるようにコントラストを強化します。
  • ローカルに適切なスケールで画像構造を強化するためのスケール空間表現。
• 特徴抽出– 画像データから様々なレベルの複雑さの画像特徴を抽出します。 ^[32]このような特徴の典型的な例は次のとおりです。
  • 線、エッジ、尾根。
  • コーナー、ブロブ、ポイントなどの局所的な関心ポイント。

より複雑な特徴は、テクスチャ、形状、または動きに関連している場合があります。

• 検出/セグメンテーション– 処理の途中のある時点で、画像のどの点または領域がさらなる処理に関連しているかが決定されます。 ^[32]例は次のとおりです。
  • 特定の関心ポイントのセットの選択。
  • 特定の対象オブジェクトを含む 1 つまたは複数の画像領域を分割します。
  • 画像を、前景、オブジェクトグループ、単一のオブジェクト、または顕著なオブジェクト^[44]部分（空間分類シーン階層とも呼ばれる）で構成されるネストされたシーンアーキテクチャに分割します。 ^[45]視覚的な顕著性は、多くの場合、空間的および時間的な注意として実装されます。
  • 1つまたは複数のビデオを、時間的な意味の連続性を維持しながら、フレームごとの一連のフォアグラウンドマスクに分割または共同分割すること。 ^{[46] [47]}
• 高レベル処理– このステップでは、入力は通常、特定のオブジェクトが含まれていると想定される点の集合や画像領域などの小さなデータセットです。^[32]残りの処理では、たとえば次のことを扱います。
  • データがモデルベースおよびアプリケーション固有の仮定を満たしていることの検証。
  • オブジェクトのポーズやサイズなど、アプリケーション固有のパラメータの推定。
  • 画像認識- 検出されたオブジェクトをさまざまなカテゴリに分類します。
  • 画像登録- 同じオブジェクトの 2 つの異なるビューを比較して組み合わせます。
• 意思決定申請に必要な最終決定を下す。 ^[32]例えば、
  • 自動検査アプリケーションの合否。
  • 認識アプリケーションにおける一致/不一致。
  • 医療、軍事、セキュリティ、認識アプリケーションにおける人間によるさらなるレビューのためのフラグ。

画像理解システム (IUS) には、次の 3 つの抽象化レベルがあります。低レベルには、エッジ、テクスチャ要素、領域などの画像プリミティブが含まれます。中レベルには、境界、表面、ボリュームが含まれます。高レベルには、オブジェクト、シーン、イベントが含まれます。これらの要件の多くは、今後の研究のテーマです。

これらのレベルの IUS 設計における表現要件は、プロトタイプ概念の表現、概念の組織化、空間知識、時間知識、スケーリング、比較と差別化による説明です。

推論は、現在知られている事実から、明示的に表現されていない新しい事実を導き出すプロセスを指しますが、制御は、多くの推論、検索、およびマッチング技術のうち、どの技術を特定の処理段階で適用するかを選択するプロセスを指します。IUSの推論と制御の要件は、検索と仮説の活性化、マッチングと仮説のテスト、期待の生成と使用、注意の変化と焦点、確信と信念の強さ、推論と目標の満足度です。^[48]

コンピュータ ビジョン システムにはさまざまな種類がありますが、そのすべてに、電源、少なくとも 1 つの画像取得デバイス (カメラ、CCD など)、プロセッサ、制御および通信ケーブル、または何らかのワイヤレス相互接続メカニズムという基本要素が含まれています。さらに、実用的なビジョン システムには、システムを監視するためのソフトウェアとディスプレイが含まれています。屋内空間用のビジョン システムは、ほとんどの産業用システムと同様に、照明システムを備えており、制御された環境に設置できます。さらに、完成したシステムには、カメラ サポート、ケーブル、コネクタなどの多くのアクセサリが含まれています。

ほとんどのコンピューター ビジョン システムでは、可視光カメラを使用して、最大 60 フレーム/秒 (通常はそれよりはるかに遅い) のフレーム レートでシーンを受動的に表示します。

いくつかのコンピューター ビジョン システムでは、構造化光 3D スキャナー、サーモグラフィー カメラ、ハイパースペクトル イメージャー、レーダー イメージング、LIDARスキャナー、磁気共鳴画像、サイドスキャンソナー、合成開口ソナーなど、アクティブ照明または可視光以外のもの、またはその両方を使用した画像取得ハードウェアを使用します。このようなハードウェアは「画像」をキャプチャし、その後、可視光画像の処理に使用されるのと同じコンピューター ビジョン アルゴリズムを使用して処理されることがよくあります。

従来の放送および民生用ビデオシステムは毎秒30フレームの速度で動作しますが、デジタル信号処理と民生用グラフィックスハードウェアの進歩により、毎秒数百から数千フレームのリアルタイムシステムで高速画像取得、処理、表示が可能になりました。ロボット工学のアプリケーションでは、高速リアルタイムビデオシステムが非常に重要であり、特定のアルゴリズムに必要な処理を簡素化できることがよくあります。高速プロジェクターと組み合わせると、高速画像取得により3D測定と特徴追跡を実現できます。^[49]

エゴセントリック ビジョンシステムは、一人称視点で写真を自動的に撮影するウェアラブル カメラで構成されています。

2016年現在、ビジョンプロセッシングユニットは、CPUとグラフィックスプロセッシングユニット（GPU）を補完する新しいクラスのプロセッサとして登場しています。^[50]

• コンピュータビジョンの概要
• 新興技術のリスト
• 人工知能の概要

• ジェームズ・E・ドブソン（2023年）。『コンピュータビジョンの誕生』ミネソタ大学出版局。ISBN 978-1-5179-1421-9。
• デビッド・マー（1982年）。ビジョン。WHフリーマン・アンド・カンパニー。ISBN 978-0-7167-1284-8。
• Azriel Rosenfeld、Avinash Kak (1982)。デジタル画像処理。Academic Press。ISBN 978-0-12-597301-4。
• Barghout, Lauren; Lawrence W. Lee (2003)。知覚情報処理システム。米国特許出願 10/618,543。ISBN 978-0-262-08159-7。
• ベルトルト K.P. ホルン(1986)。ロボットビジョン。 MITプレス。ISBN 978-0-262-08159-7。
• マイケル・C・フェアハースト（1988年）。ロボットシステムのためのコンピュータビジョン。プレンティスホール。ISBN 978-0-13-166919-2。
• オリヴィエ・フォジェラス(1993)。『3次元コンピュータビジョン、幾何学的視点』 MIT 出版。ISBN 978-0-262-06158-2。
• トニー・リンデバーグ (1994)。『コンピュータビジョンにおけるスケールスペース理論』。Springer。ISBN 978-0-7923-9418-1。
• ジェームズ・L・クロウリー、ヘンリック・I・クリステンセン編（1995年）。プロセスとしてのビジョン。シュプリンガー・フェアラーク。ISBN 978-3-540-58143-7。
• ゲスタ・H・グランランド;ハンス・クヌッソン (1995)。コンピュータビジョンのための信号処理。クルーワー学術出版社。ISBN 978-0-7923-9530-0。
• ラインハルト・クレット。カルステン・シュルエンス。アンドレアス・コシャン (1998)。コンピューター ビジョン – 画像からの 3 次元データ。スプリンガー、シンガポール。ISBN 978-981-3083-71-4。
• エマヌエーレ・トゥルッコ、アレッサンドロ・ヴェッリ (1998) 。3Dコンピュータ ビジョン入門テクニック。プレンティス ホール。ISBN 978-0-13-261108-4。
• Bernd Jähne (2002).デジタル画像処理. Springer. ISBN 978-3-540-67754-3。
• リチャード・ハートリー、アンドリュー・ジッサーマン(2003)。『コンピュータビジョンにおけるマルチビュージオメトリ』ケンブリッジ大学出版局。ISBN 978-0-521-54051-3。
• ジェラール・メディオニ、シン・ビン・カン（2004年）。コンピュータビジョンにおける新たなトピック。プレンティス・ホール。ISBN 978-0-13-101366-7。
• R. Fisher、K Dawson-Howe、A. Fitzgibbon、C . Robertson、E. Trucco (2005)。『コンピュータビジョンと画像処理辞典』John Wiley。ISBN 978-0-470-01526-1。
• Nikos Paragios、Yunmei Chen、Olivier Faugeras (2005)。コンピュータビジョンにおける数学モデルハンドブック。Springer。ISBN 978-0-387-26371-7。
• Wilhelm Burger、Mark J. Burge ( 2007)。デジタル画像処理: Java を使用したアルゴリズム的アプローチ。Springer。ISBN 978-1-84628-379-6. 2014年5月17日時点のオリジナルよりアーカイブ。2007年6月13日閲覧。
• ペドラム・アザド。ティロ・ゴッケル;リュディガー・ディルマン (2008)。コンピューター ビジョン – 原則と実践。 Elektor International Media BV. ISBN 978-0-905705-71-2。
• リチャード・シェリスキー (2010)。『コンピュータビジョン：アルゴリズムとアプリケーション』。Springer- Verlag。ISBN 978-1848829343。
• JR パーカー (2011)。画像処理とコンピュータビジョンのためのアルゴリズム(第 2 版) 。Wiley。ISBN 978-0470643853。
• Richard J. Radke (2013)。視覚効果のためのコンピュータービジョン。ケンブリッジ大学出版局。ISBN 978-0-521-76687-6。
• ニクソン、マーク、アグアド、アルベルト (2019)。コンピュータビジョンのための特徴抽出と画像処理(第 4 版)。アカデミック プレス。ISBN 978-0128149768。

• USC Iris コンピュータビジョンカンファレンスリスト
• ウェブ上のコンピューター ビジョン論文 – 最も関連性の高いコンピューター ビジョン カンファレンスの論文の完全なリスト。
• Computer Vision Online は、Wayback Machineで 2011-11-30 にアーカイブされています。コンピューター ビジョンに関するニュース、ソース コード、データセット、求人情報などが掲載されています。
• CVonline – Bob Fisher のコンピューター ビジョン大要。
• 英国マシンビジョン協会 – BMVCおよびMIUAカンファレンス、Annals of the BMVA（オープンソースジャーナル）、BMVAサマースクール、1日ミーティングを通じて英国内のコンピュータービジョン研究を支援しています。
• Computer Vision Container、Joe Hoeller GitHub: GPU アクセラレーション コンピュータ ビジョン アプリケーション向けに広く採用されているオープン ソース コンテナ。研究者、大学、民間企業、米国政府などで使用されています。