マシンビジョン

マシン ビジョンは、自動検査、 プロセス制御、ロボット誘導などのアプリケーションで、通常は産業界で使用される画像ベースの自動検査と分析を提供するために使用されるテクノロジと方法です。マシン ビジョンは、多くのテクノロジ、ソフトウェアおよびハードウェア製品、統合システム、アクション、方法、専門知識を指します。システム エンジニアリング分野としてのマシン ビジョンは、コンピュータ サイエンスの一形態であるコンピュータ ビジョンとは異なると考えることができます。既存のテクノロジを新しい方法で統合し、それを適用して現実世界の問題を解決しようとします。この用語は、産業オートメーション環境でのこれらの機能に対して広く使用されていますが、他の環境の車両誘導でもこれらの機能に使用されます。

マシン ビジョンの全体的なプロセスには、要件とプロジェクトの詳細を計画し、ソリューションを作成することが含まれます。実行時には、プロセスはイメージングから始まり、その後、イメージの自動分析と必要な情報の抽出が行われます。

「マシンビジョン」という用語の定義はさまざまですが、すべて、出力が別の画像である画像処理とは対照的に、画像から自動的に情報を抽出するために使用されるテクノロジーと方法が含まれます。抽出される情報は、単純な良品/不良品信号の場合もあれば、画像内の各オブジェクトの ID、位置、方向などのより複雑なデータセットの場合もあります。この情報は、自動検査、産業におけるロボットおよびプロセスガイダンス、セキュリティ監視、車両ガイダンスなどのアプリケーションに使用できます。^{[1] [2] [3]}この分野には、多数のテクノロジー、ソフトウェアおよびハードウェア製品、統合システム、アクション、方法、専門知識が含まれます。^{[3] [4]マシンビジョンは、産業オートメーションアプリケーションでこれらの機能に使用される実質的に唯一の用語です。セキュリティや車両ガイダンスなどの他の環境では、この用語はこれらの機能に対してそれほど普遍的ではありません。}システムエンジニアリング分野 としてのマシンビジョンは、基本的なコンピューターサイエンスの一形態であるコンピュータービジョンとは異なると考えることができます。マシンビジョンは、既存のテクノロジーを新しい方法で統合し、それを産業オートメーションや同様のアプリケーション分野の要件を満たす方法で現実世界の問題の解決に適用しようとします。^{[3] : 5  [5]} この用語は、Automated Imaging AssociationやEuropean Machine Vision Associationなどの展示会や業界団体でも広い意味で使用されています。この広い定義には、画像処理に関連する製品やアプリケーションも含まれます。^[4] マシンビジョンの主な用途は、自動検査と産業用ロボット/プロセスガイダンスです。^{[6] [7] : 6–10  [8]}最近では、コンピュータービジョンとマシンビジョンという用語は、より近似しています。^{[9] : 13}マシンビジョンの用語集を参照してください。

マシンビジョンの主な用途は、画像ベースの自動検査と選別、およびロボットガイダンスです。^{[6] [7] ：6–10}このセクションでは、前者は「自動検査」と略されます。全体的なプロセスには、要件とプロジェクトの詳細を計画し、ソリューションを作成することが含まれます。^{[10] [11]}このセクションでは、ソリューションの運用中に発生する技術的なプロセスについて説明します。

自動検査操作手順の最初のステップは、通常、後続の処理に必要な差別化を提供するように設計されたカメラ、レンズ、照明を使用して画像を取得することです。 ^{[12] [13]}次に、 MVソフトウェアパッケージとその中で開発されたプログラムは、さまざまなデジタル画像処理技術を使用して必要な情報を抽出し、抽出された情報に基づいて（合格/不合格などの）決定を下します。^[14]

自動検査システムの構成要素には通常、照明、カメラまたはその他の撮像装置、プロセッサ、ソフトウェア、出力デバイスが含まれます。^{[7] : 11–13}

イメージングデバイス（カメラなど）は、メインの画像処理装置から分離することも、組み合わせることもできます。後者の場合、組み合わせは一般にスマートカメラまたはスマートセンサーと呼ばれます。^{[15] [16]} カメラと同じ筐体に完全な処理機能を組み込むことを、組み込み処理と呼ぶことがよくあります。^{[17]分離されている場合、アナログまたは標準化されたデジタルインターフェイス（} Camera Link、CoaXPress）を使用して 、特殊な中間ハードウェア、カスタム処理アプライアンス、またはコンピューター内のフレームグラバーに接続できます。 ^{[18] [19] [20] [21] MV実装では、} FireWire、USB、またはギガビットイーサネットインターフェイスを介してコンピューターに直接接続（フレームグラバーなし）できるデジタルカメラも使用されます。^{[21] [22]}

MVでは従来の（2D可視光）イメージングが最も一般的に使用されていますが、代替手段としては、マルチスペクトルイメージング、ハイパースペクトルイメージング、さまざまな赤外線バンドのイメージング、^[23] ラインスキャンイメージング、表面の3Dイメージング、X線イメージングなどがあります。^[6] MV 2D可視光イメージングの主な違いは、モノクロとカラー、フレームレート、解像度、およびイメージングプロセスが画像全体で同時に行われるかどうかであり、移動プロセスに適しています。^[24]

マシンビジョンアプリケーションの大部分は2次元イメージングを使用して解決されますが、3Dイメージングを使用するマシンビジョンアプリケーションは、業界内で成長しているニッチです。^{[25] [26]} 3Dイメージングに最も一般的に使用される方法は、イメージングプロセス中の製品または画像の動きを利用するスキャンベースの三角測量です。レーザーがオブジェクトの表面に投影されます。マシンビジョンでは、ワークピースを移動するか、カメラとレーザーイメージングシステムを移動することによるスキャン動作でこれを実現します。線は、異なる角度からカメラで表示され、線の偏差は形状の変化を表します。複数のスキャンからの線は、深度マップまたはポイントクラウドに組み立てられます。^[27] 立体視は、一対のカメラの両方のビューに固有の機能が存在する特殊な場合に使用されます。^[27]マシンビジョンに使用される他の3D方法には、飛行時間型とグリッドベース型があります。^{[27] [25]}一つの方法は、2012年頃にMicrosoft Kinectシステムで採用された擬似ランダム構造化光システムを使用したグリッドアレイベースのシステムである。^{[28] [29]}

画像が取得された後、処理されます。^[20]中央処理機能は、通常、CPU、GPU、FPGA、またはこれらの組み合わせによって実行されます。^[17] ディープラーニングのトレーニングと推論には、より高い処理パフォーマンス要件が課せられます。^[30] 通常、複数の処理段階がシーケンスで使用され、最終的に望ましい結果が得られます。一般的なシーケンスは、画像を変更するフィルターなどのツールから始まり、次にオブジェクトの抽出、それらのオブジェクトからのデータの抽出（測定、コードの読み取りなど）、そのデータの通信、またはターゲット値と比較して「合格/不合格」の結果を作成して通信します。マシンビジョン画像処理方法には、以下が含まれます。

• ステッチング/レジストレーション: 隣接する2Dまたは3D画像を組み合わせる。^[要出典]
• フィルタリング（例：形態学的フィルタリング）^[31]
• 閾値設定: 閾値設定は、次のステップで役立つグレー値の設定または決定から始まります。この値は、画像の一部を分離するために使用され、場合によっては、画像の各部分がそのグレースケール値より上か下かに基づいて単純な白黒に変換されます。^[32]
• ピクセルカウント: 明るいピクセルまたは暗いピクセルの数を数える^{[引用が必要]}
• セグメンテーション：デジタル画像を複数のセグメントに分割して、画像の表現を簡素化したり、より意味のある分析しやすいものに変更したりすること。^{[33] [34]}
• エッジ検出：物体のエッジを見つける^[35]
• 色分析：色を使用して部品、製品、アイテムを識別し、色から品質を評価し、色を使用して機能を分離します。^[6]
• ブロブ検出と抽出：画像内の連結したピクセルの個別のブロブ（例えば灰色の物体内のブラックホール）を画像のランドマークとして検査する。^[36]
• ニューラルネットワーク/ディープラーニング/機械学習処理：加重および自己学習型多変数意思決定^[37] 2019年頃には、ディープラーニングと機械学習を使用してマシンビジョン機能を大幅に拡張する大きな拡張が行われています。このような処理の最も一般的な結果は分類です。分類の例としては、物体識別、識別された物体の「合否」分類、OCRなどがあります。^[37]
• テンプレートマッチングを含むパターン認識。特定のパターンを見つけ、マッチングし、カウントする。これには、回転したり、他の物体によって部分的に隠れたり、サイズが変化する可能性のある物体の位置が含まれる場合がある。^[38]
• バーコード、データマトリックス、および「2Dバーコード」の読み取り ^[39]
• 光学文字認識：シリアル番号などのテキストの自動読み取り ^[40]
• 計測/計測：物体の寸法の測定（例：ピクセル、 インチ、ミリメートル） ^[41]
• 目標値との比較により、「合格か不合格か」または「合格か不合格か」の結果を決定します。たとえば、コードまたはバーコードの検証では、読み取った値が保存されている目標値と比較されます。計測では、測定値が適正値および許容値と比較されます。英数字コードの検証では、OCR 値が適正値または目標値と比較されます。傷の検査では、測定された傷のサイズが品質基準で許可されている最大値と比較される場合があります。^[39]

自動検査システムからの一般的な出力は、合格/不合格の決定です。^[14]これらの決定は、不合格品を拒否したり、アラームを鳴らしたりするメカニズムをトリガーする場合があります。その他の一般的な出力には、ロボット誘導システム用のオブジェクトの位置と方向の情報があります。^[6] さらに、出力タイプには、数値測定データ、コードと文字から読み取ったデータ、オブジェクトの数と分類、プロセスまたは結果の表示、保存された画像、自動空間監視MVシステムからのアラーム、プロセス制御信号などがあります。^{[10] [13]}これには、ユーザーインターフェイス、マルチコンポーネントシステムの統合用インターフェイス、自動データ交換も含まれます。^[42]

ディープラーニングという用語にはさまざまな意味があり、そのほとんどは20年以上にわたってマシンビジョンで使用されている技術に当てはまります。しかし、「マシンビジョン」という用語が使われるようになったのは、産業用マシンビジョンの分野で画像全体にそのような技術をうまく適用できるようになった2010年代後半のことです。^{[43]従来のマシンビジョンでは、欠陥の信頼性の}高い単純な区別を作成するために、通常、マシンビジョン自動検査ソリューションの「物理」フェーズが必要です。「単純な」区別の例としては、欠陥が暗く、製品の良好な部分が明るいことが挙げられます。一部のアプリケーションが実行できなかった一般的な理由は、「単純」を実現できなかった場合です。ディープラーニングはこの要件を取り除き、本質的には人間と同じようにオブジェクトを「見る」ため、これらの自動アプリケーションを実現できるようになりました。^[43]システムはトレーニングフェーズで大量の画像から学習し、実行時に検査を実行します。これは「推論」と呼ばれます。^[43]

マシンビジョンは、一般的にロボットに位置と方向の情報を提供して、ロボットが製品を適切に掴めるようにします。この機能は、1軸または2軸のモーションコントローラなど、ロボットよりも単純な動作をガイドするためにも使用されます。^[6] 全体的なプロセスには、要件とプロジェクトの詳細を計画し、ソリューションを作成することが含まれます。このセクションでは、ソリューションの運用中に発生する技術的なプロセスについて説明します。プロセスステップの多くは、結果として位置と方向の情報を提供することに重点が置かれていることを除いて、自動検査と同じです。^[6]

2006年、ある業界コンサルタントは、MVは北米で15億ドルの市場を占めていると報告しました。^[44]しかし、MV業界誌の編集長は、「マシンビジョンはそれ自体が産業ではなく、むしろ自動車や消費財の製造、農業、防衛などの真の産業に利益をもたらすサービスやアプリケーションを提供する技術と製品の統合である」と主張しました。^[4]

• マシンビジョン用語集
• 特徴検出（コンピュータビジョン）
• 前景検出
• ビジョン処理ユニット
• 光学選別