1983年に発表された初期のAutomatix (現在は オムロン の一部)のマシンビジョンシステム、Autovision IIが展示会でデモンストレーションされている。三脚に取り付けられたカメラがライトテーブルを下向きに向け、画面に表示されるバックライト画像を生成し、その後、ブロブ抽出 が行われる。 マシンビジョンとは、自動検査、 プロセス制御 、ロボット誘導などの用途において、画像 ベースの自動 検査および分析を提供するために使用される技術と手法であり、通常は産業分野で用いられます。マシンビジョンは、多くの技術、ソフトウェアおよびハードウェア製品、統合システム、動作、手法、専門知識を指します。システム工学の一分野としてのマシンビジョンは、 コンピュータサイエンス の一形態であるコンピュータビジョン とは区別されます。マシンビジョンは、既存の技術を新しい方法で統合し、現実世界の問題を解決するために応用しようとします。この用語は、産業オートメーション環境におけるこれらの機能を表す一般的な用語ですが、車両誘導などの他の環境におけるこれらの機能にも使用されます。
マシンビジョン全体のプロセスには、要件とプロジェクトの詳細を計画し、ソリューションを作成する段階が含まれます。実行時には、まず画像処理が行われ、続いて画像の自動分析と必要な情報の抽出が行われます。
画像に基づく自動検査および選別 マシンビジョンの主な用途は、画像ベースの自動検査と選別、およびロボット誘導です。[ 6 ] [ 7 ] : 6~10 このセクションでは、前者は「自動検査」と略記します。全体のプロセスには、要件とプロジェクトの詳細を計画し、次にソリューションを作成することが含まれます。[ 10 ] [ 11 ] このセクションでは、ソリューションの運用中に発生する技術プロセスについて説明します。
操作方法および手順 自動検査シーケンスの最初のステップは画像の取得 であり、通常は後続の処理に必要な識別を提供するように設計されたカメラ、レンズ、照明を使用します。[ 12 ] [ 13 ] MVソフトウェア パッケージおよびそれらで開発されたプログラムは、さまざまなデジタル画像処理 技術を使用して必要な情報を抽出し、多くの場合、抽出された情報に基づいて(合格/不合格などの)決定を行います。[ 14 ]
装置 自動検査システムの構成要素は通常、照明、カメラまたはその他の画像処理装置、プロセッサ、ソフトウェア、および出力装置を含む。[ 7 ] : 11-13
イメージング イメージングデバイス(カメラなど)は、メインの画像処理ユニットとは別個のもの、またはメインの画像処理ユニットと一体化されたものがあり、後者の場合、この組み合わせは一般的にスマートカメラ またはスマートセンサーと呼ばれます。[ 15 ] [ 16 ] カメラと同じ筐体内に完全な処理機能を含めることは、組み込み処理と呼ばれることがよくあります。[ 17 ] 分離されている場合、接続は、アナログまたは標準化されたデジタルインターフェース( Camera Link 、CoaXPress )を使用して、専用の中間ハードウェア、カスタム処理アプライアンス、またはコンピュータ内のフレームグラバーに行うことができます。 [ 18 ] [ 19 ] [ 20 ] [ 21 ] MVの実装では、 FireWire 、USB 、またはギガビットイーサネット インターフェースを介して(フレームグラバーなしで)コンピュータに直接接続できるデジタルカメラも使用されます。[ 21 ] [ 22 ]
MVでは従来型の(2D可視光)イメージングが最も一般的に使用されていますが、代替手段としてマルチスペクトルイメージング 、ハイパースペクトルイメージング 、さまざまな赤外線バンドのイメージング[ 23 ] 、ラインスキャンイメージング、表面の3Dイメージング 、X線イメージング[ 6 ] などがあります。MV 2D可視光イメージングの主な違いは、モノクロかカラーか、フレームレート 、解像度、イメージング処理が画像全体で同時であるかどうかであり、これにより移動プロセスに適しています。[ 24 ]
マシンビジョンアプリケーションの大部分は2次元イメージングを使用して解決されますが、3Dイメージングを利用するマシンビジョンアプリケーションは、業界内で成長しているニッチ分野です。[ 25 ] [ 26 ] 3Dイメージングで最も一般的に使用される方法は、イメージングプロセス中に製品または画像の動きを利用するスキャンベースの三角測量です。レーザーがオブジェクトの表面に投影されます。マシンビジョンでは、これは、ワークピースを移動するか、カメラとレーザーイメージングシステムを移動することによって、スキャン動作によって実現されます。線は、異なる角度からカメラによって見られます。線の偏差は、形状の変化を表します。複数のスキャンからの線は、深度マップ または点群に組み立てられます。[ 27 ] ステレオスコピックビジョンは、一対のカメラの両方のビューに存在する独自のフィーチャを含む特殊なケースで使用されます。[ 27 ] マシンビジョンで使用されるその他の3D方法は、飛行時間 およびグリッドベースです。[ 27 ] [ 25 ] 1 つの方法は、2012 年頃の Microsoft Kinect システムで採用されているような、擬似ランダム構造化光システムを使用したグリッド アレイ ベースのシステムです。[ 28 ] [ 29 ] タイム オブ フライト (ToF) や構造化光などの技術は、高速な深度マッピングを提供します。[ 30 ]
画像処理 画像が取得された後、処理されます。[ 20 ] 中央処理機能は一般的に、CPU 、GPU 、FPGA 、またはこれらの組み合わせによって実行されます。[ 17 ] ディープラーニングのトレーニングと推論には、より高い処理性能要件が課せられます。[ 31 ] 複数の処理段階が、最終的に望ましい結果となる一連の処理で一般的に使用されます。典型的な処理シーケンスは、画像を変更するフィルタなどのツールから始まり、オブジェクトの抽出、それらのオブジェクトからのデータの抽出(測定、コードの読み取りなど)、そのデータの伝達、または目標値との比較による「合格/不合格」結果の作成と伝達が行われる場合があります。マシンビジョン画像処理方法には、
出力 自動検査システムの一般的な出力は、合否判定です。[ 14 ] これらの判定は、不合格品を拒否したり、アラームを鳴らしたりするメカニズムをトリガーする場合があります。その他の一般的な出力には、ロボット誘導システム用のオブジェクトの位置と向きの情報があります。[ 6 ] さらに、出力タイプには、数値測定データ、コードと文字から読み取られたデータ、オブジェクトのカウントと分類、プロセスまたは結果の表示、保存された画像、自動空間監視MVシステムからのアラーム、およびプロセス制御 信号が含まれます。[ 10 ] [ 13 ] これには、ユーザーインターフェース、マルチコンポーネントシステムの統合のためのインターフェース、および自動データ交換も含まれます。[ 43 ]
ディープラーニング ディープラーニング という用語にはさまざまな意味があり、そのほとんどは20年以上前からマシンビジョンで使用されている技術に適用できます。しかし、「マシンビジョン」におけるこの用語の使用は、産業用マシンビジョンの分野で画像全体にそのような技術をうまく適用できるようになった2010年代後半に始まりました。[ 44 ] 従来のマシンビジョンでは、欠陥の信頼性の高い単純な 識別を作成するために、マシンビジョン自動検査ソリューションの「物理」フェーズが必要になるのが一般的です。「単純な」識別の例としては、欠陥が暗く、製品の良品が明るいことが挙げられます。一部のアプリケーションが実行できなかった一般的な理由は、「単純な」識別が不可能だったためです。ディープラーニングはこの要件を取り除き、本質的には人間のようにオブジェクトを「見る」ことで、これらの自動アプリケーションを実行できるようになりました。[ 44 ] システムはトレーニングフェーズで大量の画像から学習し、実行時に検査を実行します。これは「推論」と呼ばれます。[ 44 ]
画像誘導型ロボットガイダンス マシンビジョンは、ロボットが製品を適切に把持できるように、ロボットに位置情報と向き情報を提供するのが一般的です。この機能は、1軸または2軸モーションコントローラなど、ロボットよりも単純な動作を誘導するためにも使用されます。[ 6 ] 全体的なプロセスには、要件とプロジェクトの詳細を計画し、ソリューションを作成することが含まれます。このセクションでは、ソリューションの運用中に発生する技術的なプロセスについて説明します。プロセス手順の多くは、結果として位置情報と向き情報を提供することに重点を置いている点を除いて、自動検査と同じです。[ 6 ]
市場 2006年当時、ある業界コンサルタントは、MVが北米で15億ドルの市場を形成していると報告した。[ 45 ] しかし、MV業界誌の編集長は、「マシンビジョンはそれ自体が産業ではなく、自動車や消費財製造、農業、防衛などの真の産業に利益をもたらすサービスやアプリケーションを提供する技術と製品の統合である」と主張した。[ 4 ]
参考文献 ↑ シュテーガー、カールステン。マルクス・ウルリッヒ;クリスチャン・ヴィーデマン (2018)。マシン ビジョン アルゴリズムとアプリケーション (第 2 版)。ワインハイム: Wiley-VCH 。 p. 1.ISBN 978-3-527-41365-2 2018年1月30日 に取得 。 ↑ Beyerer, Jürgen; Puente León, Fernando & Frese, Christian (2016). Machine Vision - Automated Visual Inspection: Theory, Practice and Applications . Berlin: Springer . doi : 10.1007/978-3-662-47794-6 . ISBN 978-3-662-47793-9 2016年10月11日 に取得 。1 2 3 グレイブス、マーク&ブルース・G・バチェラー(2003)。 天然 物検査のためのマシンビジョン 。 スプリンガー 。p. 5。ISBN 978-1-85233-525-0 2010年11月2日 に取得 。1 2 3 Holton, W. Conard (2010 年 10 月)。 「By Any Other Name」 。Vision Systems Design。15 ( 10)。ISSN 1089-3709。2013 年 3 月 5 日 に取得 。 ↑ オーウェン=ヒル、アレックス(2016年7月21日) 「ロボットビジョンとコンピュータビジョン:違いは何ですか?」 Robotics Tomorrow。 1 2 3 4 5 6 7 Turek, Fred D. (2011 年 6 月). 「マシンビジョンの基礎、ロボットに物を見させる方法」 . NASA Tech Briefs . 35 (6): 60–62 . 2011 年 11 月 29 日に取得 。 1 2 3 Cognex (2016). 「マシンビジョン入門」 (PDF) . Assembly Magazine . 2017年 2月9日 取得 。 ↑ Lückenhaus, Maximilian (2016年5月1日) 「IIoTにおけるマシンビジョン」 Quality Magazine 。 2022年1月20日に オリジナル からアーカイブ済み 。 2017年 2月9日 に取得。 ↑ コンピュータビジョンの 原理、アルゴリズム、応用、学習 第5版 ER Davies著 Academic Press、Elsevier 2018 ISBN 978-0-12-809284-2 1 2 West、Perry 機械視覚システム構築のためのロードマップ 1-35ページ ↑ Dechow, David (2009年1月) 「統合:機能させる方法」 Vision & Sensors : 16–20 。 2020年3月14日の オリジナル からアーカイブ。 2012年5月12日 取得 。 ↑ Hornberg, Alexander (2006). Handbook of Machine Vision . Wiley-VCH . p. 427. ISBN 978-3-527-40584-8 2010年11月5日 に取得 。1 2 Demant C.、Streicher-Abel B.、Waszkewitz P. (1999). Industrial Image Processing: Visual Quality Control in Manufacturing . Springer-Verlag. ISBN 3-540-66410-6 。1 2 Hornberg, Alexander (2006). Handbook of Machine Vision . Wiley-VCH. p. 429. ISBN 978-3-527-40584-8 2010年11月5日 に取得 。↑ ベルバシール、アハメド・ナビル編 (2009). スマートカメラ . スプリンガー. ISBN 978-1-4419-0952-7 。↑ Dechow, David (2013年2月). 「機械視覚の基礎を探る:パート1」 . Vision Systems Design . 18 (2): 14–15 . 2013年3月5日 取得 。 1 2 組み込みビジョン設計における重要な考慮事項 デイブ・ライス、アンバー・サウザンド著Photonics Spectra 誌(Laurin Publishing Co.発行)2019年7月号 60-64ページ↑ ウィルソン、アンドリュー(2011年5月31日)。 「CoaXPress規格がカメラ、フレームグラバーのサポートを獲得」 。Vision Systems Design 。 2012年11月28日 閲覧 。 ↑ ウィルソン、デイブ(2012年11月12日)。 「CoaXPress規格に準拠していると認定されたカメラ」 。Vision Systems Design 。 2013年3月5日 取得 。 1 2 Davies, ER (1996). マシンビジョン - 理論、アルゴリズム、実践 (第2 版). Harcourt & Company. ISBN 978-0-12-206092-2 。 。1 2 Dinev, Petko (2008 年 3 月) 「デジタルかアナログか?アプリケーションに適したカメラの選択は、マシンビジョンシステムが達成しようとしていることに依存する」 Vision & Sensors : 10– 14. 2020 年 3 月 14 日に オリジナル からアーカイブ済み 。2012 年 5 月 12 日 に取得。 ↑ ウィルソン、アンドリュー(2011年12月)。 「製品フォーカス - ビジョンの未来を見据えて」 。 ビジョンシステムデザイン 。16 (12) 。 2013年3月5日 取得 。 ↑ ウィルソン、アンドリュー(2011年4月)。 「赤外線の選択」 。 ビジョンシステム設計 。16 (4): 20–23 。 2013年3月 5 日 取得 。 ↑ ウェスト、ペリー著『高速リアルタイムマシンビジョン サイバー オプティクス』1~38ページ 1 2 Murray, Charles J (2012年2月) 「3Dマシンビジョンが焦点に」 . Design News . 2012年6月5日の オリジナルからアーカイブ済み。 2012年5月12日 取得 。 ↑ Davies, ER (2012). Computer and Machine Vision: Theory, Algorithms, Practicalities (4th ed.). Academic Press. pp. 410–411 . ISBN 9780123869081 2012年5月13日 に取得 。1 2 3 3Dイメージング:マシンビジョンの実践的概要 フレッド・トゥレク&キム・ジャクソン著 クオリティマガジン、2014年3月号、第53巻第3号、6~8ページ↑ http://research.microsoft.com/en-us/people/fengwu/depth-icip-12.pdf スケーラブルな深度センシングのためのハイブリッド構造光 Yueyi Zhang、Zhiwei Xiong、Feng Wu 中国科学技術大学(合肥、中国) Microsoft Research Asia(北京、中国) ↑ R.Morano、C.Ozturk、R.Conn、S.Dubin、S.Zietz、J.Nissano、「擬似乱数コードを用いた構造化光」、IEEE Transactions on Pattern Analysis and Machine Intelligence 20 (3)(1998)322–327 ↑ Steger, Carsten; Ulrich, Markus; Wiedemann, Christian (2018). Machine Vision Algorithms and Applications . Wiley-VCH. ISBN 978-3527413652 。↑ マイク・フッセル著「 マシンビジョンにおける深層学習推論のための最適なハードウェアの探索」 Vision Systems Design誌2019年9月号8-9ページ ↑ Demant C.、Streicher-Abel B.、Waszkewitz P. (1999). Industrial Image Processing: Visual Quality Control in Manufacturing . Springer-Verlag. p. 39. ISBN 3-540-66410-6 。↑ Demant C.、Streicher-Abel B.、Waszkewitz P. (1999). Industrial Image Processing: Visual Quality Control in Manufacturing . Springer-Verlag. p. 96. ISBN 3-540-66410-6 。↑ リンダ・G・シャピロ 、ジョージ・C・ストックマン(2001):『コンピュータビジョン』、279-325ページ、ニュージャージー州、プレンティス・ホール、 ISBN 0-13-030796-3 ↑ Lauren Barghout. 視覚的分類学的アプローチによるファジー空間分類カットを用いた画像セグメンテーションは、文脈的に関連性の高い領域を生成する。知識ベースシステムにおける情報処理と不確実性の管理。CCIS Springer-Verlag。2014年 ↑ Demant C.、Streicher-Abel B.、Waszkewitz P. (1999). Industrial Image Processing: Visual Quality Control in Manufacturing . Springer-Verlag. p. 108. ISBN 3-540-66410-6 。↑ Demant C.、Streicher-Abel B.、Waszkewitz P. (1999). Industrial Image Processing: Visual Quality Control in Manufacturing . Springer-Verlag. p. 95. ISBN 3-540-66410-6 。1 2 Turek, Fred D. (2007 年 3 月). 「ニューラル ネットワーク マシン ビジョン入門」 . Vision Systems Design . 12 (3) . 2013 年 3 月 5 日に取得。 ↑ Demant C.、Streicher-Abel B.、Waszkewitz P. (1999). Industrial Image Processing: Visual Quality Control in Manufacturing . Springer-Verlag. p. 111. ISBN 3-540-66410-6 。1 2 Demant C.、Streicher-Abel B.、Waszkewitz P. (1999). Industrial Image Processing: Visual Quality Control in Manufacturing . Springer-Verlag. p. 125. ISBN 3-540-66410-6 。↑ Demant C.、Streicher-Abel B.、Waszkewitz P. (1999). Industrial Image Processing: Visual Quality Control in Manufacturing . Springer-Verlag. p. 132. ISBN 3-540-66410-6 。↑ Demant C.、Streicher-Abel B.、Waszkewitz P. (1999). Industrial Image Processing: Visual Quality Control in Manufacturing . Springer-Verlag. p. 191. ISBN 3-540-66410-6 。↑ Hornberg, Alexander (2006). Handbook of Machine Vision . Wiley-VCH . p. 709. ISBN 978-3-527-40584-8 2010年11月5日 に取得 。1 2 3 マシンビジョンにおけるディープラーニングの位置づけ クオリティマガジン 2022年5月号、第61巻、第5号 発行元:BNPメディアII↑ ハップグッド 、フレッド(2006年12月15日~2007年1月1日)。 「未来の工場」 。CIO。20 (6):46。ISSN 0894-9301 。 2010年10 月 28 日 取得 。