デジタル画像の相関と追跡

デジタル画像相関および追跡は、追跡および画像登録技術を使用して、画像の変化を正確に 2D および 3D で測定する光学的な方法です。この方法は、全視野の変位とひずみを測定するためによく使用され、科学および工学の多くの分野で広く適用されています。ひずみゲージや伸び計と比較すると、デジタル画像相関法は、局所データと平均データの両方を提供できるため、変形に関するより詳細な情報を提供します。

デジタル画像相関 (DIC) 技術は、実装と使用が比較的容易なため、特にマイクロおよびナノスケールの機械試験アプリケーションで人気が高まっています。コンピューター技術とデジタル カメラの進歩により、この方法が可能になりました。白色光光学系が主流のアプローチでしたが、DIC はほぼすべての画像技術に拡張可能であり、実際に拡張されています。

相互相関を使用してデータセットのシフトを測定するという概念は古くから知られており、少なくとも 1970 年代初頭からデジタル画像に適用されてきました。^{[1] [2]}現在のアプリケーションは、画像分析、画像圧縮、速度測定、ひずみ推定など、ほぼ無数にあります。力学分野における DIC の初期の作業の多くは、1980 年代初頭にサウスカロライナ大学の研究者によって主導され^{[3] [4] [5]}、近年最適化および改善されてきました。^[6]一般的に、DIC は、2 つ以上の対応する画像上のピクセル強度配列サブセット間の相関配列の最大値を見つけることに依存しており、これにより、それらの間の整数並進シフトが得られます。元の画像の解像度よりも細かい解像度へのシフトを推定することもできます。これは、測定されたシフトが整数ピクセル単位よりも小さいため、「サブピクセル」登録と呼ばれることがよくあります。シフトのサブピクセル補間の場合、他の方法では相関係数を単純に最大化しません。非線形最適化技術を使用して、補間相関係数を最大化するために反復アプローチを使用することもできます。^[7]非線形最適化アプローチは概念的に単純で、大きな変形をより正確に処理できますが、ほとんどの非線形最適化技術^{[引用が必要]}と同様に、遅くなります。

2 次元の離散相互相関はいくつかの方法で定義できますが、1 つの可能性は次のとおりです。 ${\displaystyle r_{ij}}$

${\displaystyle r_{ij}={\frac {\sum _{m}\sum _{n}[f(m+i,n+j)-{\bar {f}}][g(m,n)-{\bar {g}}]}{\sqrt {\sum _{m}\sum _{n}{[f(m,n)-{\bar {f}}]^{2}}\sum _{m}\sum _{n}{[g(m,n)-{\bar {g}}]^{2}}}}}.}$

ここで、f ( m , n )は元の画像内の点( m , n )におけるピクセル強度またはグレースケール値、 g ( m , n )は変換された画像内の点( m , n )におけるグレースケール値であり、強度行列fとgの平均値です。 ${\displaystyle {\bar {f}}}$${\displaystyle {\bar {g}}}$

ただし、実際のアプリケーションでは、相関配列は通常、フーリエ変換法を使用して計算されます。これは、高速フーリエ変換が相関を直接計算するよりもはるかに高速な方法であるためです。

${\displaystyle \mathbf {F} ={\mathcal {F}}\{f\},\quad \mathbf {G} ={\mathcal {F}}\{g\}.}$

次に、2番目の結果の複素共役を取り、フーリエ変換を要素ごとに掛け合わせると、相関図のフーリエ変換が得られます。 ${\displaystyle \ R}$

${\displaystyle R=\mathbf {F} \circ \mathbf {G} ^{*},}$

ここで、はアダマール積（エントリごとの積）です。また、この時点で大きさを 1 に正規化することもよく行われ、その結果、位相相関と呼ばれる変化が生じます。 ${\displaystyle \circ }$

次に、逆フーリエ変換を適用して相互相関を取得します。

${\displaystyle \ r={\mathcal {F}}^{-1}\{R\}.}$

この時点で、の最大値の座標は整数シフトを与えます。 ${\displaystyle r_{ij}}$

${\displaystyle (\Delta x,\Delta y)=\arg \max _{(i,j)}\{r\}.}$

変形マッピングの場合、画像全体にわたってサブウィンドウ ペアのセットを比較することで、画像を関連付けるマッピング関数を導出できます (図 1)。座標またはグリッド ポイント ( x _i、y _j ) と ( x _i ^*、y _j ^* ) は、2 つの画像間で発生する変換によって関連付けられます。変形が小さく、カメラの光軸に対して垂直である場合、 ( x _i、y _j ) と ( x _i ^*、y _j ^* ) の関係は、次のような 2D アフィン変換によって近似できます。

${\displaystyle x^{*}=x+u+{\frac {\partial u}{\partial x}}\Delta x+{\frac {\partial u}{\partial y}}\Delta y,}$

${\displaystyle y^{*}=y+v+{\frac {\partial v}{\partial x}}\Delta x+{\frac {\partial v}{\partial y}}\Delta y.}$

ここで、uとvはそれぞれX方向とY方向のサブイメージの中心の移動です。サブイメージの中心から点( x、y )までの距離は、およびで表されます。したがって、相関係数r _ijは、変位成分( u、v )と変位勾配 の関数です。${\displaystyle \Delta x}$${\displaystyle \Delta y}$

${\displaystyle {\frac {\partial u}{\partial x}},{\frac {\partial u}{\partial y}},{\frac {\partial v}{\partial x}},{\frac {\partial v}{\partial y}}.}$

DIC は、マクロ的な機械試験における変形のマッピングに非常に効果的であることが証明されています。マクロ的な機械試験では、鏡面マーカー (塗料、トナー粉末など) の塗布や、機械加工および研磨による表面仕上げによって、画像を適切に相関させるために必要なコントラストが得られます。ただし、表面コントラストを適用するこれらの方法は、いくつかの理由から、自立型薄膜の適用には適用されません。まず、半導体グレードの基板に常温で蒸着すると、RMS粗さが通常数ナノメートルの鏡面仕上げ品質のフィルムが得られます。その後の研磨または仕上げのステップは必要なく、微細構造の特徴を解像できる電子イメージング技術を使用しない限り、フィルムは画像を適切に相関させるのに十分な有用な表面コントラストを持ちません。通常、この問題は、表面にランダムなスペックル パターンをもたらす塗料を塗布することで回避できますが、自立型薄膜の表面に塗料をスプレーまたは塗布することで生じる大きな乱流の力は大きすぎて、試験片を破壊します。さらに、個々の塗料粒子のサイズはμmオーダーであるのに対し、フィルムの厚さはわずか数百ナノメートルであり、これは薄い紙の上に大きな岩を支えるのと似ています。

パターンの適用と堆積を縮小したスケールで行う技術の進歩により、ナノスケールの化学的表面再構築やコンピューターで生成されたランダムな鏡面パターンのフォトリソグラフィーなどの小規模合成法が利用され、DIC に適した表面コントラストが生成されるようになりました。試料の表面に静電的に付着し、デジタルで追跡できる非常に微細な粉末粒子を適用するのも 1 つの方法です。Al 薄膜の場合、粒子サイズが比較的よく制御されているため、当初は微細なアルミナ研磨剤が使用されていましたが、Al 薄膜への付着性はあまりよくなく、粒子が過度に凝集する傾向がありました。最も効果的に機能した候補は、高温接着化合物用に設計されたシリカ粉末 (Aremco 社製) で、プラスチック製の注射器で塗布されました。

薄い粉末のブランケットが引張サンプルのゲージセクションを覆い、大きな粒子を静かに吹き飛ばすことができます。残った粒子は、表面に最もよく付着する粒子です。結果として生じる表面コントラストは DIC には理想的ではありませんが、粒子と背景の強度比が高いため、変形中に撮影された連続デジタル画像間で粒子を追跡するユニークな機会が得られます。これは、デジタル画像処理技術を使用して非常に簡単に実現できます。サブピクセル トラッキングは、いくつかの相関技術、または粒子の既知の強度プロファイルに合わせることによって実現できます。

フォトリソグラフィーと電子ビームリソグラフィーは、マイクロスペックルスタンプ用のマイクロツールを作成するために使用することができ、スタンプは試料の表面にスペックルパターンを印刷することができます。スタンプインクは、光学DIC、SEM-DIC、および同時SEM-DIC/ EBSD研究に適したものを選択できます（インクはEBSDに対して透明です）。^[8]

デジタルボリューム相関 (DVC、またはボリュームDICとも呼ばれる) は、2D-DIC アルゴリズムを 3 次元に拡張し、3D 画像のペアから全視野 3D 変形を計算します。この手法は、従来の光学画像を使用して外部表面の 3D 変形のみを計算する 3D-DIC とは異なります。DVC アルゴリズムは、ピクセルではなくボクセルの形式で全視野変位情報を追跡できます。理論は上記と似ていますが、z 次元という別の次元が追加されています。変位は、参照ボリューム画像と変形ボリューム画像の 3D サブセットの相関から計算されます。これは、上記の 2D サブセットの相関に似ています。^[9]

DVCは体積画像データセットを使用して実行できます。これらの画像は、共焦点顕微鏡、X線コンピュータ断層撮影、磁気共鳴画像法などの技術を使用して取得できます。他のDIC技術と同様に、正確な変位測定を確実にするために、画像は明確でコントラストの高い3D「スペックルパターン」を示す必要があります。^[10]

DVCは、X線コンピュータ断層撮影画像を使用して海綿骨の変形を研究するために1999年に初めて開発されました。 ^[9]それ以来、DVCの用途は、粒状材料、金属、発泡体、複合材料、生物材料にまで拡大しました。現在までに、MRI画像、コンピュータ断層撮影（CT）、マイクロCT、共焦点顕微鏡、^[11]、および光シート顕微鏡で取得した画像で使用されています。^[12] DVCは現在、生物標本の局所的な変位、ひずみ、および応力の3D定量化に研究の世界では理想的であると考えられています。この方法は従来の実験方法よりも非侵襲的であるため好まれています。^[10]

2つの重要な課題は、DVC測定の速度と信頼性を向上させることです。3Dイメージング技術は、従来の2D光学画像よりもノイズの多い画像を生成するため、変位測定の品質が低下します。計算速度は、2D画像よりも大幅に大きい3D画像のファイルサイズによって制限されます。たとえば、8ビット（1024x1024）ピクセルの2D画像のファイルサイズは1 MBですが、8ビット（1024x1024x1024）ボクセル3D画像のファイルサイズは1 GBです。これは、並列コンピューティングを使用して部分的に相殺できます。^{[13] [14]}

デジタル画像相関は、以下の業界で実証されています。^[15]

• 自動車
• 航空宇宙
• 生物学的
• 産業
• 研究と教育
• 政府と軍隊
• バイオメカニクス
• ロボット工学
• エレクトロニクス

また、地震による変形のマッピングにも使用されています。^[16]

国際デジタル画像相関学会（iDICs）は、学界、政府、産業界のメンバーで構成される団体で、DICシステムに関するエンドユーザーのトレーニングと教育、および一般的なアプリケーションのためのDIC実践の標準化に取り組んでいます。^[17] 2015年に設立されたiDIC ^[18]は、 DICユーザー向けの標準化の作成に重点を置いています。^[19]

• オプティカルフロー
• ストレス
• 歪み
• 変位ベクトル
• 粒子画像速度測定
• 電子機器向けデジタル画像相関

• Mathematica ImageCorrelate関数
• デジタル画像相関法を使用してチューブブレードのひずみを測定する
• イメージシステム DIC
• 電子設計におけるDIC
• 航空宇宙におけるDICの応用
• 3D光学ひずみ測定
• 国際デジタル画像相関協会 (iDICs)