カーネル（画像処理）

画像処理において、カーネル、畳み込み行列、またはマスクは、ぼかし、シャープ化、エンボス、エッジ検出などに使用される小さな行列です。これは、カーネルと画像の間で畳み込みを行うことで実現されます。または、もっと簡単に言えば、出力画像の各ピクセルが入力画像内の近くのピクセル（それ自体を含む）の関数である場合、カーネルはその関数です。

畳み込みの一般的な表現は

$${\displaystyle g_{x,y}=\omega *f_{x,y}=\sum _{i=-a}^{a}{\sum _{j=-b}^{b}{\omega _{i,j}f_{xi,yj}}},}$$

ここで、はフィルタリングされた画像、は元の画像、はフィルタ カーネルです。フィルタ カーネルのすべての要素は、 およびによって考慮されます。 ${\displaystyle g(x,y)}$${\displaystyle f(x,y)}$${\displaystyle \omega}$${\displaystyle -a\leq i\leq a}$${\displaystyle -b\leq j\leq b}$

要素の値に応じて、カーネルはさまざまな効果を引き起こす可能性があります。

上記は、カーネルと画像を畳み込むことによって実現できる効果のほんの一例です。

原点は、現在の出力ピクセルの上にあるカーネルの位置です (概念上)。これは実際のカーネルの外側にある場合もありますが、通常はカーネル要素の 1 つに対応します。対称カーネルの場合、原点は通常、中心の要素です。

畳み込みは、カーネルによって重み付けされた画像の各要素をそのローカル近傍に追加するプロセスです。これは、数学的な畳み込みの形式に関連しています。実行される行列演算(畳み込み) は、同様に * で示されるものの、従来の行列乗算ではありません。

たとえば、3 x 3 の行列が 2 つあり、1 つ目はカーネル、2 つ目は画像の一部である場合、畳み込みはカーネルの行と列の両方を反転し、局所的に類似するエントリを乗算して合計するプロセスです。結果の画像の座標 [2, 2] の要素 (つまり、中心の要素) は、カーネルによって指定された重みを持つ、画像行列のすべてのエントリの重み付き組み合わせになります。

$${\displaystyle \left({\begin{bmatrix}a&b&c\\d&e&f\\g&h&i\end{bmatrix}}*{\begin{bmatrix}1&2&3\\4&5&6\\7&8&9\end{bmatrix}}\right)[2,2]=(i\cdot 1)+(h\cdot 2)+(g\cdot 3)+(f\cdot 4)+(e\cdot 5)+(d\cdot 6)+(c\cdot 7)+(b\cdot 8)+(a\cdot 9).}$$

他のエントリも同様に重み付けされ、カーネルの中心を画像の各境界点に配置して、重み付けされた合計を計算します。

出力画像内の特定のピクセルの値は、各カーネル値に、対応する入力画像のピクセル値を掛けて計算されます。これは、次の疑似コードを使用してアルゴリズム的に記述できます。

 入力画像の各画像行 について:
    画像行の各ピクセルについて:    

         アキュムレータをゼロに設定する

         カーネル内の各カーネル行 について:
            カーネル行内の各要素について:    

                 要素の位置がピクセル位置   に対応する場合、
                    要素の値  に対応する値*をピクセル値に掛け、 結果を累算器に追加します。
                     
                

          出力画像ピクセルをアキュムレータに設定する

*対応する入力画像ピクセルはカーネルの原点を基準にして検索されます。

カーネルが対称の場合は、カーネルの中心 (原点) を現在のピクセルに配置します。カーネルは原点の周囲の隣接ピクセルと重なります。各カーネル要素は、重なり合うピクセル値で乗算され、得られたすべての値が合計されます。この結果の合計が、カーネルの中心と現在重なり合っている現在のピクセルの新しい値になります。

カーネルが対称でない場合は、上記のように畳み込みを計算する前に、水平軸と垂直軸の両方を中心に反転する必要があります。^[1]

行列畳み込みの一般的な形式は

$${\displaystyle {\begin{bmatrix}x_{11}&x_{12}&\cdots &x_{1n}\\x_{21}&x_{22}&\cdots &x_{2n}\\\vdots &\vdots &\ddots &\vdots \\x_{m1}&x_{m2}&\cdots &x_{mn}\\\end{bmatrix}}*{\begin{bmatrix}y_{11}&y_{12}&\cdots &y_{1n}\\y_{21}&y_{22}&\cdots &y_{2n}\\\vdots &\vdots &\ddots &\vdots \\y_{m1}&y_{m2}&\cdots &y_{mn}\\\end{bmatrix}}=\sum _{i=0}^{m-1}\sum _{j=0}^{n-1}x_{(m-i)(n-j)}y_{(1+i)(1+j)}}$$

カーネル畳み込みでは通常、画像境界の外側のピクセルの値が必要になります。画像のエッジを処理するにはさまざまな方法があります。

伸ばす

最も近い境界ピクセルは、畳み込みの値を提供するために必要な範囲で概念的に拡張されます。コーナー ピクセルは 90° のくさび形に拡張されます。その他のエッジ ピクセルは線状に拡張されます。

包む

画像は概念的にラップ（またはタイル化）され、値は反対側の端または角から取得されます。

鏡

画像は概念的にエッジでミラーリングされます。たとえば、エッジの 3 単位外側のピクセルを読み取ろうとすると、代わりにエッジの 3 単位内側のピクセルが読み取られます。

切り取り/重なりを避ける

出力画像内の、エッジを超えた値を必要とするピクセルはスキップされます。この方法では、エッジが切り取られ、出力画像がわずかに小さくなる可能性があります。カーネルを移動して、画像外の値が不要になるようにします。機械学習では主にこのアプローチが使用されます。例: カーネル サイズ 10x10、画像サイズ 32x32、結果画像は 23x23。

カーネル作物

入力画像を超えて拡張されたカーネル内のピクセルは使用されず、正規化が調整されて補正されます。

絶え間ない

イメージの外側のピクセルには定数値を使用します。通常は黒が使用されますが、グレーが使用される場合もあります。通常、これはアプリケーションによって異なります。

正規化は、カーネル内の各要素をすべてのカーネル要素の合計で割ることとして定義され、正規化されたカーネルの要素の合計は 1 になります。これにより、変更された画像の平均ピクセルが元の画像の平均ピクセルと同じ明るさになります。

高速畳み込みアルゴリズムには次のものがあります。

• 分離可能な畳み込み

M × Nカーネルを使用した 2D 畳み込みでは、各サンプル (ピクセル) に対してM × N回の乗算が必要です。カーネルが分離可能な場合は、計算をM + N回の乗算に減らすことができます。分離可能な畳み込みを使用すると、1 回の 2D 畳み込みの代わりに 2 回の 1D 畳み込みを実行することで、計算を大幅に削減できます。^[2]

以下は、 GLSLシェーディング言語 を使用して行われた具体的な畳み込みの実装です。

// 作者: csblo 
// 参考にした作品: 
// https://en.wikipedia.org/wiki/Kernel_(image_processing)

// カーネルを定義します
#define identity mat3(0, 0, 0, 0, 1, 0, 0, 0, 0) 
#define edge0 mat3(1, 0, -1, 0, 0, 0, -1, 0, 1) 
#define edge1 mat3(0, 1, 0, 1, -4, 1, 0, 1, 0) 
#define edge2 mat3(-1, -1, -1, -1, -1, 8, -1, -1, -1, -1, -1) 
#define sharpen mat3(0, -1, 0, -1, 5, -1, 0, -1, 0) 
#define box_blur mat3(1, 1, 1, 1, 1, 1, 1, 1, 1) * 0.1111 
#define gaussian_blur mat3(1, 2, 1, 2, 4, 2, 1, 2, 1) * 0.0625 
#define emboss mat3(-2, -1, 0, -1, 1, 1, 0, 1, 2)

// インデックスから行列要素の座標を見つける
vec2 kpos ( int index ) { return vec2 [ 9 ] ( vec2 ( - 1 , - 1 ), vec2 ( 0 , - 1 ), vec2 ( 1 , - 1 ), vec2 ( - 1 , 0 ), vec2 ( 0 , 0 ), vec2 ( 1 , 0 ), vec2 ( - 1 , 1 ), vec2 ( 0 , 1 ), vec2 ( 1 , 1 ) )[ index ] / iResolution . xy ; }  

      
             
              
             
      



// サンプラーから uv を中心とした 3x3 次元の領域を抽出します
// サンプラー : テクスチャ サンプラー
// uv : サンプラーの現在の座標// 戻り値 : 各インデックスがカラー チャネルに対応する
mat3の配列 mat3 
[ 3 ] region3x3 ( sampler2D sampler , vec2 uv ) { // 領域の各ピクセルを作成しますvec4 [ 9 ] region ; for ( int i = 0 ; i < 9 ; i ++ ) region [ i ] = texture ( sampler , uv + kpos ( i ));    

    
     
    
            
             

    // 3 つのカラー チャネル (赤、緑、青) を持つ 3x3 領域を作成します。
mat3 [ 3 ] mRegion ; for ( int i = 0 ; i < 3 ; i ++ ) mRegion [ i ] = mat3 ( region [ 0 ][ i ] , region [ 1 ][ i ] , region [ 2 ][ i ], region [ 3 ][ i ], region [ 4 ][ i ], region [ 5 ][ i ], region [ 6 ][ i ], region [ 7 ][ i ], region [ 8 ][ i ] ); return mRegion ; }     
    
            
          
        	  
        	  
        	  
    	
    
     


// テクスチャをカーネルで畳み込みます
// kernel: 畳み込みに使用するカーネル
// sampler: テクスチャ サンプラー
// uv: サンプラーの現在の座標
vec3 convolution ( mat3 kernel , sampler2D sampler , vec2 uv ) { vec3 fraction ; // uv を中心とした 3x3 領域を抽出しますmat3 [ 3 ] region = region3x3 ( sampler , uv ); // 領域の各カラー チャネルについてfor ( int i = 0 ; i < 3 ; i ++ ) { // 領域チャネルを取得しますmat3 rc = region [ i ]; // カーネルと領域チャネルのコンポーネントごとの乗算mat3 c = matrixCompMult ( kernel , rc ); // 行列の各要素を加算しますfloat r = c [ 0 ][ 0 ] + c [ 1 ][ 0 ] + c [ 2 ][ 0 ] + c [ 0 ][ 1 ] + c [ 1 ] [ 1 ] + c [ 2 ][ 1 ] + c [ 0 ][ 2 ] + c [ 1 ][ 2 ] + c [ 2 ][ 2 ]; // チャネル i のフラグメントに対して、結果を設定します。fragment [ i ] = r ; } return fraction ; }      

     
    
    
        
    
    
            
    
        
           
        
            
        
               
                     
                     
        
        
          
    
    
         


void mainImage ( out vec4 fragColor , in vec2 fragCoord ) { // 正規化されたピクセル座標 (0 から 1) vec2 uv = fragCoord / iResolution . xy ; // カーネルをテクスチャと畳み込むvec3 col = convolution ( emboss , iChannel0 , uv ); // 画面に出力fragColor = vec4 ( col , 1.0 ); }        

    
       
    
         
    
    
       

• 数学における畳み込み
• 多次元離散畳み込み

• Ludwig, Jamie (nd). 画像の畳み込み(PDF) . ポートランド州立大学.
• Lecarme, Olivier; Delvare, Karine (2013 年 1 月)。The Book of GIMP: A Complete Guide to Nearly Everything。No Starch Press。p. 429。ISBN 978-1593273835。
• ガムスター、ジェイソン・ヴァン、シモンスキー、ロバート（2012年3月）。GIMPバイブル。ジョン・ワイリー＆サンズ。pp.438–442。ISBN 978-0470523971。
• Shapiro, Linda G. ; Stockman, George C. (2001 年 2 月)。コンピュータビジョン。Prentice Hall。pp. 53–54。ISBN 978-0130307965。

• FPGA 上で 2D 畳み込みを実装する
• vImage プログラミング ガイド: 畳み込み演算の実行
• 2D畳み込みを用いた画像処理
• GNU 画像操作プログラム - ユーザーマニュアル - 8.2. 畳み込み行列
• 3x3 畳み込みカーネルの GLSL デモ
• 完全な C++ オープンソース プロジェクト