勾配領域画像処理

勾配領域画像処理はポアソン画像編集とも呼ばれ、^[1]ピクセル値ではなく隣接するピクセル間の差を直接操作するデジタル画像処理の一種です。数学的には、画像の勾配は画像の微分を表すため、勾配領域処理の目的は勾配を積分して新しい画像を構築することであり、そのためにはポアソン方程式を解く必要があります。^[2]

勾配領域での画像の処理は、2 段階のプロセスです。最初のステップは、画像の勾配を選択することです。これは、多くの場合、1 つまたは複数の画像から抽出されてから変更されますが、他の方法で取得することもできます。たとえば、一部の研究者は、ユーザーが勾配領域で直接ペイントすることの利点を調査しましたが、^[3]他の研究者は、カメラセンサーから直接勾配をサンプリングすることを提案しました。^[4] 2 番目のステップは、ポアソン方程式を解いて、最​​初のステップの勾配を生成できる新しい画像を見つけることです。修正された勾配場はもはや保守的ではないため、正確な解は存在しないことが多く、目的の勾配に可能な限り近い画像が見つかります。

勾配は既存の画像から取得され、画像編集用に修正されます。差分やソーベルなどのさまざまな演算子を使用して、特定の画像の勾配を見つけることができます。この勾配を直接操作して、結果の画像を解くときにさまざまな効果を生み出すことができます。たとえば、均一な定数で勾配をスケーリングすると、単純なシャープニング フィルターになります。重要と思われる領域でのみ勾配をスケーリングすると、より優れたシャープニング フィルターを作成できます。 [ ^2] その他の用途には、シームレスな画像ステッチ、^[5]、画像からの不要な詳細の削除、^[1]、 非フォトリアリスティックなレンダリングフィルター、^[2]、画像のデブロッキング、^[2]、 従来の画像領域技術では実現が難しい方法で画像の一部を別の部分にシームレスに複製する機能、^[1]、および高ダイナミック レンジ イメージングなど があります。これらの勾配領域編集技術は、ビデオ クリップをピクセルの立方体と見なし、3D ポアソン方程式を解くことで、動画にも拡張できます。^{[7 ]}

デジタル合成は、画像編集でよく行われる作業で、1 枚の写真の一部または全部を別の写真に貼り付けます。従来、これは 1 つの画像から別の画像にピクセル値を貼り付けることで行われます。熟練したアーティストは、従来の手法を使用して説得力のある合成を作成できますが、通常、それを実現するには時間のかかる色補正とマスク カットが必要です。代わりに、貼り付けはグラデーション領域で実行できます。実際のピクセル値ではなくピクセル間の差を貼り付けると、きれいな結果を得るために必要なユーザー入力が大幅に少なくなる場合があります。次の例は、グラデーション領域画像処理を使用して 1 つの画像から別の画像にシームレスに貼り付ける方法を示しています。

• 
  入力画像A
• 
  入力画像B
• 
  変更されたグラデーション。これは、B のグラデーションを A のグラデーションに貼り付けた結果です。
• 
  再構成された画像。これは、修正された勾配でポアソン方程式を解いた結果です。2 つの画像間の継ぎ目はほとんど見えません。
• 
  従来の画像ドメイン貼り付け。これは、ピクセル値を B から A に直接貼り付けた結果です。明らかな継ぎ目があります。

変更されたグラデーションから再構成された画像では、手と目の色がわずかに変化していることに注意してください。これは、ソルバーが画像全体を見つけるように設定されていたために発生しました。ただし、貼り付けられたセクションのみが解決され、画像の残りの部分は変更されないよう制約を追加することも可能です。また、上に示したグラデーションは、1 つのカラー チャネル(赤) のみの導関数を表し、グラデーションの強度と方向を表す色でレンダリングされていることにも注目してください。実際には、カラー チャネルごとに 2 つのグレースケールグラデーション画像が見つかります。1 つはxの変化を表し、もう 1 つはyの変化を表します。各カラー チャネルは、最終画像を再構成するときに個別に解決されます。