勾配領域画像処理

勾配領域画像処理（ポアソン画像編集とも呼ばれる）^{[ 1 ]}は、画素値ではなく、隣接する画素間の差分に直接作用するデジタル画像処理の一種です。数学的には、画像勾配は画像の導関数を表すため、勾配領域処理の目標は、勾配を積分して新しい画像を構築することであり、そのためにはポアソン方程式を解く必要があります。^{[ 2 ]}

概要

勾配領域での画像処理は 2 段階のプロセスです。最初のステップは、画像勾配を選択することです。これは多くの場合、 1 つ以上の画像から抽出され、その後修正されますが、他の方法で取得することもできます。たとえば、一部の研究者は、ユーザーが勾配領域で直接ペイントすることの利点を探求しており^{[ 3 ]}、他の研究者は、カメラセンサーから直接勾配をサンプリングすることを提案しています^{[ 4 ]} 。2 番目のステップは、ポアソン方程式を解いて、最初のステップで得られた勾配を生成できる新しい画像を見つけることです。修正された勾配場はもはや保存的ではないため、正確な解は存在しないことが多く、目的の勾配にできるだけ近い近似画像が見つかります。

画像編集

勾配は既存の画像から取得され、画像編集の目的で変更されます。有限差分やSobelなどのさまざまな演算子を使用して、特定の画像の勾配を求めることができます。この勾配は、結果として得られる画像が解かれるときに、さまざまな効果を生み出すために直接操作できます。たとえば、均一な定数で勾配をスケーリングすると、単純なシャープ化フィルタになります。重要な領域のみで勾配をスケーリングすることで、より優れたシャープ化フィルタを作成できます。^{[ 2 ]} その他の用途には、シームレスな画像スティッチング、^{[ 5 ]}画像から不要な詳細を除去すること、^{[ 1 ]}非フォトリアリスティックレンダリングフィルタ、^{[ 2 ]}画像デブロッキング、^{[ 2 ]} 従来の画像ドメイン技術では実現が難しい方法で、画像のある部分を別の部分にシームレスにクローンする機能、^{[ 1 ]}および高ダイナミックレンジイメージング^{[ 6 ]}などがあります。これらの勾配ドメイン編集技術は、ビデオクリップをピクセルの立方体とみなして3Dポアソン方程式を解くことで、動画にも拡張できます。^{[ 7 ]}

シームレスな画像クローン

デジタル合成は、画像編集においてよく行われる作業で、ある写真の一部または全部を別の写真に貼り付けるものです。従来は、ピクセル値をある画像から別の画像に貼り付けることで行われていました。熟練したアーティストであれば、従来の手法を用いて説得力のある合成画像を作成できますが、そのためには通常、時間のかかる色補正やマスクカットが必要となります。一方、グラデーション領域で貼り付けを行うことも可能です。ピクセル値そのものではなく、ピクセル間の差分を貼り付けることで、クリーンな結果を得るために必要なユーザー操作を大幅に削減できる場合があります。以下の例では、グラデーション領域画像処理を用いて、ある画像から別の画像へシームレスに貼り付ける方法を示します。

入力画像A
入力画像B
変更されたグラデーション。これは、BのグラデーションをAのグラデーションに貼り付けた結果です。
再構成画像。これは、修正された勾配に対してポアソン方程式を解いた結果です。2つの画像の継ぎ目はほとんど見えません。
従来型の画像領域での貼り付け。これは、BからAにピクセル値を直接貼り付けた結果です。明らかな継ぎ目があります。

変更されたグラデーションから再構築された画像では、手と目の色がわずかに変化していることに注目してください。これは、ソルバーが画像全体を検索するように設定されているためです。ただし、制約を追加することで、貼り付けられた部分のみを解決し、画像の残りの部分は変更せずに残すことができます。また、上記のグラデーションは、1つのカラーチャネル（赤）の微分のみを表しており、グラデーションの強さと方向を表す色でレンダリングされていることにも注意が必要です。実際には、カラーチャネルごとに2つのグレースケールグラデーション画像が見つかります。1つはxの変化を表し、もう1つはyの変化を表します。最終画像を再構築する際には、各カラーチャネルが独立して解決されます。

参考文献

1 2 3 Pérez, Patrick; Gangnet, Michel; Blake, Andrew (2003). "Poisson image editing" (PDF) . ACM SIGGRAPH 2003 Papers on - SIGGRAPH '03 . p. 313. doi : 10.1145/1201775.882269 . ISBN 1581137095. S2CID 6541990 .
1 2 3 4 Bhat, Pravin; Zitnick, C. Lawrence; Cohen, Michael; Curless, Brian (2010). "Gradient Shop " (PDF) . ACM Transactions on Graphics . 29 (2): 1– 14. doi : 10.1145/1731047.1731048 . S2CID 3097999 .
↑ McCann, James; Pollard, Nancy S. (2008). "リアルタイム勾配領域ペイント" (PDF) . ACM Transactions on Graphics . 27 (3): 1– 7. doi : 10.1145/1360612.1360692 .
↑ Tumblin, J.; Agrawal, A.; Raskar, R. (2005). "Why I Want a Gradient Camera". 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05) (PDF) . Vol. 1. pp. 103–110 . doi : 10.1109/CVPR.2005.374 . ISBN 0-7695-2372-2. S2CID 1821571 .
↑ Levin, Anat; Zomet, Assaf; Peleg, Shmuel; Weiss, Yair (2004). "勾配領域におけるシームレス画像スティッチング" (PDF) . Computer Vision - ECCV 2004 . Lecture Notes in Computer Science. Vol. 3024. pp. 377–389 . doi : 10.1007/978-3-540-24673-2_31 . ISBN 978-3-540-21981-1。
↑ Fattal, Raanan; Lischinski, Dani; Werman, Michael (2002). "Gradient domain high dynamic range compression" (PDF) . Proceedings of the 29th annual conference on Computer graphics and interactive techniques - SIGGRAPH '02 . p. 249. doi : 10.1145/566570.566573 . ISBN 1581135211. S2CID 1650337 .
↑ Wang, Hongcheng; Xu, Ning; Raskar, Ramesh; Ahuja, Narendra (2007). "Videoshop: 勾配領域における時空間ビデオ編集のための新しいフレームワーク". Graphical Models . 69 : 57–70 . doi : 10.1016/j.gmod.2006.06.002 .

[Perez2003-1] 1 2 3 Pérez, Patrick; Gangnet, Michel; Blake, Andrew (2003). "Poisson image editing" (PDF) . ACM SIGGRAPH 2003 Papers on - SIGGRAPH '03 . p. 313. doi : 10.1145/1201775.882269 . ISBN 1581137095. S2CID 6541990 .

[Bhat2010-2] 1 2 3 4 Bhat, Pravin; Zitnick, C. Lawrence; Cohen, Michael; Curless, Brian (2010). "Gradient Shop " (PDF) . ACM Transactions on Graphics . 29 (2): 1– 14. doi : 10.1145/1731047.1731048 . S2CID 3097999 .

[3] McCann, James; Pollard, Nancy S. (2008). "リアルタイム勾配領域ペイント" (PDF) . ACM Transactions on Graphics . 27 (3): 1– 7. doi : 10.1145/1360612.1360692 .

[4] Tumblin, J.; Agrawal, A.; Raskar, R. (2005). "Why I Want a Gradient Camera". 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05) (PDF) . Vol. 1. pp. 103–110 . doi : 10.1109/CVPR.2005.374 . ISBN 0-7695-2372-2. S2CID 1821571 .

[5] Levin, Anat; Zomet, Assaf; Peleg, Shmuel; Weiss, Yair (2004). "勾配領域におけるシームレス画像スティッチング" (PDF) . Computer Vision - ECCV 2004 . Lecture Notes in Computer Science. Vol. 3024. pp. 377–389 . doi : 10.1007/978-3-540-24673-2_31 . ISBN 978-3-540-21981-1。

[6] Fattal, Raanan; Lischinski, Dani; Werman, Michael (2002). "Gradient domain high dynamic range compression" (PDF) . Proceedings of the 29th annual conference on Computer graphics and interactive techniques - SIGGRAPH '02 . p. 249. doi : 10.1145/566570.566573 . ISBN 1581135211. S2CID 1650337 .

[7] Wang, Hongcheng; Xu, Ning; Raskar, Ramesh; Ahuja, Narendra (2007). "Videoshop: 勾配領域における時空間ビデオ編集のための新しいフレームワーク". Graphical Models . 69 : 57–70 . doi : 10.1016/j.gmod.2006.06.002 .

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]