トーンマッピング

トーン マッピングは、画像処理やコンピュータ グラフィックスで使用される手法で、 1 つの色セットを別の色セットにマッピングして、ダイナミック レンジが制限されたメディアでハイ ダイナミック レンジ (HDR)画像の外観を近似します。プリントアウト、CRTまたはLCDモニター、プロジェクターはすべてダイナミック レンジが制限されており、自然のシーンに存在する光強度の全範囲を再現するには不十分です。トーン マッピングは、シーンの輝度から表示可能な範囲までのコントラストの大幅な低下の問題を解決しながら、元のシーンのコンテンツを鑑賞するために重要な画像の詳細と色の外観を維持します。

逆トーンマッピングは、低ダイナミックレンジ画像を高ダイナミックレンジ画像にマッピングすることで、輝度範囲を拡大できる逆技術です。^[1]特にSDRビデオをHDRビデオにアップスケールするために使用されます。^[2]

フィルムを使った写真技術の導入によって、化学的に制限されたネガで現実世界の幅広いダイナミックレンジの光を捉えることが非常に困難になったという問題が生じた。初期のフィルム開発者は、中間域のコントラストをわずかに高め（約15%）、ハイライトとシャドウを徐々に圧縮した望ましいS字型のトーンカーブを与えるフィルムストックとプリント現像システムを設計することで、この問題を解決しようとした^{[1] 。望ましいシャドウトーンに基づいて露出を調整し、化学現像液に浸す時間の長さを変える（したがってハイライトトーンを制御する）}ゾーンシステムの出現により、白黒（後にカラー）ネガフィルムのトーン範囲が、本来の範囲である約7ストップから約10ストップにまで拡張された。写真家はまた、プリントプロセスの制限を克服するためにドッジングとバーニングを使用した^[2]。

デジタル写真の出現により、この問題に対するより良い解決策への希望が生まれました。1971年にランドとマッキャンが採用した最も初期のアルゴリズムの1つは、明度知覚の理論にヒントを得たレティネックスでした^[3]。この方法は、照明条件が問題となる場合の目の生物学的適応メカニズムにヒントを得ています。色域マッピングアルゴリズムは、カラー印刷の分野でも広く研究されました。CIECAM02やiCAMなどの計算モデルは、色の見え方を予測するために使用されました。それにもかかわらず、アルゴリズムで色調や色を十分にマッピングできない場合は、映画のポストプロセスの場合と同様に、熟練したアーティストが必要でした。

高コントラストのシーンをレンダリングできるコンピュータ グラフィック技術により、ディスプレイ デバイスの主な制限要因が色から輝度へと焦点が移りました。高ダイナミック レンジ画像を標準ディスプレイにマッピングするために、いくつかのトーン マッピング演算子が開発されました。最近では、この作業は輝度を利用して画像コントラストを拡張することから、ユーザー支援による画像再生などの他の方法へと方向転換しています。現在、画像再生はディスプレイ主導のソリューションへと移行しています。これは、ディスプレイが高度な画像処理アルゴリズムを備えているためです。このアルゴリズムにより、画像のレンダリングを視聴条件に適応させ、電力を節約し、色域とダイナミック レンジを拡大できます。

トーン マッピングの目的は、特定のアプリケーションに応じて異なります。場合によっては、見た目に美しい画像を作成することが主な目的ですが、他のアプリケーションでは、できるだけ多くの画像の詳細を再現したり、画像のコントラストを最大化したりすることに重点が置かれることがあります。リアルなレンダリング アプリケーションでは、ディスプレイ デバイスが輝度値の全範囲を再現できない場合でも、実際のシーンと表示された画像との知覚的な一致を得ることが目的になることがあります。

近年、さまざまなトーンマッピング演算子が開発されています。^[4]これらはすべて、主に2つのタイプに分けられます。

• グローバル（または空間的に均一な）演算子：画像の輝度やその他のグローバル変数に基づく非線形関数です。特定の画像に応じて最適な関数が推定されると、画像内のすべてのピクセルは、画像内の周囲のピクセルの値とは無関係に、同じ方法でマッピングされます。これらの手法はシンプルで高速です^{[3] （}ルックアップテーブルを使用して実装できるため）が、コントラストが失われる可能性があります。一般的なグローバルトーンマッピング方法の例としては、コントラスト低減と色反​​転があります。
• ローカル(または空間的に変化する) 演算子: 非線形関数のパラメーターは、周囲のパラメーターから抽出された特徴に応じて、各ピクセルで変化します。言い換えると、アルゴリズムの効果は、画像のローカルな特徴に応じて各ピクセルで変化します。これらのアルゴリズムはグローバルなものよりも複雑で、アーティファクト (ハロー効果やリンギングなど) が表示される可能性があり、出力が非現実的に見える可能性がありますが、人間の視覚は主にローカルなコントラストに敏感であるため、(正しく使用すれば) 最高のパフォーマンスを提供できます。

グローバルトーンマッピングフィルタの簡単な例は（ラインハルト）で、ここでV _{in は}元のピクセルの輝度、V out_はフィルタリングされたピクセルの輝度です。^[4]この関数は、ドメインの輝度V _{in を}表示可能な出力範囲にマッピングします。このフィルタは、画像の輝度が低い部分（特にV _in < 1の場合）に適切なコントラストを提供しますが、輝度が高い部分のコントラストは、フィルタリングされた画像の輝度が1に近づくにつれて低下します。このフィルタのバリエーションは、レンダリングでよく使用されます。^[5]${\displaystyle V_{\text{out}}={\frac {V_{\text{in}}}{V_{\text{in}}+1}}}$${\displaystyle [0,\infty )}$${\displaystyle [0,1).}$

おそらくより有用なグローバル トーン マッピング方法は、 A > 0かつ0 < γ < 1のフィルタを持つガンマ圧縮です。この関数は、ドメイン内_の輝度V を出力範囲にマッピングします。γは画像のコントラストを調整します。値が低いほどコントラストは低くなります。定数γが低いほどコントラストは低くなり、画像もくすんで見える可能性がありますが、画像の露出不足部分の露出が増加します。一方、A < 1の場合は、画像の露出過剰部分の露出を下げて、露出過剰にならないようにすることができます。 ${\displaystyle V_{\text{out}}=A\,V_{\text{in}}^{\gamma },}$${\displaystyle [0,A^{-1/\gamma }]}$${\displaystyle [0,1].}$

さらに洗練されたトーン マッピング アルゴリズムのグループは、コントラストまたは勾配ドメインメソッドに基づいており、これらは「ローカル」です。このような演算子は、絶対値ではなく隣接領域間のコントラストの保持に重点を置いています。これは、人間の知覚が絶対的な強度よりも画像内のコントラストに最も敏感であるという事実に基づいたアプローチです。これらのトーン マッピング メソッドは通常、非常に鮮明な画像を作成し、小さなコントラストの詳細を非常によく保持します。ただし、これは多くの場合、全体的な画像コントラストを平坦化するという犠牲を払って行われ、副作用として暗いオブジェクトの周囲にハローのような輝きを生成する可能性があります。このようなトーン マッピング メソッドの例には、勾配ドメイン ハイ ダイナミック レンジ圧縮^[5]やハイ ダイナミック レンジ画像のコントラスト処理のための知覚フレームワーク^[6]などがあります(トーン マッピングはこのフレームワークのアプリケーションの 1 つです)。

HDR 画像のトーン マッピングに対する別のアプローチは、明度知覚のアンカリング理論にヒントを得ています。^[7]この理論は、画像の知覚において重要な、明度の恒常性やその欠陥 (チェッカー シャドウ イリュージョンなど) などの人間の視覚システムの多くの特性を説明します。このトーン マッピング方法 (トーン再現における明度知覚^[8] ) の重要な概念は、HDR 画像を一貫した照明の領域 (フレームワーク) に分解し、明度の値をローカルに計算することです。画像の正味の明度は、フレームワークをその強度に比例してマージすることで計算されます。特に重要なのは、アンカリング、つまり輝度を既知の輝度に関連付けること、つまりシーン内でどの輝度値が白として知覚されるかを推定することです。このトーン マッピングのアプローチは、輝度を線形に処理するため、ローカル コントラストには影響せず、HDR 画像の自然な色を維持します。

トーン マッピングの単純な形式は、標準画像 (HDR ではない - ダイナミック レンジは既に圧縮されている) を取得し、大きな半径でアンシャープ マスキングを適用して、シャープ化ではなくローカル コントラストを高めるというものです。詳細については、 「アンシャープ マスキング: ローカル コントラストの強化」を参照してください。

一般的に使用されているトーン マッピング アルゴリズムの 1 つは、カラー アピアランス モデルと階層マッピングの両方に基づく iCAM06 です。^[9]バイラテラル フィルタリングの後、画像はベース レイヤーと詳細レイヤーに分割されます。ベース レイヤーにはホワイト ポイント適応とクロミナンス適応が適用され、詳細レイヤーには詳細強調が適用されます。最終的に 2 つのレイヤーが結合され、IPT 色空間に変換されます。一般に、この方法は優れていますが、フィルタリング方法の計算負荷が重いという欠点があります。これに対する提案されたソリューション^[10]では、フィルターのパフォーマンス最適化が行われます。画像のベース レイヤーもトーン圧縮のために RGB 空間に変換されます。この方法では、出力調整と彩度強調も可能になるため、計算負荷が軽減され、全体的なハロー効果をより効果的に軽減できます。

トーン マッピングの形式は、デジタル写真よりずっと前から存在していました。特に明るい日光の下で撮影された高コントラストのシーンを、比較的ダイナミック レンジの低い印刷用紙にレンダリングするためにフィルムと現像処理を操作することは、通常はそのようには呼ばれませんが、実質的にはトーン マッピングの一形式です。フィルム処理における色調の部分的な調整は、主にドッジングとバーニングによって行われ、特にアンセル アダムスが提唱し、アダムスと関連づけられています。アダムスの著書「The Print」で説明されています。また、ゾーン システムも参照してください。

プロまたは本格的なアマチュアのワークフローの一部としてデジタル画像全体に適用される 露出補正、シャドウの明るさ調整、コントラストの変更などの通常のプロセスも、トーン マッピングの一種です。

しかし、通常はローカル オペレータを使用する HDR トーン マッピングは、異なるシャッター スピードでの複数の露出を組み合わせて HDR 画像を作成し、その結果にトーン マッピング オペレータを適用する後処理技術として、デジタル フォトグラファーの間でますます人気が高まっています。現在、インターネット上には、ローカル トーン マッピングされたデジタル画像 (不正確には「HDR 写真」と呼ばれています) の例が多数あり、品質はさまざまです。この人気の理由の 1 つは、多くの人が魅力的だと感じるローカル トーン マッピングされた画像の独特の外観であり、もう 1 つは、1 回の露出で撮影するのが困難または不可能で、撮影できたとしても魅力的にレンダリングされない可能性のある高コントラストのシーンを撮影したいという要望です。デジタル センサーは実際にはフィルムよりも高いダイナミック レンジをキャプチャしますが、極端なハイライトのディテールが完全に失われ、純粋な白にクリップされるため、ハイライトの色と一部のディテールが保持される傾向があるネガ フィルムと比較すると、魅力のない結果になります。

場合によっては、ソース画像のダイナミック レンジをターゲット メディアでキャプチャできるにもかかわらず、ローカル トーン マッピングが使用されることがあります。これは、ローカル トーン マッピングされた画像の独特な外観を作り出すため、または見栄えの悪いことが多い鋭いコントラストを除去することによって、写真家のシーンの芸術的なビジョンに近い画像を作り出すためです。場合によっては、トーン マッピングされた画像は単一の露出から生成され、その後、従来の処理ツールで操作されて、HDR 画像生成プロセスへの入力が生成されます。これにより、シーン内の移動オブジェクトやカメラの揺れにより、異なる露出が結合されたときに発生する可能性のあるアーティファクトを回避できます。ただし、このように単一の露出にトーン マッピングを適用すると、中間画像には通常のダイナミック レンジしかなく、レンダリングできるシャドウまたはハイライトの詳細の量は、元の露出でキャプチャされたものだけになります。

トーンマッピングの本来の目的の一つは、人間の見る人にとって画像の明るさの感覚が現実世界の明るさの感覚とほぼ一致するように、与えられたシーンや画像を表示装置上に再現できるようにすることでした。しかし、この問題を完全に一致させることは決して不可能であり、そのためディスプレイ上の出力画像は、多くの場合、異なる画像特徴間のトレードオフから構築されます。特徴の選択は、多くの場合、必要なアプリケーションに基づいて行われ、アプリケーションに適切なメトリクスが与えられれば、1つの解決策として、問題を最適化問題として扱うことができます^[11]。

この方法では、まず人間の視覚システム (HVS) とディスプレイのモデルが、単純なトーン マッピング オペレーターとともに生成されます。コントラストの歪みは、HVS によって近似された個々の可視性に応じて重み付けされます。これらのモデルを使用すると、トーン カーブを定義する目的関数を作成し、高速な二次方程式ソルバーを使用して解決できます。

フィルターを追加することで、この方法をビデオにも拡張できます。フィルターにより、フレーム間のトーンカーブの急激な変化が最終出力画像で目立たなくなります。

右側の画像は教会の内部を示しています。このシーンの輝度の変化は、モニターに表示したり、従来のカメラで記録したりできるものよりはるかに大きいです。カメラからの 6 つの個別の露出は、モニターに表示できる明るさの範囲に変換された、ある範囲のシーンの輝度を示しています。各写真に記録された輝度の範囲は限られているため、すべての詳細を一度に表示することはできません。たとえば、暗い教会の内部の詳細を、明るいステンドグラスの窓の詳細と同時に表示することはできません。6 つの画像にアルゴリズムを適用して、元のシーンの高ダイナミック レンジの輝度マップ (高ダイナミック レンジ画像) を再現します。または、一部のハイエンドの民生用および専門科学用デジタル カメラでは、 RAW画像などを使用して、高ダイナミック レンジ画像を直接記録できます。

理想的なケースでは、カメラは輝度を直接測定し、それを HDR 画像に保存しますが、今日のカメラで生成されるハイ ダイナミック レンジ画像のほとんどは、正確な輝度値を測定するのに必要なコストや時間などの実際的な理由により、調整されておらず、輝度に比例していません。アーティストが複数の露出を使用して、実際の輝度信号に大まかに近似する「HDR 画像」を取得するだけで十分な場合がよくあります。

ハイ ダイナミック レンジ画像はトーン マッピング オペレータ (この場合はローカル オペレータ) に渡され、モニタでの表示に適したロー ダイナミック レンジ画像に変換されます。教会の内部と比較すると、ステンド グラスの窓は、シーンの輝度とピクセルの強度の間の線形マッピングによって生成されるよりもはるかに低い明るさで表示されます。ただし、この不正確さは、窓と教会の内部の両方で同時に表示できる画像の詳細ほど知覚的に重要ではありません。

HDR 画像処理のローカル トーン マッピング技術は、暗いオブジェクトの周囲に明るいハロー、明るいオブジェクトの周囲に暗いハロー、非常に鮮やかな色と大規模な色の変化の欠如による「漫画のような」外観など、画像に多くの特徴的な効果を生み出すことがよくあります。これらの結果は、キャプチャされた画像の幾何学的空間歪みと色空間歪みの適用によって発生しますが、色空間歪みのみがトーン マッピング効果であり、他のすべての歪みは、トーンまたは色空間マッピングではなく、むしろカスタム フィルタリング技術です。そのため、ローカル トーン マッピングの結果は、ドキュメンタリー写真画像の性質を歪め、写真のリアリズムから遠いと判断されることがよくあります。

トーン マッピングされた画像はすべて視覚的に特徴的というわけではありません。トーン マッピングを使用してダイナミック レンジを縮小することは、直接照明と影の強度の差が大きい明るい日光の当たるシーンで役立つことがよくあります。このような場合、シーンの全体的なコントラストは低下しますが、ローカル コントラストは維持され、画像全体が自然な外観を保ちます。このような状況でトーン マッピングを使用すると、最終画像からは明らかでない場合があります。

• 
  グランドキャニオンの直射日光と影の領域
• 
• 
  漫画のような外観

トーン マッピングは、最終的な画像に独特の視覚効果を生み出すこともできます。たとえば、下のコーネル ロー スクールの画像で、塔の周囲にハローが現れます。トーン マッピングを使用すると、元の画像のダイナミック レンジがそれほど高くない場合でも、これらの効果を生み出すことができます。画像にハローが生じるのは、ローカル トーン マッピング オペレータが暗いオブジェクトの周囲の領域を明るくして元の画像のローカル コントラストを維持するためです。これにより、暗いオブジェクトの実際の輝度が、明るいと認識される画像領域と同じであっても、人間の視覚系は暗いオブジェクトを暗いと認識します。通常、この効果は微妙ですが、元の画像のコントラストが極端であったり、写真家が意図的に輝度の勾配を非常に急に設定したりすると、ハローが見えるようになります。

• 
  HDRトーンマッピングの例
• 
  ローマのティベリーナ島の 5 露出トーン マッピング
• 
  日暮里駅の風景を3露出（-2,0,+2）トーンマップした画像
• 
  5枚の露出からトーンマップされたロンドンのタワーブリッジからのHDRビュー
• 
  ロンドンのセントポール大聖堂からの HDR ビュー。9 枚の露出からトーンマップされています。
• 
  ニューヨーク州イサカにあるコーネル大学ロースクールの塔のトーンマップ合成画像

• 色彩変換
• ガンマ補正
• トーン再現
• ハイダイナミックレンジ（HDR）

1. ^ リヴィングストン、M. 2002.「視覚と芸術：見る生物学」ハリー・N・エイブラムス
2. ^ Hunt, R. 2004.「写真、印刷、テレビにおける色の再現：第 6 版」John Wiley & Sons。
3. ^ アダムス、A. 1981.「ザ・プリント、アンセル・アダムス写真シリーズ3」ニューヨークグラフィック協会
4. ^ Land, EH、および McCann, JJ 1971.「明度とレティネックス理論」アメリカ光学会誌 61, 1, 1–11。
5. ^ Kate Devlin、Alan Chalmers、Alexander Wilkie、Werner Purgathofer。「STAR レポート トーン再現と物理ベースのスペクトル レンダリング」、 Eurographics 2002。DOI : 10.1145 /1073204.1073242
6. ^ Raanan Fattal、Dani Lischinski、Michael Werman。「勾配領域ハイダイナミックレンジ圧縮」
7. ^ Rafal Mantiuk、Karol Myszkowski、Hans-Peter Seidel。「高ダイナミックレンジ画像のコントラスト処理のための知覚フレームワーク」
8. ^ アラン・ギルクリスト。「明るさ知覚のアンカー理論」。
9. ^ グジェゴシュ・クラウチク、カロル・ミシュコフスキ、ハンス＝ペーター・ザイデル。 「ハイダイナミックレンジ画像の階調再現における明度知覚」
10. ^ フェアチャイルド、MD、ジョンソン、GM：「画像の外観、差異、品質のための iCAM フレームワーク」。J Electron. Imaging、2004
11. ^ Xiao, J., Li, W., Liu, G., Shaw, S., & Zhang, Y. (nd). 画像カラーアピアランスモデルに基づく階層的トーンマッピング. [12]
12. ^ Mantiuk, R., Daly, S., & Kerofsky, L. (nd). ディスプレイアダプティブトーンマッピング。http://resources.mpi-inf.mpg.de/hdr/datmo/mantiuk08datm.pdf
13. ^ https://web.archive.org/web/20150206044300/http://docs.opencv.org/trunk/doc/tutorials/photo/hdr_imaging/hdr_imaging.html
14. ^ Durand とJulie Dorsey、「高ダイナミック レンジ画像の表示のための高速バイラテラル フィルタリング」。ACM Transactions on Graphics、2002、21、3、257 - 266。https://people.csail.mit.edu/fredo/PUBLI/Siggraph2002/DurandBilateral.pdf

ウィキメディア・コモンズには、トーンマップされた HDR 画像に関連するメディアがあります。

• CVLTonemap: GPU アクセラレーションによるトーンマッピング
• HDR 暗室
• pfstmo: トーンマッピング演算子の実装
• exrtools: OpenEXR 画像を操作するためのユーティリティのコレクション (トーン マッピング演算子もいくつか含まれています)
• pfstoolsは、ハイダイナミックレンジ（HDR）画像やビデオフレームの読み取り、書き込み、操作を行うためのオープンソースのコマンドラインプログラムセットです。
• Luminance HDR/QtPfsGuiは、pfstoolsパッケージをベースにしたLinux、Windows、Mac OS X用の無料（オープンソース）HDRワークフローソフトウェアです。
• LDR トーンマッピングは、低ダイナミック レンジ画像 (別名「疑似 HDR」) 用の無料 (オープン ソース) トーンマッパーです。
• Atlas は、pfstmo トーン マッピング オペレーターをAdob​​e After Effectsに無料で移植した (オープン ソース) ものです。
• Flickr HDRプール、シュールなトーンマッピングのコレクション
• プルキンエ効果の生データを含むカリフォルニア大学バークレー校の論文
• Stuck in Customs、HDR画像を作成するための詳細なチュートリアル

• 低照度条件での知覚ベースのトーンマッピング
• デジタル画像の写真トーン再現
• 高ダイナミックレンジ画像のトーン再現における明度知覚
• ハイダイナミックレンジ画像のコントラスト処理
• 高ダイナミックレンジ画像の表示のための高速バイラテラルフィルタリング
• 信号処理アプローチを用いたバイラテラルフィルタの高速近似
• 勾配領域ハイダイナミックレンジ圧縮