多重露出HDRキャプチャ

写真やビデオ撮影において、多重露出 HDR キャプチャは、同じ被写体を異なる露出で複数回撮影して組み合わせることで、ハイ ダイナミック レンジ(HDR) 画像 (または拡張ダイナミック レンジ画像)を作成する手法です。この方法で複数の画像を組み合わせると、1 つの画像を撮影した場合よりもダイナミック レンジの広い画像が得られます。この手法は、ビデオの各フレームで複数の露出を撮影して組み合わせることで、ビデオをキャプチャするためにも使用できます。「HDR」という用語は、複数の露出から HDR 画像を作成するプロセスを指すためによく使用されます。多くのスマートフォンには、計算画像処理技術を利用して複数の露出をキャプチャして組み合わせる自動 HDR 機能があります。

カメラで撮影した 1 枚の画像は、デジタル センサーであれフィルムであれ、媒体固有の明るさの範囲が限られています。この範囲外では、色調情報が失われ、特徴が見えなくなります。範囲を超えた色調は「焼けて」、明るい領域では真っ白に見え、範囲を下回る色調は「潰れて」、暗い領域では真っ黒に見えます。1 枚の画像で撮影できる最大色調値と最小色調値の比率は、ダイナミック レンジと呼ばれます。写真では、ダイナミック レンジは露出値(EV) の差、つまりストップで測定されます。

人間の目の光に対する反応は非線形です。光のレベルを半分にしても、空間の知覚される明るさが半分になるわけではなく、わずかに暗く見えるだけです。ほとんどの照明レベルでは、反応はほぼ対数的です。^{[1] [2]}人間の目は光のレベルの変化にかなり速く適応します。そのため、HDR は、人間が被写体を見たときに見るものに近い画像を作成できます。

この技術は、自然なレンダリングのためにローカルコントラストを維持する画像や、芸術的な効果のためにローカルコントラストを誇張する画像を生成するために適用できる。HDRは、直接捉えられるよりも広い範囲の明るさ、典型的には明るい直射​​日光と深い影の両方を含む多くの現実世界のシーンを記録するのに有用である。^{[3] [4] [5] [6]印刷と}表示のコントラストの制限により、HDR画像の拡張ダイナミックレンジは、表示可能な範囲に圧縮されなければならない。高ダイナミックレンジ画像を標準のモニターや印刷装置にレンダリングする方法はトーンマッピングと呼ばれ、HDR画像の全体的なコントラストを下げて、ダイナミックレンジの低い装置や印刷物で表示できるようにする。

HDR の目的の 1 つは、人間の視覚システムで経験するのと同様の輝度範囲を提示することです。人間の目は、非線形応答、虹彩の順応、およびその他の方法を通じて、環境に存在する広範囲の輝度に常に適応します。脳は、視聴者が広範囲の光条件で見ることができるように、この情報を継続的に解釈します。

ほとんどのカメラは、撮影媒体のダイナミック レンジにより、1 つの画像内での露出値の範囲が非常に狭く制限されています。ダイナミック レンジが制限されている場合、トーンの違いは特定の明るさの範囲内でのみ撮影できます。この範囲外では、細部を区別できません。撮影されたトーンが明るい領域の範囲を超えると、これらのトーンは純白として表示され、撮影されたトーンが最小しきい値を満たさない場合、これらのトーンは純黒として表示されます。露出範囲が制限されている (低ダイナミック レンジ、LDR) 非 HDR カメラで撮影された画像は、ハイライトやシャドウの詳細が失われる場合があります。

現代のCMOS イメージセンサーはダイナミックレンジが向上し、多くの場合、1回の露出でより広い範囲のトーンをキャプチャできるため^[10]、多重露出HDRを実行する必要性が軽減されます。カラーフィルムのネガとスライドは、光に対して異なる反応を示す複数のフィルム層で構成されています。オリジナルフィルム（特にネガと透明フィルムまたはスライド）は、非常に高いダイナミックレンジ（ネガの場合は8程度、ポジ透明フィルムの場合は4～4.5程度）を備えています。

多重露出 HDR は写真撮影で使用され、溶接や自動車作業などの極端なダイナミック レンジのアプリケーションでも使用されます。セキュリティ カメラでは、HDR の代わりに「ワイド ダイナミック レンジ」という用語が使用されます。

被写体が高速で動いたり、複数の露出の間にカメラが動いたりすると、結合された画像が同一でなくなるため、「ゴースト」効果やぼやけたストロボ効果が発生します。被写体が静止していてカメラが三脚に取り付けられていない限り、ダイナミック レンジの拡張と鮮明さの間でトレードオフが生じる可能性があります。照明条件 (ストロボ LED ライト) の突然の変化も、自動 HDR システムで期待される明るさを持つ 1 つ以上の HDR レイヤーを生成することで、望ましい結果を妨げる可能性があります。ただし、ソフトウェアで手動で画像レイヤーを並べ替えて実際の明るさの順に結合することで、妥当な HDR 画像を生成できる場合もあります。

一部のセンサーの非線形性により、画像アーティファクトがよく発生することがあります。

ガンマ曲線、センサー解像度、ノイズ、測光補正、色補正などのカメラ特性は、結果として得られる高ダイナミックレンジ画像に影響を与えます。^[11]

ハイダイナミックレンジ写真は、通常、露出ブラケットを使用して撮影された複数の標準ダイナミックレンジ画像を合成したものです。その後、写真操作ソフトウェアが 入力ファイルを 1 つの HDR 画像に結合し、計画された出力または表示の制限に従って トーンマッピングも行われます。

手動露出制御が可能なカメラであれば、多重露出HDR画像の撮影が可能ですが、自動露出ブラケット（AEB）機能を搭載したカメラであれば、このプロセスが容易になります。一部のカメラには、他のカメラよりもはるかに広いダイナミックレンジをカバーするAEB機能があり、2020年現在、シンプルなカメラでは±0.6、最高級のプロ用カメラでは±18EVとなっています。^{[12][アップデート]}

露出値 (EV) は、フィルムまたはCCDなどのデジタル センサーなどの光感応検出器に適用される光の量を指します。1 ストップの増加または減少は、取り込まれる光の量が 2 倍または半分になることを意味します。最も暗い影の詳細を明らかにするには EV を増やす必要があり、非常に明るい状況で詳細を保持するには EV を非常に低くする必要があります。

EV は、絞りのサイズまたは露出時間のいずれかを変更するという 2 つの写真制御のいずれかを使用して制御されます。HDR 処理を目的とした複数の EV を持つ画像のセットは、露出時間を変更することによってのみキャプチャする必要があります。絞りのサイズを変更すると、被写界深度にも影響するため、結果として得られる複数の画像はまったく異なるものになり、最終的に 1 つの HDR 画像に結合することができなくなります。

多重露出 HDR 写真は、通常、静止したシーンに限定されます。連続する画像間の動きがあると、後でそれらの画像をうまく組み合わせることができなくなるためです。また、希望する輝度範囲を得るには 3 枚以上の画像を撮影する必要があるため、このような画像をすべて撮影するには余分な時間がかかります。写真家はこれらの問題を部分的に克服するための計算方法とテクニックを開発しましたが、露出間のフレーミングの違いを最小限に抑えるために、頑丈な三脚を使用することをお勧めします。

意図的に露出オーバーにした画像（つまり、正しいシーン露出と比較して正の EV）からは、シャドウ領域の色調情報と詳細を復元できます。一方、意図的に露出不足にした画像（負の EV）からは、ハイライト領域の同様の色調情報を復元できます。これらの露出オーバー/露出不足の画像からシャドウとハイライトの情報を選択して抽出し、シーン全体に対して適切に露出された画像と組み合わせるプロセスは、露出融合と呼ばれます。露出融合は、HDR オペレーターの判断、経験、およびトレーニングに依存して手動で実行できますが、通常はソフトウェアによって自動的に実行されます。

ハイダイナミックレンジ画像に保存される情報は、通常、現実世界で観察できる輝度または放射輝度の物理的な値に対応しています。これは、モニターや紙の印刷物に表示される色を表現する従来のデジタル画像とは異なります。そのため、HDR画像形式は、デバイス参照または出力参照である従来のデジタル画像とは対照的に、シーン参照と呼ばれることがよくあります。さらに、従来の画像は通常、人間の視覚システムに合わせてエンコードされており（固定ビット数で保存される視覚情報を最大化します）、これは通常、ガンマエンコードまたはガンマ補正と呼ばれます。HDR画像用に保存される値は、多くの場合、べき乗法則対数などの数学関数や浮動小数点線形値を使用してガンマ圧縮されています。これは、固定小数点線形エンコードがより高いダイナミックレンジではますます非効率になるためです。^{[13] [14] [15]}

HDR 画像は、従来の画像とは異なり、色チャンネルごとに固定範囲を使用しないことが多く、はるかに広いダイナミック レンジ (複数のチャンネル) でより多くの色を表します。このため、単一の色チャンネルを表すために整数値 (たとえば、赤、緑、青に対して 8 ビット/ピクセル間隔で 0 ～ 255) を使用するのではなく、浮動小数点表現を使用します。HDR ピクセルを表す一般的な値は、16 ビット (半精度) または 32 ビットの浮動小数点数です。ただし、適切な転送関数を使用すると、一部のアプリケーションの HDR ピクセルは、目に見える量子化アーティファクトを発生させることなく、輝度の場合は 10 ～ 12 ビット (1024 ～ 4096 の値)、色度の場合は 8 ビット (256 の値) という少ない色深度で表すことができます。^{[13] [16]}

トーン マッピングは、局所的なコントラストを維持しながら、画像全体のダイナミック レンジまたはコントラスト比を低下させます。トーン マッピングは別の操作ですが、同じソフトウェア パッケージによって HDR ファイルにも適用されることがよくあります。

表示できるダイナミックレンジは、撮影または処理された画像のダイナミックレンジよりも低いことが多いため、トーンマッピングが必要になることがよくあります。 ^[10] HDRディスプレイはSDRディスプレイよりも高いダイナミックレンジの信号を受信できるため、トーンマッピングの必要性が軽減されます。

HDR はいくつかの方法で実行できます。

• DOL：デジタルオーバーラップ^[17]
• BME: ビン多重露光法^[17]
• SME:空間多重露光^[17]
• QBC: Quad Bayer Coding ^{[18] [信頼できない情報源? ]}

これは、4 つの標準ダイナミック レンジ画像を組み合わせて、3 つのトーン マップ画像を生成する例です。

• 公開された画像:
• 
  –4ストップ
• 
  –2ストップ
• 
  +2ストップ
• 
  +4ストップ

• 処理後の結果:
• 
  シンプルなコントラスト低減
• 
  ローカルトーンマッピング
• 
  自然なトーンマッピング

これは、ダイナミック レンジが非常に広いシーンの例です。

• 公開された画像:
• 
  –6ストップ
• 
  –5ストップ
• 
  –4ストップ
• 
  –3ストップ
• 
  –2ストップ
• 
  –1ストップ
• 
  0 0 停止
• 
  +1 ストップ
• 
  +2ストップ
• 
  +3ストップ
• 
  +4ストップ
• 
  +5ストップ

• 処理後の結果:
• 
  自然なトーンマッピング

PC、Mac、Linuxプラットフォームでは、HDRファイルやトーンマップ画像を作成するためのソフトウェアアプリケーションがいくつか利用可能です。^[19]注目すべきタイトルは次のとおりです。

いくつかのカメラメーカーは、内蔵の多重露出HDR機能を提供しています。たとえば、Pentax K-7 DSLRには、3回または5回の露出を行い、トーンマップされたHDR画像のみをJPEGファイルで出力するHDRモードがあります。^[20] Canon PowerShot G12、Canon PowerShot S95、およびCanon PowerShot S100は、より小さなフォーマットで同様の機能を提供します。^[21] Nikonのアプローチは「アクティブDライティング」と呼ばれ、センサーからの画像に露出補正とトーンマッピングを適用し、リアルな効果を生み出すことに重点を置いています。^[22]

一部のスマートフォンはカメラにHDRモードを搭載しており、ほとんどのモバイルプラットフォームには多重露出HDR写真撮影機能を備えたアプリがある。^{[23] Googleは2014年に}Nexus 5とNexus 6スマートフォン向けにHDR+モードをリリースした。これはMarc Levoyが詳述しているように、一連の画像を自動的に撮影し、1枚の静止画像に結合する。従来のHDRとは異なり、LevoyのHDR+実装では短いシャッタースピードで露出不足の複数の画像を使用し、それらをピクセルごとに整列させて平均化することで、ダイナミックレンジを向上させ、ノイズを減らす。最も鮮明な画像を整列の基準として選択することで、カメラの揺れの影響が軽減される。^[24]

最近の携帯電話やカメラに搭載されているセンサーの中には、2 つの画像をオンチップで組み合わせて、ピクセル内圧縮のないより広いダイナミック レンジをユーザーが直接表示または処理できるようにしているものがあります。^{[引用が必要]}

静止画撮影ほど確立されていないものの、ビデオの各フレームごとに複数の画像を撮影して組み合わせることで、カメラで撮影したダイナミックレンジを拡大することも可能です。^[25]これは複数の方法で行うことができます。

• 多重露光HDR技術で作成された個々の画像のタイムラプスを作成する。 ^[26]
• フレームレートを半分に減らして、露出の異なる2枚の画像を連続して撮影する。^[17]
• 解像度を半分にカットして、露出の異なる2枚の画像を同時に撮影する。^[17]
• デュアルゲインアーキテクチャを備えたセンサーを使用して、フル解像度とフレームレートで2つの異なる露出画像を同時に撮影します。例：Arri Alexaのセンサー、^[27] Smart-ISO Proを備えたSamsungセンサー。 ^[28]

セキュリティ用途向けに設計されたカメラの中には、露出を変えながら、フレームごとに 2 枚以上の画像を自動的に提供できるものもあります。^[要出典]たとえば、30fps ビデオ用のセンサーは、奇数フレームを短い露出時間で、偶数フレームを長い露出時間で撮影して、60fps を実現します。

2020年にクアルコムは、4Kで計算多重露出HDRビデオキャプチャを実行し、 HDRディスプレイと互換性のある形式で記録できるモバイルSoCであるSnapdragon 888を発表しました。^[29]

2021年、Xiaomi Mi 11 Ultraスマートフォンは、ビデオキャプチャ用の計算マルチ露出HDRを実行できるようになりました。^[30]

HDRキャプチャは監視カメラ、特に安価なモデルでも実装できます。これは通常、ワイドダイナミックレンジ（WDR）機能と呼ばれます^[31]例としては、CarCam Tiny、Prestige DVR-390、DVR-478などがあります。^[32]

極端に広い範囲の輝度を適切に再現するために複数の露出を使用するというアイデアは、1850年代にギュスターヴ・ル・グレーが海と空の両方を描いた海景画を描くために考案されました。当時の標準的な方法では、輝度の範囲が極端に広すぎたため、このような描写は不可能でした。ル・グレーは、空に1枚のネガを使い、海にもう1枚の露出時間を長くしたネガを使い、この2枚を1枚のポジ写真に合成しました。^[33]

外観イメージ
ランプの前のシュバイツァー、W・ユージン・スミス著[34] [35]

手動のトーンマッピングは、覆い焼きと焼き込みによって行われました 。これは、写真の露出部分を部分的に増減して、より良い色調の再現を実現するものです。この方法が効果的だったのは、ネガのダイナミックレンジが、ネガを通して均一に露出された完成したポジ紙プリントで利用できるものよりはるかに広いためです。その好例が、W・ユージン・スミスによる写真「ランプのそばのシュバイツァー」です。これは、アルベルト・シュバイツァーとフランス領赤道アフリカでの彼の人道的活動を扱った1954年の写真エッセイ「慈悲の人」から取られたものです。この画像では、明るいランプ（シーンに対して）から暗い影まで、シーンの色調範囲を再現するのに5日かかりました。^[35]

アンセル・アダムスはドッジングとバーニングを芸術の域にまで高めた。彼の有名なプリントの多くは、暗室でこの2つの手法を用いて加工された。アダムスは『ザ・プリント』というプリント制作に関する包括的な本を著し、その中でゾーンシステムの中でドッジングとバーニングを特に取り上げている。^[36]

カラー写真の登場により、カラーフィルムの現像プロセス中に特定のタイミングが必要となるため、暗室でのトーン マッピングは不可能になりました。写真家は、フィルム製造業者に、応答性が向上した新しいフィルム ストックの設計を依頼するか、トーン マッピング手法を使用するために白黒で撮影を続けました。^{[引用が必要]}

ハイダイナミックレンジ画像を直接記録できるカラーフィルムは、チャールズ・ワイコフとEG&G社によって「空軍省との契約の一環として」開発された。^[37]このXRフィルムには3つの乳剤層があり、上層のASAスピード評価は400、中間層は中間評価、下層はASA評価0.004であった。このフィルムはカラーフィルムと同様の方法で処理され、各層で異なる色が生成された。^[38]この拡張レンジフィルムのダイナミックレンジは1:10 ⁸と推定されている。^{[39]このフィルムは核爆発の撮影、 [40]}天体写真撮影、^[41]分光研究、^[42]医療用画像撮影に使用されてきた。^[43]ワイコフの核爆発の詳細な写真は、1950年代半ばの ライフ誌の表紙を飾った。

ジョルジュ・コルヌエジョルスと彼の特許のライセンシー（Brdi、Hymatom）は、1986年にカメラの画像センサーの前にマトリックスLCDスクリーンを配置し、センサーのダイナミックを5段階増加させることでHDRビデオ画像の原理を導入しました ^{[44] 。}

近傍トーンマッピングの概念は、1988年にイスラエルのテクニオンのオリバー・ヒルセンラスとイェホシュア・Y・ゼヴィが率いるグループによってビデオカメラに応用されました。テクニオンの研究者は1991年にこの概念に関する特許を申請し、^[45] 1992年と1993年にはいくつかの関連特許を取得しました。 ^[46]

1990年2月と4月に、ジョルジュ・コルヌエジョルスは、カメラの2つのセンサーで連続的に撮影された2枚の画像^[47]、または同時に撮影された2枚の画像^{[48]を組み合わせた初のリアルタイムHDRカメラを発表しました。このプロセスは、ビデオストリームに使用される}ブラケット撮影として知られています。

1991 年、ジョルジュ・コルヌエジョルのライセンシーである Hymatom によって、異なる露出の複数の画像をリアルタイムでキャプチャし、HDR ビデオ画像を生成する最初の商用ビデオ カメラが導入されました。

また1991年には、ジョルジュ・コルヌエジョルスがカメラの感度を高めるために画像を非線形に蓄積するHDR+画像原理を導入しました。^[47]低照度環境では、連続した複数の画像を蓄積することで信号対雑音比を高めます。

1993年には、テクニオン社がHDRビデオ画像を生成する別の商用医療用カメラを開発した。^[46]

現代の HDR イメージングは​​、画像全体にわたるグローバル画像操作のみを使用して高ダイナミック レンジの輝度または光マップを作成し、その結果をトーン マッピングするというまったく異なるアプローチを採用しています。グローバル HDR は 1993 年に初めて導入され^[3]、その結果、同じ被写体を異なる露出で撮影した写真の数学的理論が 1995 年にSteve MannとRosalind Picardによって発表されました^[4]。

1998年10月28日、ベン・サラオはNASAケネディ宇宙センターの発射台でSTS-95の夜間HDR+G（ハイダイナミックレンジ+グラフィック）画像の最初の1つを作成した。これは夜間のスペースシャトルのフィルム画像4枚をデジタル合成し、追加のデジタルグラフィック要素を加えたものだった。この画像は1999年にワシントンDCのNASA本部グレートホールで初めて展示され、その後ハッセルブラッドフォーラムで公開された。^[49]

民生用デジタルカメラの登場により、フィルムよりもダイナミックレンジがはるかに狭いデジタルカメラセンサーの光応答を改善する HDR イメージングに対する新たな需要が生まれました。スティーブ・マンは、MIT メディアラボで、拡張ダイナミックレンジを持つデジタル画像を生成するグローバル HDR 方式を開発し、特許を取得しました。^[50]マンの方式には 2 段階の手順が含まれていました。まず、グローバルのみの画像操作 (ローカル近傍に関係なく、すべてのピクセルに同じように影響を与える操作) によって 1 つの浮動小数点画像配列を生成します。次に、ローカル近傍処理 (トーン再マッピングなど) を使用して、この画像配列を HDR 画像に変換します。マンのプロセスの第 1 段階で生成された画像配列は、ライトスペース画像、ライトスペース画像、または放射輝度マップと呼ばれます。グローバル HDR イメージングのもう 1 つの利点は、コンピューター ビジョンやその他の画像処理操作に使用されている中間光または放射輝度マップにアクセスできることです。^[50]

2001年2月には、露出レベルの異なる複数の写真を使用して肉眼に近い高ダイナミックレンジを実現するダイナミックレンジャー技術が実証されました。^[51]

2000年代初頭、いくつかの学術研究活動では、消費者向けグレードのセンサーとカメラが使用されました。^[52] REDやArriなどのいくつかの企業は、より高いダイナミックレンジが可能なデジタルセンサーを開発しています。^{[53] [54]} RED EPIC-Xは、ユーザーが選択可能な1〜3ストップの「x」チャンネルの追加のハイライトラティチュードを使用して、時間連続HDRx画像^[17]をキャプチャできます。「x」チャンネルは、ポストプロダクションソフトウェアで通常のチャンネルと結合できます。Arri Alexaカメラは、デュアルゲインアーキテクチャを使用して、同時にキャプチャされた2つの露出からHDR画像を生成します。^[27]

低価格の民生用デジタルカメラの登場により、多くのアマチュアがトーンマップされたHDRタイムラプス動画をインターネットに投稿し始めました。これは基本的に、静止写真を素早く連続して撮影したものです。2010年には、独立系スタジオのSoviet Montageが、ビームスプリッターと民生用HDビデオカメラを使用して、露出の異なるビデオストリームからHDR動画の例を制作しました。^[55]同様の方法は、2001年と2007年の学術文献でも説明されています。^{[56] [57]}

2005年にアドビシステムズはPhotoshop CS2にHDRへの結合、32ビット浮動小数点画像のサポート、HDRトーンマッピングなどいくつかの新機能を導入した。 ^[58]

2016年6月30日、マイクロソフトはユニバーサルWindowsプラットフォームを使用してWindows 10にHDR画像のデジタル合成のサポートを追加しました。^[59]

• グラフィックファイル形式の比較
• HDRi (データ形式)
• ハイダイナミックレンジレンダリング
• ハイダイナミックレンジテレビ
• JPEG 形式
• ログルブ TIFF
• オープンEXR
• RGBE画像フォーマット
• SCRGB の
• 広いダイナミックレンジ

• ベンジャミン・サラオ (1999)。ベン・サラオ、米国ニュージャージー州トレントン：スペースシャトルディスカバリー、16～17ページ（英語版）。ビクター・ハッセルブラッドAB、スウェーデン、ヨーテボリ。ISSN 0282-5449

• ウィキメディア・コモンズのハイダイナミックレンジイメージングに関連するメディア