ライトフィールド

空間内の各点における光場は、その点に入射する各方向のベクトルからなる無限のベクトルの集合として扱うことができ、各ベクトルの長さは放射輝度に比例する。

これらのベクトルを任意の光源の集合、または方向の球面全体にわたって積分すると、ベクトル放射照度場と呼ばれる3D 空間のベクトル値関数が生成されます。^{[ 6 ]}この場の各点におけるベクトルの方向は、その点を最も明るく照らすようにその点に配置された平面の向きとして解釈できます。ベクトルの大きさは、 放射照度と呼ばれる 3D 空間のスカラー値関数です。

時間、波長、偏光角は追加の次元として扱うことができ、それに応じてより高次元の関数が得られる。

音における4次元光場の類似概念は、音場または波動場であり、波動場合成などで用いられる。対応するパラメーター化はキルヒホッフ・ヘルムホルツ積分であり、障害物がない場合、時間経過に伴う音場は平面上の圧力によって与えられると規定している。したがって、これは任意の時点における2次元の情報であり、時間経過に伴って3次元の場となる。

光の見かけ上の4次元性とは対照的に、この2次元性は、光が光線として伝わる（ある時点では0次元、時間経過とともに1次元）のに対し、ホイヘンス・フレネルの原理によれば、音波面は球面波としてモデル化できる（ある時点では2次元、時間経過とともに3次元）ためである。光は一方向にしか進まない（2次元の情報）のに対し、音はあらゆる方向に広がる。しかし、非真空媒体中を伝わる光も同様に散乱する可能性があり、散乱によって失われる不可逆性や情報は、システムの次元が見かけ上失われるという形で現れる。

計算の複雑さを軽減する一つの方法は、フーリエスライス定理の概念を採用することである。^{[ 9 ]}フォトグラフィー演算子${\displaystyle {\mathcal {P}}_{\alpha }\left[\cdot \right]}$これは、せん断とそれに続く投影として見なすことができます。結果は、光場の4次元フーリエ変換の拡大された2次元スライスに比例するはずです。より正確には、光場の4次元フーリエスペクトルから2次元スライスを抽出し、逆2次元変換を適用し、スケーリングすることで、再焦点化画像を生成できます。アルゴリズムの漸近的な複雑さは${\displaystyle O(N^{2}\operatorname {log} N)}$。

2 次元写真を効率的に計算するもう 1 つの方法は、離散焦点スタック変換 (DFST) を採用することです。^{[ 10 ]} DFST は、焦点が再調整された 2 次元写真の集合、いわゆる焦点スタックを生成するように設計されています。この方法は、高速分数フーリエ変換(FrFT)によって実装できます。

個別写真撮影オペレーター${\displaystyle {\mathcal {P}}_{\alpha }\left[\cdot \right]}$光場については、以下のように定義される。${\displaystyle L_{F}({\boldsymbol {s}},{\boldsymbol {u}})}$4次元グリッドでサンプリング${\displaystyle {\boldsymbol {s}}=\Delta s{\tilde {\boldsymbol {s}}},}$${\displaystyle {\tilde {\boldsymbol {s}}}=-{\boldsymbol {n}}_{\boldsymbol {s}},...,{\boldsymbol {n}}_{\boldsymbol {s}}}$、${\displaystyle {\boldsymbol {u}}=\Delta u{\tilde {\boldsymbol {u}}},{\tilde {\boldsymbol {u}}}=-{\boldsymbol {n}}_{\boldsymbol {u}},...,{\boldsymbol {n}}_{\boldsymbol {u}}}$:

${\displaystyle {\mathcal {P}}_{q}[L]({\boldsymbol {s}})=\sum _{{\tilde {\boldsymbol {u}}}=-{\boldsymbol {n}}_{\boldsymbol {u}}}^{{\boldsymbol {n}}_{\boldsymbol {u}}}L({\boldsymbol {u}}q+{\boldsymbol {s}},{\boldsymbol {u}})\Delta {\boldsymbol {u}},\quad \Delta {\boldsymbol {u}}=\Delta u\Delta v,\quad q=\left(1-{\frac {1}{\alpha }}\right)}$

なぜなら${\displaystyle ({\boldsymbol {u}}q+{\boldsymbol {s}},{\boldsymbol {u}})}$通常は4次元グリッド上にないため、DFSTは三角関数補間を用いて非グリッド値を計算します。

このアルゴリズムは以下のステップで構成されています。

• 光場をサンプリングする${\displaystyle L_{F}({\boldsymbol {s}},{\boldsymbol {u}})}$サンプリング期間とともに${\displaystyle \Delta s}$そして${\displaystyle \Delta u}$そして離散化された光場を取得する${\displaystyle L_{F}^{d}({\boldsymbol {s}},{\boldsymbol {u}})}$。
• パッド${\displaystyle L_{F}^{d}({\boldsymbol {s}},{\boldsymbol {u}})}$信号長がエイリアシングなしでFrFTを行うのに十分な長さになるようにゼロを配置する。
• すべての${\displaystyle {\boldsymbol {u}}}$離散フーリエ変換を計算する${\displaystyle L_{F}^{d}({\boldsymbol {s}},{\boldsymbol {u}})}$結果を取得する${\displaystyle R1}$。
• 焦点距離ごとに${\displaystyle \alpha F}$の分数フーリエ変換を計算する${\displaystyle R1}$変換の次数は以下に依存する${\displaystyle \alpha }$結果を取得する${\displaystyle R2}$。
• の逆離散フーリエ変換を計算します${\displaystyle R2}$。
• 周辺ピクセルを削除${\displaystyle R2}$各2D写真のサイズは次のようになります${\displaystyle (2{n}_{\boldsymbol {s}}+1)}$による${\displaystyle (2{n}_{\boldsymbol {s}}+1)}$

ゲルシュンが光場を研究した理由は、表面上に配置されたさまざまな形状の光源によって表面上で観測される照明パターンを（閉じた形で）導出するためであった。^{[ 23 ]}照明工学に特化した光学の分野は非結像光学である。^{[ 24 ]}非結像光学は、流線（ゲルシュンのフラックス線）とベクトルフラックス（ゲルシュンの光ベクトル）の概念を広く利用している。しかし、光場（この場合は光線を定義する位置と方向）は、一般的に位相空間とハミルトン光学の観点から記述される。

シーンの 4D ライトフィールドから適切な 2D スライスを抽出することで、シーンの新しいビューが可能になります。^{[ 25 ]}ライトフィールドとスライスのパラメータ化に応じて、これらのビューは透視投影、正射投影、交差スリット投影、^{[ 26 ]}一般的な線形カメラ投影、^{[ 27 ]}多視点投影、^{[ 28 ]}またはその他のタイプの投影になる可能性があります。ライトフィールドレンダリングは、画像ベースレンダリングの 1 つの形式です。

光場内のサンプルの適切な 4D サブセットを統合することで、有限の (つまり、ピンホールではない) 開口部を持つカメラで撮影されるであろうビューを近似することができます。このようなビューは有限の被写界深度を持ちます。この統合を実行する前に光場をせん断または歪ませることで、異なる正面平行面^{[ 29 ]}または斜め面^{[ 30 ]}に焦点を合わせることができます。光場を撮影するデジタルカメラ^{[ 14 ]}で撮影された画像は、再焦点合わせすることができます。

各サンプルを物理空間内の適切な光線にマッピングする技術を使用して光場を提示すると、元のシーンを見ているのと同様のオートステレオスコピック視覚効果が得られます。これを行う非デジタル技術には、インテグラル写真、パララックスパノラマグラム、ホログラフィーなどがあります。デジタル技術には、高解像度ディスプレイ画面上にレンズレットのアレイを配置したり、ビデオプロジェクターのアレイを使用して画像をレンズレットのアレイに投影したりすることが含まれます。ビデオカメラのアレイは、時間的に変化する光場をキャプチャして表示できます。これは基本的に3Dテレビシステムを構成します。^{[ 31 ]}光場表示の最新のアプローチでは、より高い解像度、コントラストの向上、より広い視野、およびその他の利点を実現するために、光学素子と圧縮計算の共同設計を探求しています。^{[ 32 ]}

神経活動は、カルシウムイオンの存在をリアルタイムで示す可逆的な蛍光マーカーであるGCaMPなどをニューロンに遺伝的に組み込むことで光学的に記録できます。光場顕微鏡は、1つのフレームでボリューム全体の情報を捉えるため、大きなボリュームにランダムに分布する個々のニューロンの神経活動をビデオフレームレートで監視することが可能です。^{[ 33 ]}脳組織の光学収差があっても、ボリューム画像を再構築することなく神経活動の定量的測定を行うことができ、 ^{[ 34 ]}数千個のニューロンの活動を監視できます。^{[ 35 ]}

これは、一般化された光場と再照明可能な物質場を表すシーン モデルを作成および/または改良する方法です。^{[ 36 ]}再構成に使用されるデータには、画像、ビデオ、オブジェクト モデル、および/またはシーン モデルが含まれます。一般化された光場は、シーン内を流れる光を表します。再照明可能な物質場は、シーンを占める物質の光相互作用特性と放射率を表します。シーン データ構造は、ニューラル ネットワーク^{[ 37 ] [ 38 ] [ 39 ]} や物理ベースの構造^{[ 40 ] [ 41 ]}などを使用して実装できます。^{[ 36 ]}光場と物質場は、少なくとも部分的に分離されています。^{[ 36 ] [ 42 ]}

ホログラフィックステレオグラム用の合成画像の画像生成とプリディストーションは、計算されたライトフィールドの最も初期の例の1つです。^{[ 43 ]}

グレアは、カメラ本体とレンズ光学系内部での光の多重散乱によって発生し、画像コントラストを低下させます。グレアは2D画像空間で分析されてきましたが、^{[ 44 ]} 4D光線空間現象として識別することが有用です。^{[ 45 ]}カメラ内部の光線空間を統計的に分析することで、グレアアーティファクトの分類と除去が可能になります。光線空間では、グレアは高周波ノイズとして振る舞い、外れ値除去によって低減できます。このような分析は、カメラ内部の光場をキャプチャすることで実行できますが、空間解像度の低下を招きます。均一および非均一の光線サンプリングを使用することで、画像解像度を大きく損なうことなくグレアを低減できます。^{[ 45 ]}

• Adelson, EH、Bergen, JR (1991) 「プレノプティック機能と初期視覚の要素」、『視覚処理の計算モデル』 、M. Landy および JA Movshon 編、MIT Press、ケンブリッジ、1991 年、3-20 ページ 。
• Arvo, J. (1994). 「部分的に遮蔽された多面体光源の放射照度ヤコビアン」、Proc. ACM SIGGRAPH、ACM Press、pp.  335–342。
• Bolles, RC、Baker, HH、Marimont, DH (1987) 「エピポーラ平面画像解析：動きから構造を決定するアプローチ」、International Journal of Computer Vision、Vol. 1、No. 1、1987、Kluwer Academic Publishers、pp 7–55。
• ファラデー、M.、「光線振動に関する考察」、Wayback Machineに 2013 年 2 月 18 日にアーカイブ済み、Philosophical Magazine、S.3、Vol XXVIII、N188、1846 年 5 月。
• ゲルシュン、A. (1936). 「光の場」、モスクワ、1936年。P. ムーンとG. ティモシェンコによる翻訳、Journal of Mathematics and Physics、第XVIII巻、MIT、1939年、51-151ページ 。
• Gortler, SJ、Grzeszczuk, R.、Szeliski, R.、Cohen, M. (1996) 「ルミグラフ」、Proc. ACM SIGGRAPH、ACM Press、pp.  43–54。
• Levoy, M., Hanrahan, P. (1996). "Light Field Rendering" , Proc. ACM SIGGRAPH , ACM Press, pp.  31–42.
• Moon, P.、Spencer, DE (1981).光場、MIT Press。
• Wong, TT、Fu, CW、Heng, PA、Leung CS (2002) 「プレノプティック照明関数」、IEEE Trans. Multimedia、Vol. 4、No. 3、pp.  361–371。

• G. Wetzstein、I. Ihrke、W. Heidrich (2013) 「プレノプティック多重化と再構成について」、International Journal of Computer Vision (IJCV)、第101巻、第2号、pp.  384–400。
• Ramamoorthi, R., Mahajan, D., Belhumeur, P. (2006). "照明、陰影、影の一次解析" , ACM TOG .
• Zwicker, M., Matusik, W., Durand, F., Pfister, H. (2006). "Antialiasing for Automultiscopic 3D Displays" Archived 2016-10-18 at the Wayback Machine , Eurographics Symposium on Rendering, 2006 .
• Ng, R. (2005). "フーリエスライス写真" , Proc. ACM SIGGRAPH、ACM Press、pp.  735–744。
• Durand, F., Holzschuch, N., Soler, C., Chan, E., Sillion, FX (2005). "光伝送の周波数解析" , Proc. ACM SIGGRAPH , ACM Press, pp.  1115–1126.
• Chai, J.-X., Tong, X., Chan, S.-C., Shum, H. (2000). "Plenoptic Sampling" , Proc. ACM SIGGRAPH , ACM Press, pp.  307–318.
• Halle, M. (1994) 「離散イメージングシステムとしてのホログラフィックステレオグラム」、SPIE Proc. Vol. #2176: Practical Holography VIII、SA Benton 編、pp. 73–84。 
• Yu, J., McMillan, L. (2004). "General Linear Cameras" , Proc. ECCV 2004 , Lecture Notes in Computer Science , pp.  14–27.

• Marwah, K., Wetzstein, G., Bando, Y., Raskar, R. (2013). "過剰完全辞書と最適化された投影を使用した圧縮ライトフィールド写真" 2021-11-28 にWayback Machineにアーカイブ済み, ACM Transactions on Graphics (SIGGRAPH)。
• Liang, CK、Lin, TH、Wong, BY、Liu, C.、Chen, HH (2008) 「Programmable Aperture Photography:Multiplexed Light Field Acquisition」、Proc. ACM SIGGRAPH。
• Veeraraghavan, A., Raskar, R., Agrawal, A., Mohan, A., Tumblin, J. (2007). "Dappled Photography: Mask Enhanced Cameras for Heterodyned Light Fields and Coded Aperture Refocusing" , Proc. ACM SIGGRAPH .
• Georgiev, T., Zheng, C., Nayar, S., Curless, B., Salesin, D., Intwala, C. (2006). "インテグラル写真における空間角度分解能のトレードオフ" , Proc. EGSR 2006 .
• Kanade, T., Saito, H., Vedula, S. (1998). "The 3D Room: Digitizing Time-Varying 3D Events by Synchronized Multiple Video Streams" , 技術報告書 CMU-RI-TR-98-34、1998年12月。
• Levoy、M. (2002)。スタンフォード球状ガントリー。
• Levoy, M.、Ng, R.、Adams, A.、Footer, M.、Horowitz, M. (2006) 「ライトフィールド顕微鏡」、ACM Transactions on Graphics (Proc. SIGGRAPH)、Vol. 25、No. 3。
• Ng, R., Levoy, M., Brédif, M., Duval, G., Horowitz, M., Hanrahan, P. (2005). 「手持ち式プレノプティックカメラによるライトフィールド写真」、スタンフォード技術レポートCTSR 2005–02、2005年4月。
• Wilburn, B., Joshi, N., Vaish, V., Talvala, E., Antunez, E., Barth, A., Adams, A., Levoy, M., Horowitz, M. (2005). "High Performance Imaging Using Large Camera Arrays" , ACM Transactions on Graphics (Proc. SIGGRAPH), Vol. 24, No. 3, pp.  765–776.
• Yang, JC、Everett, M.、Buehler, C.、McMillan, L. (2002) 「リアルタイム分散型ライトフィールドカメラ」、Proc. Eurographics Rendering Workshop 2002。
• 「CAFADISカメラ」

• Wetzstein, G.、Lanman, D.、Hirsch, M.、Raskar, R. (2012) 「テンソルディスプレイ：指向性バックライトを備えた多層ディスプレイを使用した圧縮型ライトフィールドディスプレイ」、ACM Transactions on Graphics (SIGGRAPH)
• Wetzstein, G.、Lanman, D.、Heidrich, W.、Raskar, R. (2011) 「Layered 3D: Attenuation-based Light Field and High Dynamic Range Displays のための断層画像合成」、ACM Transactions on Graphics (SIGGRAPH)
• Lanman, D., Wetzstein, G., Hirsch, M., Heidrich, W., Raskar, R. (2011). "偏光場：多層LCDを用いた動的光場表示" 2015年2月19日にWayback Machineにアーカイブ済み、ACM Transactions on Graphics (SIGGRAPH Asia)
• Lanman, D.、Hirsch, M.、Kim, Y.、Raskar, R. (2010)。「HR3D: デュアルスタックLCDを使用したメガネ不要の3Dディスプレイ、コンテンツ適応型視差バリアを使用した高ランク3Dディスプレイ」Wayback Machineに2013年6月21日にアーカイブ済み、ACM Transactions on Graphics (SIGGRAPH Asia)
• Matusik, W., Pfister, H. (2004). "3D TV: 動的シーンのリアルタイム取得、伝送、およびオートステレオスコピック表示のためのスケーラブルなシステム" , Proc. ACM SIGGRAPH , ACM Press.
• Javidi, B.、Okano, F. 編 (2002).三次元テレビ、ビデオおよびディスプレイ技術、Springer-Verlag。
• Klug, M.、Burnett, T.、Fancello, A.、Heath, A.、Gardner, K.、O'Connell, S.、Newswanger, C. (2013). 「スケーラブルで協調的なインタラクティブなライトフィールドディスプレイシステム」、SIDシンポジウム技術論文集
• Fattal, D., Peng, Z., Tran, T., Vo, S., Fiorentino, M., Brug, J., Beausoleil, R. (2013). 「広角・メガネ不要の3次元ディスプレイのための多方向バックライト」 Nature 495, 348–351

• 「スタンフォード大学ライトフィールドアーカイブ」
• 「UCSD/MERL ライトフィールドリポジトリ」
• 「HCIライトフィールドベンチマーク」
• 「合成光場アーカイブ」は、 2012年11月26日にWayback Machineにアーカイブされました。

• Grosenick, L., Anderson, T., Smith SJ (2009) 「神経細胞集団の生体内イメージングのための弾性光源選択」第6回IEEE国際生物医学イメージングシンポジウム「ナノからマクロへ」(2009) 1263–1266。
• Grosenick, L., Broxton, M., Kim, CK, Liston, C., Poole, B., Yang, S., Andalman, A., Scharff, E., Cohen, N., Yizhar, O., Ramakrishnan, C., Ganguli, S., Suppes, P., Levoy, M., Deisseroth, K. (2017) "Identification of cellular-activity dynamics across large tissue volumes in the mammalian brain" bioRxiv 132688; doi: Identification of cellular-activity dynamics across large tissue volumes in the mammalian brain .
• Heide, F., Wetzstein, G., Raskar, R., Heidrich, W. (2013) 「圧縮ディスプレイのための適応型画像合成」、ACM Transactions on Graphics (SIGGRAPH)
• Wetzstein, G.、Raskar, R.、Heidrich, W. (2011) 「光場プローブを用いた手持ち式シュリーレン写真」、IEEE国際計算写真会議（ICCP）
• Pérez, F., Marichal, JG, Rodriguez, JM (2008). 「離散焦点スタック変換」、Proc. EUSIPCO
• Raskar, R., Agrawal, A., Wilson, C., Veeraraghavan, A. (2008). "グレア認識写真：カメラレンズのグレア効果を軽減するための4Dレイサンプリング" , Proc. ACM SIGGRAPH.
• Talvala, EV., Adams, A., Horowitz, M., Levoy, M. (2007). "高ダイナミックレンジイメージングにおけるベールグレア" , Proc. ACM SIGGRAPH.
• Halle, M., Benton, S., Klug, M., Underkoffler, J. (1991). "The UltraGram: A Generalized Holographic Stereogram" , SPIE Vol. 1461, Practical Holography V , SA Benton 編, pp. 142–155. 
• Zomet, A., Feldman, D., Peleg, S., Weinshall, D. (2003). "モザイク状の新しい視点：交差スリット投影" , IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI) , Vol. 25, No. 6, June 2003, pp.  741–754.
• Vaish, V., Garg, G., Talvala, E., Antunez, E., Wilburn, B., Horowitz, M., Levoy, M. (2005). "Synthetic Aperture Focusing using a Shear-Warp Factorization of the Viewing Transform" , Proc. Workshop on Advanced 3D Imaging for Safety and Security , in conjunction with CVPR 2005.
• Bedard, N., Shope, T., Hoberman, A., Haralam, MA, Shaikh, N., Kovačević, J., Balram, N., Tošić, I. (2016). "中耳の3D生体イメージングのためのライトフィールド耳鏡設計" . Biomedical optics express , 8 (1), pp.  260–272.
• Karygianni, S., Martinello, M., Spinoulas, L., Frossard, P., Tosic, I. (2018). "光場データからの鼓膜の自動位置合わせ". IEEE International Conference on Image Processing (ICIP)
• Rademacher, P., Bishop, G. (1998). "Multiple-Center-of-Projection Images" , Proc. ACM SIGGRAPH , ACM Press.
• Isaksen, A., McMillan, L., Gortler, SJ (2000). "Dynamically Reparameterized Light Fields" , Proc. ACM SIGGRAPH , ACM Press, pp.  297–306.
• Buehler, C., Bosse, M., McMillan, L., Gortler, S., Cohen, M. (2001). "Unstructured Lumigraph Rendering" , Proc. ACM SIGGRAPH , ACM Press.
• Ashdown, I. (1993). 「近距離測光：新しいアプローチ」、照明工学会誌、第22巻、第1号、1993年冬、 163-180ページ。
• Chaves, J. (2015) 「非結像光学入門 第2版」 CRC Press
• Winston, R.、Miñano, JC、Benitez, PG、Shatz, N.、Bortz, JC、(2005) 「Nonimageing Optics」、Academic Press
• Pégard, NC、Liu HY、Antipa, N.、Gerlock M.、Adesnik, H.、Waller, L.「3D神経活動記録のための圧縮光場顕微鏡法」 Optica 3、no. 5、pp.  517–524 (2016)。
• Leffingwell, J.、Meagher, D.、Mahmud, K.、Ackerson, S. (2018)。「一般化シーン再構成」 arXiv:1803.08496v3 [cs.CV]、pp.  1–13。
• Mildenhall, B.、Srinivasan, PP、Tancik, M.、Barron, JT、Ramamoorthi, R.、Ng, R. (2020)。「NeRF: シーンをニューラル放射輝度場として表現し、ビュー合成を行う」 Computer Vision – ECCV 2020、405–421。
• Yu, A., Fridovich-Keil, S., Tancik, M., Chen, Q., Recht, B., Kanazawa, A. (2021). "Plenoxels: ニューラルネットワークを用いない放射輝度場." arXiv:2111.11215, pp.  1–25
• Perez, CC; Lauri, A; et  al. (2015年9月) 「ターンキーライトフィールドカメラを用いた行動中のゼブラフィッシュ幼生のカルシウム神経イメージング」 . Journal of Biomedical Optics . 20 (9) 096009. Bibcode : 2015JBO....20i6009C . doi : 10.1117/1.JBO.20.9.096009 . PMID 26358822 . 
• Perez, CC、Lauri, A.、Symvoulidis, P.、Cappetta, M.、Erdmann, A.、Westmeyer, GG (2015). ターンキーライトフィールドカメラを用いた行動中のゼブラフィッシュ幼生のカルシウム神経イメージング。Journal of Biomedical Optics、20(9)、096009-096009。
• León, K.、Galvis, L.、および Arguello, H. (2016)。「2D 投影からのカラーコード化開口による圧縮センシングに基づくマルチスペクトル光場 (5d プレノプティック関数) の再構成」Wayback Machineに 2017-03-22 にアーカイブ済みRevista Facultad de Ingeniería Universidad de Antioquia 80、pp. 131。