ライトフィールドカメラ

ライトフィールド カメラ(プレノプティック カメラとも呼ばれる) は、シーンから発せられるライト フィールドに関する情報 (つまり、シーン内の光の強度と、光線が空間内を移動する正確な方向) をキャプチャするカメラです。これは、さまざまな波長の光の強度のみを記録する従来のカメラとは対照的です。

1 つのタイプでは、従来の画像センサーの前に配置されたマイクロレンズのアレイを使用して、強度、色、方向情報を感知します。マルチカメラ アレイは別のタイプです。ホログラフィックイメージは、フィルム ベースのライト フィールド イメージの一種です。

最初のライトフィールドカメラは、 1908 年にガブリエル リップマンによって提案されました。彼はこの概念を「インテグラル フォトグラフィー」と呼びました。リップマンの実験結果には、マイクロレンズの規則的な配列がエンボス加工されたプラスチック シートを使用したり、写真乳剤の表面にランダムなパターンで密集した小さなガラス ビーズを部分的に埋め込んだりして作成された粗いインテグラル写真が含まれていました。

1992年、アデルソンとワンはステレオマッチングにおける対応問題を軽減する設計を提案した。 ^[1]これを実現するために、マイクロレンズのアレイをカメラのメインレンズの焦点面に配置する。画像センサーはマイクロレンズの少し後ろに配置します。このような画像を使用して、焦点が合っていない画像部分の変位を分析し、深度情報を抽出できます。

「標準プレノプティックカメラ」は、研究者が設計を比較するために使用する数学モデルです。定義上、マイクロレンズはセンサーの画像面から焦点距離1つ分離れたところに配置されています。^{[2] [3] [4]} 2004年、スタンフォード大学コンピュータグラフィックス研究所のチームは、16メガピクセルのカメラを使用して、写真を撮影した後に再度焦点を合わせることができることを実証しました。このシステムでは、90,000個のマイクロレンズアレイを使用し、90キロピクセルの解像度を実現しました。^[2]研究では、その最大ベースラインは、立体視のセットアップに比べて小さいメインレンズの入射瞳サイズに限定されていることが示されています。^{[1] [5]}これは、「標準プレノプティックカメラ」が、カメラのパラメータに基づいて測定的に予測できる距離で深度解像度が向上するため、近距離アプリケーション向けである可能性があることを意味します。^[6]

Lumsdaine 氏と Georgiev 氏は、マイクロレンズ アレイをメイン レンズの焦点面の前または後ろに配置できる設計について説明しました。この変更により、角度解像度を犠牲にして空間解像度を高める方法でライト フィールドがサンプリングされます。この設計により、標準的なプレノプティック カメラからの画像よりもはるかに高い空間解像度で画像を再フォーカスできます。ただし、角度解像度が低いと、エイリアシングアーティファクトが発生する可能性があります。

2007年には、マイクロレンズアレイの代わりに低コストの印刷フィルムマスクを使用する設計が提案されました。 ^[7]この設計では、マイクロレンズアレイで見られる色収差や境界ピクセルの損失が低減され、空間解像度が向上します。ただし、マスクベースの設計では、イメージセンサーに到達する光の量が減少し、明るさが低下します。

機能は次のとおりです:

• 可変被写界深度と「再フォーカス」: Lytro の「フォーカス スプレッド」機能を使用すると、写真を撮影した後で Lytro 画像の 2 次元表現の被写界深度 (焦点深度) を調整できます。^[8]特定の距離に焦点を設定する代わりに、「フォーカス スプレッド」を使用すると、2D 画像のより多くの部分に焦点を合わせることができます。場合によっては、2D 画像フィールド全体が焦点になることもあります。ユーザーは、芸術的な効果を得るために、特定の距離で 2D 画像を「再フォーカス」することもできます。Illum では、レンズの光学フォーカス リングとズーム リングを使用して、「再フォーカス可能」および「フォーカス スプレッド可能」の範囲を選択できます。Illum には、異なる深度で 3 枚または 5 枚の連続画像をキャプチャすることで、再フォーカス可能な範囲を拡張する「フォーカス ブラケット」機能もあります。^[9]
• スピード：写真を撮る前にレンズの焦点を合わせる必要性が少ないため、ライトフィールドカメラは従来のデジタルカメラよりも速く画像を撮影できます。^[10]これは、例えばスポーツ写真撮影では有利です。スポーツ写真撮影では、カメラのオートフォーカスシステムが高速で動く被写体を正確に追跡できないために多くの写真が失われます。
• 低照度感度：後処理でフォーカスを調整できるため、従来のカメラよりも大きな絞りを使用でき、低照度環境での撮影が可能になります。^{[10] [11]}
• 3Dビュー: プレノプティックカメラは奥行き情報を記録するため、単一のプレノプティック画像キャプチャからソフトウェアで3Dビューを構築できます。この場合、3Dビューは単なるステレオ画像とは異なります。ステレオ画像も構築できます。^{[12] [13]}

2022年、NISTは焦点距離が3cm（1.2インチ）から1.7km（1.1マイル）のデバイスを発表しました。このデバイスは、39x39要素の二酸化チタン メタレンズアレイを採用しました。各メタレンズは右円偏光または左円偏光のいずれかで、異なる焦点距離を作り出します。各メタレンズは長方形の形状でした。光は長方形の短辺と長辺を別々に通過し、画像に2つの焦点を生成します。メタレンズ間の違いはアルゴリズムによって補正されました。^{[14] [15]}

Lytro は、スタンフォード大学コンピュータグラフィックス研究所の卒業生であるRen Ngによって、大学院生時代に開発したライトフィールドカメラを商品化するために設立されました。^[16] Lytroのライトフィールドセンサーは、従来の画像センサーの前に配置されたマイクロレンズのアレイを使用して、強度、色、方向情報を感知します。^[17]次に、ソフトウェアがこのデータを使用して、表示可能な 2D または 3D 画像を作成します。^[18] Lytro は、特定の距離での最大 2D 解像度を、他の距離での強化された解像度と交換します。ユーザーは、Lytro カメラの独自の画像を、任意の焦点距離で通常の 2D 画像ファイルに変換できます。最大 Illum 2D 解像度は 2450 × 1634 (4.0 メガピクセル) で、3D ライトフィールド解像度は 40 メガレイです。^{[19]最大2D解像度は1080×1080ピクセル（約120}万画素）です。 ^[20] Lytroは2018年3月に営業を停止しました。^[21]

レイトリックスは2010年以来、視野が1メガピクセルから始まる産業用および科学用途向けのプレノプティックカメラのいくつかのモデルを提供してきました。^{[22] [23]}

d'Optron 社と Rebellion Photonics 社は、それぞれ顕微鏡検査とガス漏れ検出に特化したプレノプティック カメラを提供しています。^{[引用が必要]}

スタンフォード大学コンピュータグラフィックス研究所は、ライトフィールドカメラで使用されているものと同様のマイクロレンズアレイを使用したライトフィールド顕微鏡のプロトタイプを開発した。プロトタイプは、ニコンEclipse透過光顕微鏡/広視野蛍光顕微鏡と標準CCDカメラを中心に構築されている。ライトフィールドキャプチャは、対物レンズとカメラの間の光路に配置されたマイクロレンズアレイとその他の光学部品を含むモジュールによって取得され、最終的なマルチフォーカス画像はデコンボリューションを使用してレンダリングされる。^{[24] [25] [26]}

その後の試作機では、ビデオプロジェクター（照明の計算制御が可能）と顕微鏡の照明光路に2つ目のマイクロレンズアレイを備えたライトフィールド照明システムが追加されました。ライトフィールド照明システムの追加により、追加の照明タイプ（斜照明や準暗視野など）と光学収差の補正が可能になりました。^[25]

Adobeライトフィールドカメラは、19 個の独自に構成されたレンズを使用して、焦点が合ったシーンの 3 次元写真を撮影するプロトタイプの 1 億ピクセルカメラです。各レンズは、シーンの 5.2 メガピクセルの写真を撮影します。各画像は、後で任意の方法で焦点を合わせることができます。^[27]

CAFADISはラ・ラグーナ大学（スペイン）が開発したプレノプティックカメラです。 ^[28] CAFADISはスペイン語で位相距離カメラの略で、距離と光波面の推定に使用できます。1回の撮影で、さまざまな距離に焦点を合わせた画像、深度マップ、全焦点画像、ステレオペアを作成できます。同様の光学設計は、天体物理学の適応光学にも使用できます。

三菱電機研究所（MERL）のライトフィールドカメラ^[7]は、光ヘテロダイン原理に基づいており、センサーの近くに配置された印刷されたフィルム（マスク）を使用します。この技術を使用すると、センサーの上に安価なフィルムを挿入するだけで、手持ちカメラをライトフィールドカメラに変換できます。^[29]マスクベースの設計では、シーンの焦点が合った部分の高解像度の写真を生成できるため、解像度の低下の問題を回避できます。

ペリカンイメージングは​​、民生用電子機器向けの薄型マルチカメラアレイシステムを持っています。ペリカンのシステムは、マイクロレンズアレイ画像センサーの代わりに、4〜16個の近接したマイクロカメラを使用しています。^[30] ノキアは、 2014年にノキアのスマートフォンに実装される予定の16個のレンズアレイを備えたプレノプティックカメラシステムを生産するためにペリカンイメージングに投資しました。 ^[31]ペリカンは、スタンドアロンのアレイカメラではなく、デバイスのメインカメラに深度検知機能を追加する補助カメラの設計に移行しました。^[32]

ベッドフォードシャー大学とARRIの協力により、ライトフィールドジオメトリと実際の物体距離の検証のための光線モデルを備えたカスタムメイドのプレノプティックカメラが開発されました。^{[4] [5]}

2021年11月、ドイツに拠点を置くK|Lens社^[33]は、 Kickstarterであらゆる標準レンズマウントで利用できる初のライトフィールドレンズを発表しました。このプロジェクトは2022年1月に中止されました。

標準的なデジタルカメラの改造には、適切なマイクロレンズ材料のシート以上のものはほとんど必要ないため、多くの愛好家が、選択的な被写界深度または方向情報を与えるように画像を処理できるカメラを製作しました。^[34]

2017年の研究では、研究者らは、ライトフィールド撮影画像をオンライン解剖学モジュールに組み込んだ場合、解剖された死体の従来の写真を使用した同一のモジュールと比較して、学習成果が向上しなかったことを観察した。^[35]

プレノプティックカメラは、オートフォーカスの能力を超える高速で移動する物体を撮影したり、防犯カメラのようにオートフォーカスが実用的ではない物体を撮影したりするのに適しています。^[36]プレノプティック技術に基づく防犯カメラ からの録画は、被写体の正確な3Dモデルを作成するために使用できます。 ^[37]

Lytro Desktop は、Lytro カメラで撮影したライトフィールド写真をレンダリングするクロスプラットフォーム アプリケーションです。Google による Lytro の買収以来、クローズド ソースのままメンテナンスされていません。^[21]その間に、いくつかのオープン ソース ツールがリリースされました。Lytro タイプのカメラ処理用の Matlab ツールが見つかります。^[38] PlenoptiCam は、Lytro およびカスタム ビルドのプレノプティック カメラを考慮した GUI ベースのアプリケーションで、クロスプラットフォームの互換性があり、ソース コードはオンラインで公開されています。^[39]

• 角度感知ピクセル
• ボケ
• 複眼
• フェムト写真
• インテグラルイメージング
• 飛行中の光による画像化
• 写真判定
• ストリークカメラ
• ストリップ写真

• スタンフォード大学のRen Ng氏（現在はLytroに所属）による記事
• ぼやけた写真にさよならを。Wired。
• フーリエスライス写真
• スタンフォード コンピュータ グラフィックス研究所によるライト フィールド顕微鏡ビデオ。
• IEEE Spectrum 2012年5月号の記事「ライトフィールド写真がイメージングに革命を起こす」、サンプル画像と操作図付き、2012年5月11日取得
• www.plenoptic.info アニメーションを使って Plenoptic カメラを説明する Web サイト。