ライト フィールド 顕微鏡法 ( LFM )は、 ライトフィールド の理論に基づいた、スキャンフリーの3次元(3D)顕微鏡画像化法です 。この技術は、弱い散乱と半透明の状態で、1秒未満(約10 Hz)の大容量画像化([約0.1〜1 mm] 3 )を約1 μmの空間分解能で可能にします。これは他の方法では達成できませんでした。従来の ライトフィールドレンダリング と同様に、LFM画像化には、ライトフィールドのキャプチャと処理の2つのステップがあります。ほとんどのセットアップでは、 マイクロレンズ アレイを使用してライトフィールドをキャプチャします。処理に関しては、 光線光学 画像 [1] と 波動光学画像 [2] という2種類の光伝播の表現に基づくことができます。 スタンフォード大学コンピュータグラフィックス研究所は、2006年に最初のプロトタイプLFMを公開し [1] 、それ以来最先端の研究を続けています。
ライトフィールド生成
ライトフィールド顕微鏡の光線パラメータ化。 (A) リレーレンズを使用しないライトフィールドパラメータ化。物体面は対物レンズを介してマイクロレンズアレイ面と共役し 、 対物レンズ面はマイクロレンズを介してセンサー面と共役します。2 点の中間像はマイクロレンズアレイ面上にあり、1 つのマイクロレンズが 1 つの点に対応します。対応するマイクロレンズの後ろにある各サブイメージには、対物レンズの像が組み込まれます。 (B) リレーシステムを使用したライトフィールドパラメータ化。焦点面とマイクロレンズ上の点の共役はそのままですが、各マイクロレンズの後ろにあるサブイメージには、対物レンズの一部のみが組み込まれます。どちらのシステムでも、光線は、光線が通過するマイクロレンズの 2D 座標と、光線が当たるサブイメージピクセルの 2D 座標の組み合わせとしてパラメータ化されます。
ライトフィールドとは、ある自由空間を流れるすべての光線の集合であり、各光線は4つの変数でパラメータ化できます。 [3] 多くの場合、光線が交差する2つの平行平面上の2つの2D座標( &で示される )がパラメータ化に適用されます。したがって、4Dライトフィールドの強度はスカラー関数として記述できます。 ここで、は 2つの平面間の距離です。
(
s
、
t
)
{\displaystyle (s,t)}
(
あなた
、
ヴ
)
{\displaystyle (u,v)}
ら
ふ
(
s
、
t
、
あなた
、
ヴ
)
{\textstyle L_{f}(s,t,u,v)}
f
{\displaystyle f}
LFM は、広視野蛍光顕微鏡と標準 CCD カメラ または sCMOS の従来のセットアップに基づいて構築できます。 [1]光場は、 対物 レンズの中間像面 (またはオプションのリレー レンズの後部焦点面) にマイクロレンズ アレイを配置することによって生成され、カメラ センサーをマイクロレンズの後部焦点面に配置することによってさらにキャプチャされます。その結果、マイクロレンズの座標は、 物体面 (追加のリレー レンズが追加された場合は、対物レンズの前部焦点面) の座標と共役になります 。各マイクロレンズの後ろのピクセルの座標は、 物体面の座標と共役になります。統一性と便宜上、 この記事ではこの平面を元の焦点面 と呼ぶことにします。これに対応して、 はマイクロレンズの焦点距離 (つまり、マイクロレンズ アレイ面とセンサー面の間の距離) です。
(
s
,
t
)
{\displaystyle (s,t)}
(
s
′
,
t
′
)
{\displaystyle (s',t')}
(
u
,
v
)
{\displaystyle (u,v)}
(
u
′
,
v
′
)
{\displaystyle (u',v')}
(
s
′
,
t
′
)
{\displaystyle (s',t')}
f
{\displaystyle f}
さらに、各レンズの絞りと焦点距離、およびセンサーとマイクロレンズ アレイの寸法はすべて適切に選択して、対応するマイクロレンズの後ろにある隣接するサブイメージ間に重なりや空き領域がないようにする必要があります。
光線光学図からの実現
このセクションでは主にLevoy et al ., 2006 の研究を紹介します。 [1]
さまざまな角度からの視点
前述の共役関係により、 特定のマイクロレンズの後ろにある特定のピクセルは、 その点を通過して 方向に向かう光線に対応します 。したがって、 すべてのサブイメージからピクセルを抽出してつなぎ合わせると、特定の角度からの透視図が得られます。 このシナリオでは、空間解像度はマイクロレンズの数によって決まり、角度解像度は各マイクロレンズの後ろにあるピクセルの数によって決まります。
(
u
j
,
v
j
)
{\displaystyle (u_{j},v_{j})}
(
s
i
,
t
i
)
{\displaystyle (s_{i},t_{i})}
(
s
i
′
,
t
i
′
)
{\displaystyle (s_{i}',t_{i}')}
(
u
j
′
,
v
j
′
)
{\displaystyle (u_{j}',v_{j}')}
(
u
j
,
v
j
)
{\displaystyle (u_{j},v_{j})}
L
f
(
:
,
:
,
u
j
,
v
j
)
{\textstyle L_{f}(:,:,u_{j},v_{j})}
合成再フォーカスに基づく断層画像
ステップ1: デジタル再フォーカス
ライトフィールドのデジタル再フォーカス 。元の画像がマイクロレンズアレイ面と共役な平面にフォーカスされていると仮定すると、この平面にデジタルフォーカスを形成するために、各マイクロレンズの後ろのピクセルを合計して画像を合成する必要があります。次に、マイクロレンズアレイ面とセンサー面の間に定義された光線をレンダリングして、共役面がセンサー面から α f 離れた別の平面に再フォーカスします。再フォーカス面の各点の強度を取得するには、逆延長線がこの点に到達する光線を合計します。この図は、1 次元の合成再フォーカスのデモンストレーションであり、他の次元も同じ数学的方法で独立して再フォーカスできます。この図は、Ren Ng 2005 の図 1 を修正したものです。 [4]
合成フォーカスでは、キャプチャされたライト フィールドを使用して、任意のセクションでの写真のフォーカスを計算します。マイクロレンズの後ろにある各サブイメージのすべてのピクセルを単純に合計するだけで (同じ位置に当たるさまざまな角度からのすべての放射線を収集するのと同じ)、画像はマイクロレンズ アレイ平面と共役な平面に正確にフォーカスされます。
E
f
(
s
,
t
)
=
1
f
2
∬
L
f
(
s
,
t
,
u
,
v
)
cos
4
ϕ
d
u
d
v
{\displaystyle E_{f}(s,t)={1 \over f^{2}}\iint L_{f}(s,t,u,v)\cos ^{4}\phi ~dudv}
、
ここで、 は光線とセンサー面の法線との間の角度であり、 各サブイメージの座標系の原点は、対応するマイクロレンズの主光軸上にあります。ここで、有効な投影係数を ライトフィールド強度に吸収し 、各ピクセルの実際の放射輝度コレクションを取得する新しい関数を定義できます 。
ϕ
{\displaystyle \phi }
ϕ
=
arctan
(
u
2
+
v
2
/
f
)
{\textstyle \phi =\arctan({\sqrt {u^{2}+v^{2}}}/f)}
cos
4
ϕ
{\displaystyle \cos ^{4}\phi }
L
f
{\displaystyle L_{f}}
L
¯
f
=
L
f
cos
4
ϕ
{\displaystyle {\bar {L}}_{f}=L_{f}\cos ^{4}\phi }
対物レンズの前方焦点面以外の平面、つまり共役面がセンサー面から離れている平面に焦点を合わせるには、共役面を から に移動し 、その光照射野を の元の光照射野に再パラメータ化します 。
f
′
=
α
f
{\displaystyle f'=\alpha f}
f
{\displaystyle f}
α
f
{\displaystyle \alpha f}
f
{\displaystyle f}
L
¯
α
f
(
s
,
t
,
u
,
v
)
=
L
¯
f
(
u
+
(
s
−
u
)
/
α
,
v
+
(
t
−
v
)
/
α
,
u
,
v
)
{\displaystyle {\bar {L}}_{\alpha f}(s,t,u,v)={\bar {L}}_{f}(u+(s-u)/\alpha ,v+(t-v)/\alpha ,u,v)}
。
これにより、再フォーカスされた写真は次の式で計算できます。
E
α
f
(
s
,
t
)
=
1
α
2
f
2
∬
L
¯
f
(
u
(
1
−
1
/
α
)
+
s
/
α
,
v
(
1
−
1
/
α
)
+
t
/
α
,
u
,
v
)
d
u
d
v
{\displaystyle E_{\alpha f}(s,t)={1 \over \alpha ^{2}f^{2}}\iint {\bar {L}}_{f}(u(1-1/\alpha )+s/\alpha ,v(1-1/\alpha )+t/\alpha ,u,v)~dudv}
。
その結果、焦点スタックが生成され、物体空間の瞬時の3D画像を再現します。さらに、傾斜した焦点面や湾曲した焦点面も合成可能です。 [5] さらに、任意の深さに焦点を合わせた再構成された2D画像は、 フーリエ領域 における4Dライトフィールドの2Dスライスに対応し、アルゴリズムの複雑さはからに削減できます 。 [ 4]
O
(
n
4
)
{\displaystyle O(n^{4})}
O
(
n
2
log
n
)
{\displaystyle O(n^{2}\log n)}
ステップ2: 点広がり関数の測定
しかし、回折と焦点ずれのため、焦点スタックは 、実際に望ましい ボクセルの実際の強度分布とは異なります。代わりに、 は、と点像分布関数 (PSF)
の畳み込みです。
F
S
{\displaystyle FS}
V
{\displaystyle V}
F
S
{\displaystyle FS}
V
{\displaystyle V}
V
∗
P
S
F
=
F
S
.
{\displaystyle V*PSF=FS.}
したがって、PSF の 3D 形状を測定してその効果を差し引き、ボクセルの正味の強度を取得する必要があります。この測定は、蛍光ビーズを元の焦点面の中央に配置してその光場を記録することで簡単に実行できます。これに基づいて、さまざまな深度に合成的に焦点を合わせることで PSF の 3D 形状を確定します。PSF は焦点スタックと同じ LFM セットアップとデジタル再フォーカス手順で取得されるため、この測定値は対物レンズによって捕捉された光線の角度範囲 (強度の減衰を含む) を正しく反映します。したがって、この合成 PSF には実際にはノイズや収差がありません。PSF の形状は、目的の 視野 (FOV) 内のどこでも同一であると考えることができるため、複数回の測定を回避できます。
ステップ3: 3Dデコンボリューション
フーリエ領域では、ボクセルの実際の強度は焦点スタックおよび PSF と非常に単純な関係にあります。
F
(
V
)
=
F
(
F
S
)
F
(
P
S
F
)
{\displaystyle {\mathcal {F}}(V)={\frac {{\mathcal {F}}(FS)}{{\mathcal {F}}(PSF)}}}
、
ここで、は フーリエ変換 の演算子です。しかし、開口部のサイズが限られているため、PSFが帯域 制限さ れる(つまり、フーリエ変換がゼロになる)ため、上記の式を直接解くことはできないかもしれ ません。代わりに、空間領域での 制約付き反復デコンボリューション と呼ばれる反復アルゴリズムの方がはるかに実用的です。 [6]
F
{\displaystyle {\mathcal {F}}}
△
(
k
+
1
)
←
F
S
−
V
(
k
)
∗
P
S
F
{\displaystyle \bigtriangleup ^{(k+1)}~\leftarrow ~FS-V^{(k)}*PSF}
;
V
(
k
+
1
)
←
max
(
V
(
k
)
+
△
(
k
+
1
)
,
0
)
{\displaystyle V^{(k+1)}~\leftarrow ~\max(V^{(k)}+\bigtriangleup ^{(k+1)},0)}
。
このアイデアは制約付き勾配降下法に基づいています。つまり、 実際の焦点スタック と推定された焦点スタックの差を計算し 、 現在の差( は非負になるように制約されます)で修正することによって、 の推定が反復的に改善されます。
V
{\displaystyle V}
F
S
{\displaystyle FS}
V
∗
P
S
F
{\textstyle V*PSF}
V
{\displaystyle V}
V
{\displaystyle V}
フーリエスライス写真
の式は、 フーリエ射影スライス定理の概念を採用することで書き直すことができます。 [7] 写真演算子は、 せん断とそれに続く射影として見ることができるため、結果は、ライトフィールドの 4D フーリエ変換の拡大された 2D スライスに比例するはずです。正確には、2D スライスを抽出し、逆 2D 変換を適用してスケーリングすることで、ライトフィールドの 4D フーリエ スペクトルから再フォーカスされた画像を生成できます。証明の前に、まずいくつかの演算子を紹介します。
E
α
f
(
s
,
t
)
{\displaystyle E_{\alpha f}(s,t)}
P
α
[
L
f
¯
]
(
s
,
t
)
=
E
α
f
(
s
,
t
)
{\displaystyle {\mathcal {P}}_{\alpha }[{\bar {L_{f}}}](s,t)=E_{\alpha f}(s,t)}
積分射影演算子:
I
M
N
[
f
]
(
x
1
,
.
.
.
,
x
M
)
=
∫
f
(
x
1
,
.
.
.
,
x
N
)
d
x
M
+
1
.
.
.
d
x
N
{\displaystyle {\mathcal {I}}_{M}^{N}[f](x_{1},...,x_{M})=\int {f(x_{1},...,x_{N})dx_{M+1}...dx_{N}}}
スライス演算子:
S
M
N
[
f
]
(
x
1
,
.
.
.
,
x
M
)
=
f
(
x
1
,
.
.
.
,
x
M
,
0
,
.
.
.
,
0
)
{\displaystyle {\mathcal {S}}_{M}^{N}[f](x_{1},...,x_{M})=f(x_{1},...,x_{M},0,...,0)}
写真 基底の変更 : が 4 次元関数の基底の変更に対する演算子を表すとします。この場合 、 となります 。
B
α
{\displaystyle {\mathcal {B}}_{\alpha }}
B
[
f
]
(
x
)
=
f
(
B
−
1
x
)
{\displaystyle {\mathcal {B}}[f](\mathrm {x} )=f({\mathcal {B}}^{-1}\mathrm {x} )}
B
α
=
[
α
0
1
−
α
0
0
α
0
1
−
α
0
0
1
0
0
0
0
1
]
{\displaystyle {\mathcal {B}}_{\alpha }={\begin{bmatrix}\alpha &0&1-\alpha &0\\0&\alpha &0&1-\alpha \\0&0&1&0\\0&0&0&1\end{bmatrix}}}
フーリエ変換演算子 : N 次元フーリエ変換演算子を表します。
F
N
{\displaystyle {\mathcal {F}}^{N}}
これらの定義により、 を書き直すことができます 。
P
α
[
L
f
¯
]
(
s
,
t
)
=
1
α
2
f
2
∬
L
¯
f
(
u
(
1
−
1
/
α
)
+
s
/
α
,
v
(
1
−
1
/
α
)
+
t
/
α
,
u
,
v
)
d
u
d
v
≡
1
α
2
f
2
I
2
4
∘
B
α
[
L
f
]
{\displaystyle {\mathcal {P}}_{\alpha }[{\bar {L_{f}}}](s,t)={1 \over \alpha ^{2}f^{2}}\iint {\bar {L}}_{f}(u(1-1/\alpha )+s/\alpha ,v(1-1/\alpha )+t/\alpha ,u,v)~dudv\equiv {\frac {1}{\alpha ^{2}f^{2}}}{\mathcal {I}}_{2}^{4}\circ {\mathcal {B}}_{\alpha }[L_{f}]}
一般化されたフーリエスライス定理 [7] によれ
ば、
F
M
∘
I
M
N
∘
B
≡
S
M
N
∘
B
−
T
|
B
−
T
|
∘
F
N
{\displaystyle {\mathcal {F}}^{M}\circ {\mathcal {I}}_{M}^{N}\circ {\mathcal {B}}\equiv {\mathcal {S}}_{M}^{N}\circ {\frac {{\mathcal {B}}^{-T}}{|{\mathcal {B}}^{-T}|}}\circ {\mathcal {F}}^{N}}
、
そして写真演算子は次の形式を持つ。
P
α
[
L
f
¯
]
(
s
,
t
)
≡
1
f
2
F
−
2
∘
S
2
4
∘
B
α
−
T
∘
F
4
{\displaystyle {\mathcal {P}}_{\alpha }[{\bar {L_{f}}}](s,t)\equiv {\frac {1}{f^{2}}}{\mathcal {F}}^{-2}\circ {\mathcal {S}}_{2}^{4}\circ {\mathcal {B}}_{\alpha }^{-T}\circ {\mathcal {F}}^{4}}
。
この式によれば、写真はライトフィールドの 4D フーリエ変換における拡張された 2D スライスの逆 2D フーリエ変換であることがわかります。
離散フーリエスライス写真
利用できるのが光場のサンプルだけである場合、上で述べた連続信号に対するフーリエスライス定理を使用する代わりに、離散ラドン変換の一般化である離散フーリエスライス定理を採用して再焦点画像を計算します。 [8]
ライトフィールドは 周期的で 、周期はハイパーキューブ 上で定義されていると仮定します。また、 ライトフィールド の既知のサンプル( それぞれ および) があると仮定します 。次に、これらのサンプル ポイントを使用して三角補間を使用して定義できます 。
L
¯
f
{\displaystyle {\bar {L}}_{f}}
T
s
,
T
t
,
T
u
,
T
v
{\displaystyle T_{s},T_{t},T_{u},T_{v}}
H
=
[
−
T
s
/
2
,
T
s
/
2
]
×
[
−
T
t
/
2
,
T
t
/
2
]
×
[
−
T
u
/
2
,
T
u
/
2
]
×
[
−
T
v
/
2
,
T
v
/
2
]
{\displaystyle H=[-T_{s}/2,T_{s}/2]\times [-T_{t}/2,T_{t}/2]\times [-T_{u}/2,T_{u}/2]\times [-T_{v}/2,T_{v}/2]}
N
s
×
N
t
×
N
u
×
N
v
{\displaystyle N_{s}\times N_{t}\times N_{u}\times N_{v}}
(
s
^
Δ
s
,
t
^
Δ
t
,
u
^
Δ
u
,
v
^
Δ
v
)
{\displaystyle ({\hat {s}}\Delta s,{\hat {t}}\Delta t,{\hat {u}}\Delta u,{\hat {v}}\Delta v)}
s
^
,
t
^
,
u
^
,
v
^
∈
Z
{\displaystyle {\hat {s}},{\hat {t}},{\hat {u}},{\hat {v}}\in \mathbb {Z} }
Δ
s
,
Δ
t
,
Δ
u
,
Δ
v
=
T
s
N
s
,
T
t
N
t
,
T
u
N
u
,
T
v
N
v
{\displaystyle \Delta s,\Delta t,\Delta u,\Delta v={\frac {T_{s}}{N_{s}}},{\frac {T_{t}}{N_{t}}},{\frac {T_{u}}{N_{u}}},{\frac {T_{v}}{N_{v}}}}
L
¯
f
d
{\displaystyle {\bar {L}}_{f}^{d}}
L
¯
f
d
(
s
^
,
t
^
,
u
^
,
v
^
)
=
∑
ω
s
^
∑
ω
t
^
∑
ω
u
^
∑
ω
v
^
L
¯
f
d
(
ω
s
^
,
ω
t
^
,
ω
u
^
,
ω
v
^
)
e
2
π
i
(
s
^
ω
s
^
+
t
^
ω
t
^
+
u
^
ω
u
^
+
v
^
ω
v
^
)
{\displaystyle {\bar {L}}_{f}^{d}({\hat {s}},{\hat {t}},{\hat {u}},{\hat {v}})=\sum _{\omega _{\hat {s}}}\sum _{\omega _{\hat {t}}}\sum _{\omega _{\hat {u}}}\sum _{\omega _{\hat {v}}}{\mathcal {\bar {L}}}_{f}^{d}(\omega _{\hat {s}},\omega _{\hat {t}},\omega _{\hat {u}},\omega _{\hat {v}})e^{2\pi i({\hat {s}}\omega _{\hat {s}}+{\hat {t}}\omega _{\hat {t}}+{\hat {u}}\omega _{\hat {u}}+{\hat {v}}\omega _{\hat {v}})}}
、
どこ
L
¯
f
d
(
ω
s
^
,
ω
t
^
,
ω
u
^
,
ω
v
^
)
=
∑
s
^
∑
t
^
∑
u
^
∑
v
^
L
¯
f
d
(
s
^
,
t
^
,
u
^
,
v
^
)
e
2
π
i
(
s
^
ω
s
^
+
t
^
ω
t
^
+
u
^
ω
u
^
+
v
^
ω
v
^
)
{\displaystyle {\mathcal {\bar {L}}}_{f}^{d}(\omega _{\hat {s}},\omega _{\hat {t}},\omega _{\hat {u}},\omega _{\hat {v}})=\sum _{\hat {s}}\sum _{\hat {t}}\sum _{\hat {u}}\sum _{\hat {v}}{\bar {L}}_{f}^{d}({\hat {s}},{\hat {t}},{\hat {u}},{\hat {v}})e^{2\pi i({\hat {s}}\omega _{\hat {s}}+{\hat {t}}\omega _{\hat {t}}+{\hat {u}}\omega _{\hat {u}}+{\hat {v}}\omega _{\hat {v}})}}
。
簡潔にするために定数係数は省略されていることに注意してください。
再焦点写真を計算するには、 の式の無限積分を、 境界が および で ある和に置き換えます 。つまり、
P
α
{\displaystyle {\mathcal {P}}_{\alpha }}
[
−
T
u
/
2
,
T
u
/
2
]
{\displaystyle [-T_{u}/2,T_{u}/2]}
[
−
T
v
/
2
,
T
v
/
2
]
{\displaystyle [-T_{v}/2,T_{v}/2]}
P
α
d
[
L
f
d
¯
]
(
s
^
,
t
^
)
=
1
α
2
f
2
∑
−
N
u
/
2
N
u
/
2
∑
−
N
v
/
2
N
v
/
2
L
¯
f
d
(
u
^
Δ
u
(
1
−
1
/
α
)
+
s
^
Δ
s
/
α
,
v
^
Δ
v
(
1
−
1
/
α
)
+
t
^
Δ
t
/
α
,
u
^
Δ
u
,
v
^
Δ
v
)
{\displaystyle {\mathcal {P}}_{\alpha }^{d}[{\bar {L_{f}^{d}}}]({\hat {s}},{\hat {t}})={1 \over \alpha ^{2}f^{2}}\sum _{-N_{u}/2}^{N_{u}/2}\sum _{-N_{v}/2}^{N_{v}/2}{\bar {L}}_{f}^{d}({\hat {u}}\Delta u(1-1/\alpha )+{\hat {s}}\Delta s/\alpha ,{\hat {v}}\Delta v(1-1/\alpha )+{\hat {t}}\Delta t/\alpha ,{\hat {u}}\Delta u,{\hat {v}}\Delta v)}
。
そして、離散フーリエスライス定理によれば、フーリエスライスを使用して写真を表現できます。
P
α
d
[
L
f
d
¯
]
(
s
^
,
t
^
)
=
∑
−
N
u
/
2
N
u
/
2
∑
−
N
v
/
2
N
v
/
2
e
2
π
i
(
s
^
ω
s
^
+
t
^
ω
t
^
)
L
¯
f
d
(
α
ω
s
^
,
α
ω
t
^
,
(
1
−
α
)
ω
s
^
,
(
1
−
α
)
ω
t
^
)
{\displaystyle {\mathcal {P}}_{\alpha }^{d}[{\bar {L_{f}^{d}}}]({\hat {s}},{\hat {t}})=\sum _{-N_{u}/2}^{N_{u}/2}\sum _{-N_{v}/2}^{N_{v}/2}{e^{2\pi i({\hat {s}}\omega _{\hat {s}}+{\hat {t}}\omega _{\hat {t}})}{\mathcal {\bar {L}}}_{f}^{d}}{(\alpha \omega _{\hat {s}},\alpha \omega _{\hat {t}},(1-\alpha )\omega _{\hat {s}},(1-\alpha )\omega _{\hat {t}})}}
波動光学的描像からの実現
光線光学に基づく プレノプティックカメラは マクロの世界では良好な性能を示しているが、光線光学の用語に留まると回折によりLFM再構成に限界が生じる。したがって、波動光学に切り替える方がはるかに便利かもしれない。(このセクションでは主にBroxton et al ., 2013の研究を紹介する。 [2] )
空間の離散化
関心のある FOV は ボクセルに分割され、各ボクセルにはラベル が付けられ ます。したがって、FOV 全体を 次元 のベクトルで離散的に表すことができます 。同様に、 ベクトルは センサー平面を表し、各要素は 1 つのセンサー ピクセルを表します。異なるボクセル間の非干渉伝播の条件下では、オブジェクト空間からセンサーへのライト フィールドの伝送は 、PSF の情報が組み込まれた測定マトリックスによって線形にリンクできます。
N
v
{\displaystyle N_{v}}
i
{\textstyle i}
g
{\displaystyle \mathbf {g} }
N
v
×
1
{\displaystyle N_{v}\times 1}
N
p
×
1
{\displaystyle N_{p}\times 1}
f
{\displaystyle \mathbf {f} }
f
j
{\displaystyle \mathrm {f} _{j}}
N
p
×
N
v
{\displaystyle N_{p}\times N_{v}}
f
=
H
g
.
{\displaystyle \mathbf {f} =\mathrm {H} ~\mathbf {g} .}
光線光学シナリオでは、光線を合成的に焦点を合わせることで焦点スタックが生成され、次に合成された PSF とのデコンボリューションが適用され、光の波動性によって引き起こされるぼやけが減少します。一方、波動光学図では、 光場透過を記述する測定マトリックスは、波の伝播に基づいて直接計算されます。PSF の形状がエミッターの位置に対して不変である遷移光学顕微鏡 (例: エアリー パターン ) とは異なり、各ボクセルのエミッターは LFM のセンサー上に固有のパターンを生成します。言い換えると、 の各列は 別個です。次のセクションでは、測定マトリックス全体の計算について詳しく説明します。
H
{\displaystyle \mathrm {H} }
H
{\displaystyle \mathrm {H} }
光インパルス応答
光インパルス応答は、 単位振幅の等方性点光源が FOV 内の 3D 位置に配置されたときに、センサー面上の 2D 位置における電界の強度です 。電界の伝播には、点光源からネイティブ画像面 (つまり、マイクロレンズ アレイ面) への移動、マイクロレンズ アレイの通過、センサー面への伝播という 3 つのステップがあります。
h
(
x
,
p
)
{\textstyle h(\mathbf {x} ,\mathbf {p} )}
x
∈
R
2
{\displaystyle \mathbf {x} \in \mathbb {R^{2}} }
p
∈
R
3
{\displaystyle \mathbf {p} \in \mathbb {R^{3}} }
ステップ1: 目標を越えた伝播
円形の開口部を持つ対物レンズの場合、エミッターから発せられる ネイティブイメージプレーンの波面は、 スカラーデバイ理論を使用して計算できます。 [9]
x
=
(
x
1
,
x
2
)
{\displaystyle \mathbf {x} =(x_{1},x_{2})}
p
=
(
p
1
,
p
2
,
p
3
)
{\textstyle \mathbf {p} =(p_{1},p_{2},p_{3})}
U
i
(
x
,
p
)
=
M
f
o
b
j
2
λ
2
exp
(
−
i
u
4
sin
2
(
α
/
2
)
)
∫
0
α
d
θ
P
(
θ
)
exp
(
−
i
u
sin
2
(
θ
/
2
)
2
sin
2
(
α
/
2
)
)
J
0
(
sin
θ
sin
α
ν
)
sin
θ
{\displaystyle U_{i}(\mathbf {x} ,\mathbf {p} )={\frac {\mathrm {M} }{f_{obj}^{2}\lambda ^{2}}}\exp {\biggl (}-{\frac {iu}{4\sin ^{2}(\alpha /2)}}{\biggr )}\int _{0}^{\alpha }d\theta ~P(\theta )\exp {\biggl (}-{\frac {iu\sin ^{2}(\theta /2)}{2\sin ^{2}(\alpha /2)}}{\biggr )}J_{0}{\biggl (}{\frac {\sin \theta }{\sin \alpha }}\nu {\biggr )}\sin \theta }
、
ここで、 は対物レンズの焦点距離、 は倍率、 は 波長、は 開口数 の半角 ( はサンプルの屈折率)、 は顕微鏡のアポダイゼーション関数( アッベ正弦補正対物レンズの場合)、は 第 1 種の 0 次 ベッセル関数 、 は それぞれ正規化された半径方向および軸方向の光学座標です。
f
o
b
j
{\displaystyle f_{obj}}
M
{\displaystyle \mathrm {M} }
λ
{\displaystyle \lambda }
α
=
arcsin
(
N
A
/
n
)
{\displaystyle \alpha =\arcsin(\mathrm {NA} /n)}
n
{\displaystyle n}
P
(
θ
)
{\displaystyle P(\theta )}
P
(
θ
)
=
cos
θ
{\displaystyle P(\theta )={\sqrt {\cos \theta }}}
J
0
(
⋅
)
{\displaystyle J_{0}(\cdot )}
ν
{\displaystyle \nu }
u
{\displaystyle u}
ν
≈
k
(
x
1
−
p
1
)
2
+
(
x
2
−
p
2
)
2
sin
α
{\displaystyle \nu \thickapprox k{\sqrt {(x_{1}-p_{1})^{2}+(x_{2}-p_{2})^{2}}}\sin \alpha }
u
≈
4
k
p
3
sin
2
(
α
/
2
)
{\displaystyle u\thickapprox 4kp_{3}\sin ^{2}(\alpha /2)}
、
波数は
どこですか。
k
=
2
π
n
/
λ
{\displaystyle k=2\pi n/\lambda }
ステップ2: マイクロレンズアレイを通して焦点を合わせる
各マイクロレンズは位相マスクとみなすことができます。
ϕ
(
x
)
=
exp
(
−
i
k
2
f
‖
Δ
x
‖
2
2
)
{\displaystyle \phi (\mathbf {x} )=\exp {\biggl (}{\frac {-ik}{2f}}\|\Delta \mathbf {x} \|_{2}^{2}{\biggr )}}
、
ここで、 はマイクロレンズの焦点距離であり、 はマイクロレンズの中心からマイクロレンズ上の点を指すベクトルです。 がマイクロレンズの有効透過領域にある 場合にのみ、 がゼロでないこと に注意してください 。
f
{\textstyle f}
Δ
x
=
x
−
x
μ
l
e
n
s
{\displaystyle \Delta \mathbf {x} =\mathbf {x} -\mathbf {x} _{\mu lens}}
x
{\displaystyle \mathbf {x} }
ϕ
(
x
)
{\textstyle \phi (\mathbf {x} )}
x
{\displaystyle \mathbf {x} }
これにより、マイクロレンズアレイ全体の透過関数は、 2D 櫛形関数で畳み込まれたものとして表すことができます。
ϕ
(
x
)
{\displaystyle \phi (\mathbf {x} )}
Φ
(
x
)
=
ϕ
(
x
)
∗
c
o
m
b
(
x
/
d
)
{\displaystyle \Phi (\mathbf {x} )=\phi (\mathbf {x} )*\mathrm {comb} (\mathbf {x} /d)}
、
マイクロレンズのピッチ(つまり寸法)は
どこでしょうか。
d
{\displaystyle d}
ステップ3: センサーへの近接場伝播
ネイティブ画像平面からセンサー平面までの 距離による波面の伝播は、 フレネル回折 積分を使用して計算できます。
f
{\displaystyle f}
E
(
x
)
|
z
=
f
=
e
i
k
f
i
λ
f
∬
E
(
x
′
)
|
z
=
0
exp
(
i
k
2
f
‖
x
−
x
′
‖
2
2
)
d
x
′
{\displaystyle E(\mathbf {x} )|_{z=f}={\frac {e^{ikf}}{i\lambda f}}\iint E(\mathbf {x} ')|_{z=0}\exp {\biggl (}{\frac {ik}{2f}}\|\mathbf {x} -\mathbf {x} '\|_{2}^{2}{\biggr )}d\mathbf {x} '}
、
波面がネイティブイメージング面を直接通過する
場所はどこですか。
E
(
x
′
)
|
z
=
0
=
U
i
(
x
′
,
p
)
Φ
(
x
′
)
{\textstyle E(\mathbf {x} ')|_{z=0}=U_{i}(\mathbf {x} ',\mathbf {p} )\Phi (\mathbf {x} ')}
したがって、光インパルス応答全体は畳み込みで表現できます。
h
(
x
,
p
)
=
(
U
i
(
x
,
p
)
Φ
(
x
)
)
∗
(
e
i
k
f
i
λ
f
e
i
k
2
f
‖
x
‖
2
2
)
{\displaystyle h(\mathbf {x} ,\mathbf {p} )={\biggl (}U_{i}(\mathbf {x} ,\mathbf {p} )\Phi (\mathbf {x} ){\biggr )}*{\biggl (}{\frac {e^{ikf}}{i\lambda f}}e^{{\frac {ik}{2f}}\mathbf {\|} \mathbf {x} \|_{2}^{2}}{\biggr )}}
。
測定マトリックスの計算
光インパルス応答を取得すると、 測定マトリックス内の任意の要素は 次のように計算できます。
h
i
j
{\displaystyle h_{ij}}
H
{\displaystyle \mathrm {H} }
h
i
j
=
∫
α
j
∫
β
i
w
i
(
p
)
|
h
(
x
,
p
)
|
2
d
p
d
x
{\displaystyle h_{ij}=\int _{\alpha _{j}}\int _{\beta _{i}}w_{i}(\mathbf {p} )|h(\mathbf {x} ,\mathbf {p} )|^{2}d\mathbf {p} d\mathbf {x} }
、
ここで 、 はピクセルの面積 、 はボクセルの体積です 。重みフィルタは、 PSF がボクセルの端よりも中心に大きく寄与するという事実に合わせて追加されます。線形重ね合わせ積分は、各微小体積内の蛍光体が、 急速でランダムな変動を考慮して、非一貫性のある確率的放出プロセスを経験するという仮定に基づいています。
α
j
{\displaystyle \alpha _{j}}
j
{\displaystyle j}
β
i
{\displaystyle \beta _{i}}
i
{\displaystyle i}
w
i
(
p
)
{\textstyle w_{i}(\mathbf {p} )}
d
p
{\textstyle d\mathbf {p} }
逆問題を解く
測定のノイズの性質
ここでも、帯域幅の制限、光子のショットノイズ 、および行列の次元の巨大さのため 、逆問題を直接解くことは不可能です。 代わりに、離散光場と FOV 間の確率的関係は次のようになります。
g
=
H
−
1
f
{\textstyle \mathbf {g} =\mathrm {H} ^{-1}\mathbf {f} }
f
^
∼
P
o
i
s
(
H
g
+
b
)
{\displaystyle {\hat {\mathbf {f} }}}\sim \mathrm {Pois} (\mathrm {H} ~{\mathbf {g} +\mathbf {b} )}
、
ここで、 はイメージング前に測定された背景蛍光であり、 はポアソンノイズです。したがって、は光電子 e − の単位でポアソン分布値を持つランダムベクトルになります 。
b
{\displaystyle \mathbf {b} }
P
o
i
s
(
⋅
)
{\displaystyle \mathrm {Pois} (\cdot )}
f
^
{\textstyle {\hat {\mathbf {f} }}}
最大尤度推定
特定のFOV と背景を与えられた場合に 測定された光場の尤度を最大化するという考えに基づいて 、リチャードソン-ルーシー反復法はここで効果的な3Dデコンボリューションアルゴリズムを提供します。
f
^
{\textstyle {\hat {\mathbf {f} }}}
g
{\textstyle \mathbf {g} }
b
{\textstyle \mathbf {b} }
g
(
k
+
1
)
=
d
i
a
g
(
H
T
1
)
−
1
d
i
a
g
(
H
T
d
i
a
g
(
H
g
(
k
)
+
b
)
−
1
f
)
g
(
k
)
{\displaystyle \mathbf {g} ^{(k+1)}=\mathrm {diag} (\mathrm {H} ^{T}\mathbf {1} )^{-1}\mathrm {diag} (\mathrm {H} ^{T}\mathrm {diag} (\mathrm {H} \mathbf {g} ^{(k)}+\mathbf {b} )^{-1}\mathbf {f} )\mathbf {g} ^{(k)}}
。
ここで、演算子は 行列の対角要素を保持し、非対角要素をゼロに設定します。
d
i
a
g
(
⋅
)
{\displaystyle \mathrm {diag} (\cdot )}
アプリケーション
機能的神経イメージングのための光場顕微鏡
スタンフォード大学でライトフィールド顕微鏡法を ゼブラフィッシュ の幼生 ( Danio Rerio )の カルシウムイメージングに適用した最初の研究に始まり、 [10]現在では、 C. elegans の脳全体のニューロンの動的活動の測定 、 [11] ゼブラフィッシュの幼生の全脳イメージング、 [11] [12] ショウジョウバエ( Drosophila )の脳全体のカルシウムおよび電圧活動センサーの最大200 Hzでのイメージング、 [13] 仮想環境を移動するマウスの海馬の1mm x 1mm x 0.75mmの体積の高速イメージングなど、機能的神経イメージングにライトフィールド顕微鏡法を適用した論文が数多く発表されています。 [14] この応用分野は、計算光学と神経科学の交差点で急速に発展している分野です。 [15]
参照
参考文献
^ abcd
^ ab Broxton, Michael; Grosenick, Logan; Yang, Samuel; Cohen, Noy; Andalman, Aaron; Deisseroth, Karl; Levoy, Marc (2013-10-21). 「光場顕微鏡のための波動光学理論と3次元デコンボリューション」. Optics Express . 21 (21): 25418–25439. Bibcode :2013OExpr..2125418B. doi :10.1364/OE.21.025418. ISSN 1094-4087. PMC 3867103. PMID 24150383 .
^ Levoy, Marc; Hanrahan, Pat (1996). 「 ライトフィールドレンダリング」。 第23回コンピュータグラフィックスとインタラクティブ技術に関する年次会議の議事録 。SIGGRAPH '96。pp. 31–42。doi :10.1145 / 237170.237199。ISBN 978-0897917469 . S2CID 1363510。
^ ab Ng, Ren (2005). 「フーリエスライス写真」. ACM SIGGRAPH 2005 論文 . SIGGRAPH '05. pp. 735–744. CiteSeerX 10.1.1.461.4454 . doi :10.1145/1186822.1073256. ISBN 9781450378253 .S2CID 1806641 。
^ Vaish, V.; Garg, G.; Talvala, E.; Antunez, E.; Wilburn, B.; Horowitz, M.; Levoy, M. (2005 年 6 月)。「Synthetic Aperture Focusing using a Shear-Warp Factorization of the Viewing Transform」。2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05) - Workshops 。 第 3 巻。p. 129。doi : 10.1109 /CVPR.2005.537。ISBN 978-0-7695-2372-9 . S2CID 12143675。
^ Swedlow, Jason R.; Sedat, John W.; Agard, David A. (1996). Jansson, Peter A. (編). Deconvolution of Images and Spectra (第 2 版). オーランド、フロリダ州、米国: Academic Press, Inc. pp. 284–309. ISBN 978-0123802224 。
^ ab Ng, R. (2005). フーリエスライス写真。ACM SIGGRAPH 2005 論文 (pp. 735-744)。
^ Nava, FP, Marichal-Hernández, JG, & Rodríguez-Ramos, JM (2008 年 8 月)。離散焦点スタック変換。2008 年 16 回ヨーロッパ信号処理会議 (pp. 1-5)。IEEE。
^ Gu, Min (2000). 高度な光学イメージング理論 。Springer Series in Optical Sciences。第75巻 。Bibcode : 2000aoit.conf .....G。doi : 10.1007 /978-3-540-48471-4。ISBN 978-3-662-14272-1 。
^ Grosenick, Logan; Anderson, Todd; Smith, Stephen (2009-06-28). 「神経集団の生体内イメージングのための弾性ソース選択」 2009 IEEE 国際バイオメディカルイメージングシンポジウム: ナノからマクロまで pp. 1263–1266. doi :10.1109/ISBI.2009.5193292. ISBN 978-1-4244-3931-7 . S2CID 1914757。
^ ab Prevedel, Robert; Yoon, Young-Gyu; Hoffmann, Maximilian; Pak, Nikita; Wetzstein, Gordon; Kato, Saul; Schrödel, Tina; Raskar, Ramesh; Zimmer, Manuel (2014-05-18). 「光場顕微鏡を用いた神経活動の同時全動物 3D イメージング」 Nature Methods . 11 (7): 727–730. doi :10.1109/ISBI.2009.5193292. PMC 4100252 . PMID 24836920.
^ コン、リン;ワン・ゼグアン。チャイ、ユーミン。ハング、ウェイ。シャン・チュンフェン。ヤン・ウェンビン。バイ、ルー。杜、九林。王、凱 (2017-09-20)。 「自由に行動するゼブラフィッシュ幼虫(ダニオ・レリオ)の神経活動の高速全脳イメージング」。 eライフ 。 6 . 土井 : 10.7554/eLife.28158 。 PMC 5644961 。 PMID 28930070。
^ Aimon, Sophie; Katsuki, Takeo; Grosenick, Logan; Broxton, Michael; Deisseroth, Karl; Sejnowski, Terrence; Greenspan, Ralph (2017-09-02). 「刺激と行動に対する反応中の成体ショウジョウバエにおける高速のほぼ全脳イメージング」. PLOS Biology . 17 (2): e2006732. bioRxiv 10.1101/033803 . doi : 10.1371/journal.pbio.2006732 . PMC 6395010. PMID 30768592.
^ Grosenick, Logan; Broxton, Michael; Kim, Christina; Liston, Conor; Poole, Ben; Yang, Samuel; Andalman, Aaron; Scharff, Edward; Cohen, Noy; Yizhar, Ofer; Ramakrishnan, Charu; Ganguli, Surya; Suppes, Patrick; Levoy, Marc; Deisseroth, Karl (2017-05-01). 「哺乳類の脳における大規模組織体積にわたる細胞活動ダイナミクスの特定」。bioRxiv 10.1101 /132688 . doi : 10.1101/132688 .
^ 「神経画像診断における光場顕微鏡法」。