連続時間符号化増幅顕微鏡

タイム ストレッチ顕微鏡法は、シリアル タイム エンコード増幅イメージング/顕微鏡法またはストレッチ タイム エンコード増幅イメージング/顕微鏡法( STEAM )とも呼ばれ、MHz のフレーム レート、約 100 ps のシャッター速度、および約 30 dB (× 1000) の光学画像ゲインを提供する高速リアルタイム光学イメージング方法です。フォトニック タイム ストレッチ技術に基づく STEAM は、連続リアルタイム イメージングにおけるシャッター速度とフレーム レートの世界記録を保持しています。STEAM は、内部ラマン増幅を備えたフォトニック タイム ストレッチを使用して光学画像増幅を実現し、事実上すべての光学イメージングおよびセンシング システムに影響を与える感度と速度の基本的なトレードオフを回避します。この方法では、単一ピクセルの光検出器を使用するため、検出器アレイと読み出し時間の制限が不要になります。この問題を回避し、高画像取得速度での感度を向上させる光学画像増幅を特徴とする STEAM のシャッター速度は、最高のCCD ^[1]およびCMOS ^[2]カメラよりも少なくとも 1000 倍高速です。フレーム レートは、最速のCCD カメラの 1000 倍、最速のCMOS カメラの 10 ～ 100 倍です。

タイムストレッチ顕微鏡法と、生物細胞の分類のためのマイクロ流体工学へのその応用は、UCLAで発明されました。^{[3] [4] [5] [6] [7] [8] [9] [10]} これは、スペクトル符号化照明の概念と、以前に同じ研究室で開発された超高速リアルタイムデータ取得技術であるフォトニックタイムストレッチを組み合わせたもので、フェムト秒リアルタイムシングルショットデジタイザー、^[11]およびシングルショット誘導ラマン分光計^[12]が作成されました。最初のデモンストレーションは1次元バージョン^[3]で、後に2次元バージョンでした。^[4]その後、システムを干渉構成に拡張することにより、高速イメージング振動計が作成されました。^[13]その後、この技術は、血液細胞のラベルフリー分類のためのタイムストレッチ定量位相イメージング（TS-QPI）に拡張され、人工知能（AI）と組み合わせることで、血液中の癌細胞を96％以上の精度で分類しました。^[14]このシステムは、細胞の16の生物物理学的パラメータを1回のショットで同時に測定し、ディープニューラルネットワーク（DNN）を使用して超次元分類を実行しました。結果は、ロジスティック回帰やナイーブベイズなどの他の機械学習分類アルゴリズムと比較され、ディープラーニングで最も高い精度が得られました。これは後に「ディープサイトメトリー」に拡張され、^[15] ディープラーニング前の画像処理と特徴抽出の計算集約型タスクを回避し、それぞれがレーザーパルスを表すタイムストレッチラインスキャンをディープ畳み込みニューラルネットワークに直接入力しました。この生のタイムストレッチデータの直接分類により、推論時間はGPUアクセラレーションプロセッサで700マイクロ秒と桁違いに短縮されました。1m/sの流速では、細胞は1ミリメートル未満しか動きません。したがって、この超短い推論時間は、細胞選別には十分な速さです。

高速リアルタイム光学イメージング技術は、衝撃波、レーザー核融合、生体細胞内の化学ダイナミクス、神経活動、レーザー手術、マイクロ流体工学、MEMSなどの動的イベントの研究に不可欠です。従来のCCDおよびCMOSカメラの通常の技術は、高速な動的プロセスを高感度かつ高速に捉えるには不十分です。技術的な制限があり、センサーアレイからデータを読み出すのに時間がかかり、感度と速度の間には基本的なトレードオフがあります。つまり、フレームレートが高いと、各フレームで収集される光子が少なくなり、これはほぼすべての光学イメージングシステムに影響を与える問題です。

レーザー核融合、プラズマ放射、燃焼の診断に使用されるストリークカメラは、バースト モード (数フレームのみ) でのみ動作し、キャプチャするイベントとカメラを同期させる必要があります。そのため、生物システムにおけるランダムなイベントや一時的なイベントをキャプチャすることはできません。一方、ストロボスコープは補完的な役割を果たします。高速イベントのダイナミクスをキャプチャできますが、回転、振動、揺らぎなどのイベントが反復する場合に限られます。1 回だけ発生する、または一定の間隔で発生しない非反復的なランダム イベントをキャプチャすることはできません。

基本原理には、光学的に実行される 2 つのステップが含まれます。最初のステップでは、広帯域光パルスのスペクトルが空間分散器によってターゲットを照らす虹に変換されます。ここで、虹パルスはさまざまな色 (周波数) の多数のサブパルスで構成されており、虹パルスのさまざまな周波数成分 (色) がオブジェクトのさまざまな空間座標に入射することを示しています。したがって、オブジェクトの空間情報 (画像) は、結果として生じる反射または透過虹パルスのスペクトルにエンコードされます。画像エンコードされた反射または透過虹パルスは、同じ空間分散器に戻るか、別の空間分散器に入り、虹の色を 1 つのパルスに結合します。ここで、STEAM のシャッター速度または露出時間は、虹パルスの時間幅に対応します。2 番目のステップでは、スペクトルはシリアル時間信号にマッピングされ、分散フーリエ変換を使用して時間的に引き伸ばされて、リアルタイムでデジタル化できるように速度が遅くなります。タイムストレッチは、内部ラマン増幅を作成するためにポンプされる分散ファイバー内で発生します。ここで、画像は誘導ラマン散乱によって光学的に増幅され、検出器の熱ノイズ レベルを克服します。増幅されたタイムストレッチされたシリアル画像ストリームは、単一ピクセル光検出器によって検出され、画像はデジタル領域で再構成されます。後続のパルスは繰り返しフレームをキャプチャするため、レーザー パルス繰り返し率は STEAM のフレーム レートと一致します。2 つ目は、タイムストレッチ アナログ/デジタル コンバーター、またはタイムストレッチ レコーディング スコープ (TiSER) として知られています。

同時伸張と増幅は、増幅時間伸張分散フーリエ変換（TS-DFT）としても知られています。^{[16] [17]} 増幅時間伸張技術は、フェムト秒のリアルタイムサンプリングレートでのアナログからデジタルへの変換を実証するため^[11]と、1秒間に数百万フレームのシングルショットでの誘導ラマン分光法を実証するために以前に開発されました。^[12]増幅時間伸張は、光パルスのスペクトルが大きな群速度分散によって減速された時間波形にマッピングされ、誘導ラマン散乱のプロセスによって同時に増幅されるプロセスです。その結果、光スペクトルは単一ピクセルの光検出器でキャプチャされ、リアルタイムでデジタル化できます。光スペクトルの繰り返し測定のためにパルスが繰り返されます。増幅時間伸張DFTは、レーザーによってポンプされる分散ファイバーと、レーザーを分散ファイバーに結合する波長分割マルチプレクサで構成されています。増幅分散フーリエ変換はもともと超広帯域アナログ-デジタル変換器を実現するために開発され、高スループットのリアルタイム分光法にも使われてきました。STEAMイメージャーの解像度は主に回折限界、バックエンドデジタイザーのサンプリングレート、空間分散器によって決まります。^[18]

タイムストレッチ定量位相イメージング（TS-QPI）は、位相と強度の空間プロファイルを同時に測定するためのタイムストレッチ技術に基づくイメージング技術である。^{[19] [20] [21] [22]} UCLAで開発され、タイムストレッチ人工知能顕微鏡の開発につながった。^[19]

タイム ストレッチ イメージングでは、物体の空間情報が、サブナノ秒のパルス持続時間内でレーザー パルスのスペクトルにエンコードされます。カメラの 1 フレームを表す各パルスは、時間的にストレッチされ、電子アナログ/デジタル コンバーター(ADC)によってリアルタイムでデジタル化されます。超高速パルス照明は、流れの中の高速細胞または粒子の動きを凍結し、ぼやけのないイメージングを実現します。検出感度は、超短いシャッター時間 (光パルス幅) 中に収集される光子の数が少ないことと、タイム ストレッチによって生じるピーク光パワーの低下によって課題が生じます。^[23]これらの問題は、タイム ストレッチ イメージングでは、タイム ストレッチを実行する分散デバイス内に低ノイズ指数のラマン増幅器を実装することで解決されます。さらに、ワープ ストレッチ変換をタイム ストレッチ イメージングで使用すると、光学画像圧縮と視野全体にわたる不均一な空間解像度を実現できます。

タイムストレッチカメラのコヒーレントバージョンでは、イメージングをスペクトル干渉法と組み合わせて、定量的な位相^{[24] [25]}と強度画像をリアルタイムかつ高スループットで測定します。マイクロ流体チャネルと統合されたコヒーレントタイムストレッチイメージングシステムは、高速イメージングフローサイトメーターとして定量的な光位相シフトと個々の細胞の損失の両方を測定し、毎秒数メートルもの流量で毎秒数百万のライン画像をキャプチャし、毎秒最大数十万細胞のスループットに達します。タイムストレッチ定量位相イメージングを機械学習と組み合わせることで、非常に正確なラベルフリーの細胞分類を実現できます。

この方法は、高いシャッター速度とフレームレートを必要とする科学、産業、生物医学の幅広い用途に有用である。1次元バージョンは、変位センシング、^{[引用が必要]、}バーコード読み取り、^{[引用が必要]} 、血液スクリーニングに使用できる。^{[26] 2次元バージョンは、衝撃波、マイクロ流体の流れ、 [27]}、神経活動、MEMS、^[28] 、レーザーアブレーションダイナミクスのリアルタイム観察、診断、評価に使用できる。^{[引用が必要]} 3次元バージョンは、距離検出、^{[引用が必要]、}次元計測、^{[引用が必要]} 、表面振動測定および速度測定に有用である。^[29]

ビッグ データは、バイオメディカルや科学機器にチャンスをもたらすだけでなく、取得および処理ユニットが大量のデータに圧倒されるという課題ももたらします。膨大な量のデータをリアルタイムで圧縮する必要性から、データの希薄性に応じてデータを再形成する操作である非均一ストレッチ変換への関心が高まっています。

最近、UCLAの研究者らは、光学領域でリアルタイムに実行される画像圧縮を実証しました。^[30]非線形群遅延分散と時間伸縮イメージングを使用して、研究者らは、情報に富む部分がまばらな領域よりも高いサンプル密度でサンプリングされるように画像を光学的に歪ませることができました。これは、光から電気への変換の前に画像を再構成し、その後に均一な電子サンプラーを使用することで実現しました。不均一に伸縮された画像の再構成により、情報に富む部分の解像度が高く、情報が少なく比較的重要でない部分の解像度が低くなることが実証されました。ダウンサンプリングを行わない均一な場合と比較して、中央の情報に富む領域は同じサンプリングレートを維持しながら、十分に保持されています。画像圧縮は、リアルタイムで毎秒3600万フレームで実証されました。

• 電荷結合素子
• 時間分解分光法
• 時間伸張分散フーリエ変換
• タイムストレッチアナログ-デジタルコンバータ