原則 超解像イメージングには、いくつかの基本的な概念があります。
回折限界 ：光学機器が画像内の物体の詳細を再現する能力には、物理法則によって課せられる限界があります。光 の波動理論 における回折 方程式[ 3 ] 量子力学 における光子の不確定性原理 [ 4 ] [ 5 ] [ 6 ] は、マクスウェル方程式 と完全に一致しています。空間周波数 領域 ：回折限界の簡潔な表現は空間周波数領域で与えられます。フーリエ光学 では、光分布は、さまざまなフリンジ幅の一連の回折格子光パターンの重ね合わせとして表現されます。これらの幅は空間周波数を表します。回折理論では、パターン要素が光学画像に転送されない、つまり分解されない上限、カットオフ空間周波数が規定されていると一般的に教えられています。しかし実際には、回折理論によって設定されるのは通過帯域の幅であり、固定された上限ではありません。カットオフ空間周波数を超える空間周波数帯域をその内部の帯域と交換しても、物理法則は破られません。これは暗視野顕微鏡 で長年実施されてきました。複数の帯域を重ね合わせても情報理論の規則は破られません。[ 7 ] [ 8 ] [ 9 ] 情報 : 超解像という用語は、標準解像度限界内で画像の統計的処理を使用してオブジェクトの詳細を推論する技術（たとえば、複数の露光を平均化する）で使用される場合、それはある種の情報（ノイズから信号を抽出する）を別の種類の情報（ターゲットが不変のままであるという仮定）と交換することを伴います。最近のブレークスルーでは、量子トランスフォーマーハイブリッドを 超解像に組み込んでおり、例えば、QUIET-SR は 、トランスフォーマー内でシフトされた量子ウィンドウ注意を使用して回折と情報理論の限界を尊重しながら画像の詳細を強化する 2025 年のモデルです。同様に、周波数統合トランスフォーマー （FIT など）は、FFT ベースの注意を介して空間領域と周波数領域の情報を明示的に組み合わせることで超解像を強化し、スケール全体にわたる再構成を改善します。解像度と位置特定: 真の解像度とは、例えば星やスペクトル線などのターゲットが単一か二重かを区別することであり、通常は画像内の分離可能なピークを必要とします。ターゲットが単一であることがわかっている場合、画像光分布の重心（重心）を見つけることで、画像の幅よりも高い精度でその位置を決定できます。 このプロセスには「超解像度 」という言葉が提案されていましたが[ 10 ]
テクニック
光学的または回折的超解像 空間周波数帯域の置換：回折によって許容される帯域幅は固定されていますが、空間周波数スペクトル内の任意の位置に配置できます。顕微鏡における暗視野照明はその一例です。 開口合成 も参照してください。
超解像技術である「構造化照明」は、モアレパターン に関連しています。ターゲットである微細な縞模様の帯（上段）は、回折限界を超えています。やや粗い分解能の縞模様の帯（2段目）を人工的に重ね合わせると、合成画像（3段目）には回折限界内のモアレ 成分が現れ、画像（下段）に含まれるため、微細な縞模様自体は画像に表現されていなくても、その存在を推測することができます。
空間周波数帯域の多重化 光学デバイスの通常の通過帯域を使用して画像が形成されます。次に、既知の光構造（例えば、一連の光干渉 縞）がターゲットに重ね合わされます。[ 8 ] [ 9 ] モアレ縞） が含まれており、単純な非構造化照明では得られないターゲットの詳細に関する情報が含まれています。ただし、「超解像」された成分を明らかにするには、分離する必要があります。例として、構造化照明（左の図）を参照してください。
従来の回折限界内での複数パラメータの使用 対象物が特別な偏光特性や波長特性を持たない場合、2つの偏光状態または重なり合わない波長領域を用いて対象物の詳細を符号化することができる。1つはカットオフ限界内の空間周波数帯域、もう1つはそれを超える帯域である。どちらも通常の通過帯域伝送を用いるが、その後個別に復号化され、高解像度で対象物の構造を再構成する。
近距離電磁擾乱の調査 超解像顕微鏡は一般的に従来の光学イメージングの領域で議論されています。しかし、現代の技術では、電磁擾乱を発生源から分子レベルの距離でプローブすることが可能になり、優れた解像度特性を備えています[ 6 ] 。エバネッセント波と新しい スーパーレンズ の開発も参照してください。
幾何学的または画像処理による超解像 取得時または伝送時にノイズによって劣化する単一の画像（左）と比較して、個別に取得した複数の画像を適切に組み合わせることで信号対雑音比 が向上します（右）。このような詳細な情報を明らかにするには、画像処理プロセス本来の解像度能力の範囲内でのみ、この改善が実現可能です。
多重露光画像のノイズ低減 画像がノイズ によって劣化している場合、複数回の露光を平均化することで解像度を向上させることができます。右側の例をご覧ください。
単一フレームのデブラーリング 特定の撮像状況における既知の欠陥（焦点ずれ や収差 など）は、単一画像であっても適切な空間周波数フィルタリングを施すことで、全体的または部分的に軽減できる場合がある。これらの処理はすべて回折によって定められた通過帯域内に留まり、帯域を拡張することはない。
どちらの特徴も3ピクセルにわたって広がっているが、その範囲が異なるため、ピクセル寸法よりも高い精度で位置を特定することができる。
サブピクセル画像の位置特定 単一光源の位置は、隣接する複数のピクセルにまたがる光分布の「重心」（中心 ）を計算することによって決定できます（左の図を参照）。十分な光量があれば、これは検出装置のピクセル幅や、光源が単一か二重かを判断するための解像度限界よりもはるかに優れた任意の精度で実現できます。この技術は、すべての光が単一の光源から来ているという前提を必要とし、分子に取り付けられた蛍光プローブがナノスケールの距離情報を提供する 確率的光再構成顕微鏡 （STORM）など、超解像顕微鏡 として知られるようになったものの基礎となっています。これはまた、視覚の超鋭敏性 の根底にあるメカニズムでもあります。[ 11 ]
従来の回折限界を超えるベイズ誘導 回折限界を超える物体の特徴であっても、限界内にあり画像に含まれる他の物体の特徴と関連していることがわかっている場合がある。その場合、統計的手法を用いて、利用可能な画像データから物体全体の存在について結論を導き出すことができる。[ 12 ] [ 13 ]
このアプローチは、対象が解析関数 であり、ある区間における 関数値を正確に知ることができると仮定して、周波数領域で画像を 外挿する 形をとることができる。この方法は、デジタル画像システムに常に存在するノイズによって著しく制限されるが、レーダー 、天文学 、 顕微鏡 、または磁気共鳴画像 法には有効である。[ 14 ] ℓ 2 − ℓ 2 {\displaystyle \ell _{2}-\ell _{2}} [ 15 ]
技術的な実装 SRには、単一フレームと複数フレームの両方の多くのバリエーションがあります。複数フレームSRは、同じシーンの複数の低解像度画像間のサブピクセルシフト を使用します。すべての低解像度画像からの情報を融合して高解像度画像を作成し、作成された高解像度画像はシーンをより良く記述します。単一フレームSRメソッドは、ぼやけを生じさせずに画像を拡大しようとします。これらのメソッドは、低解像度画像の他の部分、または他の無関係な画像を使用して、高解像度画像がどのように見えるべきかを推測します。アルゴリズムは、周波数領域 または空間領域 というドメインによっても分類できます。元々、超解像メソッドはグレースケール画像でのみうまく機能しましたが[ 18 ] [ 17 ] [ 19 ] 。
参考文献 ↑ Schmidt, RO、「複数のエミッタの位置と信号パラメータの推定」、IEEE Trans. Antennas Propagation、Vol. AP-34（1986年3月）、pp.276-280。 ↑ Abeida, Habti; Zhang, Qilin; Li, Jian ; Merabtine, Nadjim (2013). "Iterative Sparse Asymptotic Minimum Variance Based Approaches for Array Processing" (PDF) . IEEE Transactions on Signal Processing . 61 (4): 933– 944. arXiv : 1802.03070 . Bibcode : 2013ITSP...61..933A . doi : 10.1109/tsp.2012.2231676 . ISSN 1053-587X . S2CID 16276001 . ↑ Born M、Wolf E、 『Principles of Optics』 ↑ Fox M、2007 Quantum Optics Oxford ↑ Zalevsky Z、Mendlovic D. 2003 光学超解像 Springer 1 2 Betzig, E; Trautman, JK (1992). "近接場光学：回折限界を超える顕微鏡、分光、表面改質". Science . 257 (5067): 189– 195. Bibcode : 1992Sci...257..189B . doi : 10.1126/science.257.5067.189 . PMID 17794749 . S2CID 38041885 . ↑ Lukosz, W., 1966. 古典的な限界を超える分解能を持つ光学系。J. opt. soc. Am. 56, 1463–1472. 1 2 Guerra, John M. (1995-06-26). "回折によって生成されるエバネッセント波による照明による超解像度" . Applied Physics Letters . 66 (26): 3555– 3557. Bibcode : 1995ApPhL..66.3555G . doi : 10.1063/1.113814 . ISSN 0003-6951 . 1 2 Gustaffsson, M., 2000. 構造化照明顕微鏡法を用いて横方向の解像度限界を2倍に超える。J. Microscopy 198, 82–87. ↑ Cox, IJ、Sheppard, CJR、1986年。「光学システムにおける情報容量と解像度」。J.opt. Soc. Am. A 3、1152–1158 ↑ Westheimer, G (2012). "光学的超解像度と視覚的超視力" . Prog Retin Eye Res . 31 (5): 467– 80. doi : 10.1016/j.preteyeres.2012.05.001 . PMID 22634484 . ↑ Harris, JL, 1964. 解像度と意思決定。J. opt. soc. Am. 54, 606–611. ↑ Toraldo di Francia、G.、1955 年。解決力と情報。 J. オプト。社会。午前。 45、497–501。 ↑ D. Poot、B. Jeurissen、Y. Bastiansen、J. Veraart、W. Van Hecke、PM Parizel、J. Sijbers、「Super-Resolution for Multislice Diffusion Tensor Imaging」、Magnetic Resonance in Medicine、(2012) ↑ N. Zhao、Q. Wei、A. Basarab、N. Dobigeon、D. Kouamé、JY. Tourneret、「新しい解析解を用いた高速単一画像超解像ℓ 2 − ℓ 2 {\displaystyle \ell _{2}-\ell _{2}} ↑ J. Simpkins、RL Stevenson、「超解像イメージング入門」。数理光学：古典的、量子的、計算的手法 、V. Lakshminarayanan、M. Calvo、T. Alieva 編。CRC Press、2012年。539-564頁。 1 2 S. Farsiu、D. Robinson、M. Elad、P. Milanfar、「高速かつ堅牢なマルチフレーム超解像」、IEEE Transactions on Image Processing、vol. 13、no. 10、pp. 1327–1344、2004年10月。 ↑ P. Cheeseman、B. Kanefsky、R. Kraft、J. Stutz、1994 ↑ S. Schuon、C. Theobalt、J. Davis、S. Thrun、 「LidarBoost: ToF 3D形状スキャン用深度超解像」、IEEE CVPR 2009論文集 ↑ Johnson, Justin; Alahi, Alexandre; Fei-Fei, Li (2016-03-26). "リアルタイムスタイル転送と超解像度のための知覚損失". arXiv : 1603.08155 [ cs.CV ]. ↑ Grant-Jacob, James A; Mackay, Benita S; Baker, James AG; Xie, Yunhui; Heath, Daniel J; Loxham, Matthew; Eason, Robert W; Mills, Ben (2019-06-18). "A neural lens for super-resolution biological imaging" . Journal of Physics Communications . 3 (6): 065004. Bibcode : 2019JPhCo...3f5004G . doi : 10.1088/2399-6528/ab267d . ISSN 2399-6528 . ↑ Blau, Yochai; Michaeli, Tomer (2018). 知覚 歪みトレードオフ . IEEE Conference on Computer Vision and Pattern Recognition. pp. 6228–6237 . arXiv : 1711.06077 . doi : 10.1109/CVPR.2018.00652 . ↑ ゼーバーグ、エイモス (2023-08-23). 「画像をより良く見せるAIツール」 . クアンタマガジン . 2023-08-28 に閲覧。 ↑ Cohen, Joseph Paul; Luck, Margaux; Honari, Sina (2018). "Distribution Matching Losses Can Hallucinate Features in Medical Image Translation" . In Alejandro F. Frangi; Julia A. Schnabel; Christos Davatzikos; Carlos Alberola-López; Gabor Fichtinger (eds.). Medical Image Computing and Computer Assisted Intervention – MICCAI 2018. 21st International Conference, Granada, Spain, September 16–20, 2018, Proceedings, Part I. Lecture Notes in Computer Science. Vol. 11070. pp. 529–536 . arXiv : 1805.08841 . doi : 10.1007/978-3-030-00928-1_60 . ISBN 978-3-030-00927-4 . S2CID 43919703 . 2022年 5月1日
Curtis, Craig H.; Milster, Tom D. (1992 年 10 月). 「磁気光学データストレージデバイスにおける超解像の解析」. Applied Optics 31 (29): 6272–6279 . Bibcode : 1992ApOpt..31.6272M . doi : 10.1364/AO.31.006272 . PMID 20733840 . ザレフスキー、Z.、メンドロヴィッチ、D. (2003).光学超解像 . スプリンガー. ISBN 978-0-387-00591-1 。 Caron, JN (2004年9月)「ブラインドデコンボリューションを用いたマルチフレームシーケンスの高速スーパーサンプリング」Optics Letters 29 (17): 1986–1988 . Bibcode : 2004OptL...29.1986C . doi : 10.1364/OL.29.001986 . PMID 15455755 . Clement , GT; Huttunen, J.; Hynynen, K. (2005). "逆投影再構成を用いた超解像超音波イメージング". Journal of the Acoustical Society of America 118 (6): 3953–3960 . Bibcode : 2005ASAJ..118.3953C . doi : 10.1121/1.2109167 . PMID 16419839 . Geisler, WS; Perry, JS (2011). 「自然画像における最適点予測のための統計」 . Journal of Vision 11 (12): 14. doi : 10.1167/11.12.14 . PMC 5144165 . PMID 22011382 . Cheung, V.; Frey, BJ; Jojic, N. (20–25 June 2005). Video epitomes (PDF) . Conference on Computer Vision and Pattern Recognition (CVPR). Vol. 1. pp. 42–49 . doi : 10.1109/CVPR.2005.366 . Bertero, M.; Boccacci, P. (2003年10月). 「計算画像処理における超解像」. Micron . 34 ( 6–7 ): 265–273 . doi : 10.1016/s0968-4328(03)00051-9 . PMID 12932769 . Borman, S.; Stevenson, R. (1998). 「低解像度画像シーケンスの空間解像度向上 – 今後の研究の方向性に関する包括的なレビュー」(技術報告書) . ノートルダム大学。 Borman, S.; Stevenson, R. (1998).画像シーケンスからの超解像 ― レビュー (PDF) . Midwest Symposium on Circuits and Systems. Park, SC; Park, MK; Kang, MG (2003年5月)「超解像画像再構成：技術概要」IEEE Signal Processing Magazine . 20 (3): 21–36 . Bibcode : 2003ISPM...20...21P . doi : 10.1109/MSP.2003.1203207 . S2CID 12320918 . Farsiu, S.; Robinson, D.; Elad, M.; Milanfar, P. (2004年8月)「超解像における進歩と課題」International Journal of Imaging Systems and Technology . 14 (2): 47–57 . doi : 10.1002/ima.20007 . S2CID 12351561 . Elad, M.; Hel-Or, Y. (2001年8月). "純粋な並進運動と一般的な空間不変ぼかしに対する高速超解像再構成アルゴリズム". IEEE Transactions on Image Processing 10 (8): 1187–1193 . Bibcode : 2001ITIP...10.1187E . CiteSeerX 10.1.1.11.2502 . doi : 10.1109/83.935034 . PMID 18255535 . Irani, M.; Peleg, S. (1990年6月).画像シーケンスからの超解像 (PDF) . 国際パターン認識会議. Vol. 2. pp. 115–120 . Sroubek, F.; Cristobal, G.; Flusser, J. (2007). "超解像とマルチチャネルブラインドデコンボリューションへの統一的アプローチ". IEEE Transactions on Image Processing 16 (9): 2322– 2332. Bibcode : 2007ITIP...16.2322S . doi : 10.1109/TIP.2007.903256 . PMID 17784605. S2CID 6367149 . Calabuig, Alejandro; Micó, Vicente; Garcia, Javier; Zalevsky, Zeev; Ferreira, Carlos (2011年3月)「赤・緑・青多重化による単一露光超解像干渉顕微鏡」Optics Letters 36 (6): 885–887 . Bibcode : 2011OptL...36..885C . doi : 10.1364/OL.36.000885 . PMID 21403717 . Chan, Wai-San; Lam, Edmund; Ng, Michael K.; Mak, Giuseppe Y. (2007年9月). 「計算複眼イメージングシステムにおける超解像再構成」. Multidimensional Systems and Signal Processing . 18 ( 2–3 ): 83–101 . Bibcode : 2007MSySP..18...83C . doi : 10.1007/s11045-007-0022-3 . S2CID 16452552 . Ng, Michael K.; Shen, Huanfeng; Lam, Edmund Y.; Zhang, Liangpei (2007). "デジタルビデオのための全変動正則化に基づく超解像再構成アルゴリズム" . EURASIP Journal on Advances in Signal Processing . 2007 074585. Bibcode : 2007EJASP2007..104N . doi : 10.1155/2007/74585 . hdl : 10722/73871 . Glasner, D.; Bagon, S.; Irani, M. (2009年10月).単一画像からの超解像 (PDF) .国際コンピュータビジョン会議 (ICCV). 例と結果」 。 Ben-Ezra, M.; Lin, Zhouchen; Wilburn, B.; Zhang, Wei (2011年7月) 「超解像のためのペンローズピクセル」(PDF) . IEEE Transactions on Pattern Analysis and Machine Intelligence . 33 (7): 1370– 1383. Bibcode : 2011ITPAM..33.1370B . CiteSeerX 10.1.1.174.8804 . doi : 10.1109/TPAMI.2010.213 . PMID 21135446 . S2CID 184868 . Berliner, L.; Buffa, A. (2011). 「デジタル放射線撮影における超解像可変線量イメージング：透視フラットパネル検出器による画質と線量低減」Int J Comput Assist Radiol Surg . 6 (5): 663– 673. doi : 10.1007/s11548-011-0545-9 . PMID 21298404 . Timofte, R.; De Smet, V.; Van Gool, L. (2014年11月). A+: 高速超解像のための調整済みアンカー付き近傍回帰 (PDF) . 第12回アジアコンピュータビジョン会議 (ACCV). 「コードとデータ」 。 Huang, J.-B; Singh, A.; Ahuja, N. (2015年6月).変換された自己標本からの単一画像超解像 . IEEEコンピュータビジョンおよびパターン認識会議 . 「プロジェクトページ」 。 CHRISTENSEN-JEFFRIES, T.; COUTURE, O.; DAYTON, PA; ELDAR, YC; HYNYNEN, K.; KIESSLING, F.; O'REILLY, M.; PINTON, GF; SCHMITZ, G.; TANG, M.-X.; TANTER, M.; VAN SLOUN, RJG (2020). "超解像超音波イメージング" . Ultrasound Med. Biol . 46 (4): 865– 891. doi : 10.1016/j.ultrasmedbio.2019.11.013 . PMC 8388823 . PMID 31973952 .
