オーバーサンプリングバイナリイメージセンサーは、従来の写真フィルムを彷彿とさせる非線形応答特性を持つイメージセンサーです。[ 1 ] [ 2 ]センサー内の各ピクセルはバイナリ応答を持ち、局所的な光強度を1ビット量子化して測定します。イメージセンサーの応答関数は非線形であり、対数関数に似ているため、このセンサーは高ダイナミックレンジイメージングに適しています。[ 1 ]
デジタルイメージセンサーが登場する以前、写真の歴史の大部分において、光情報を記録するためにフィルムが使用されていました。すべての写真フィルムの中心には、多数の感光性ハロゲン化銀結晶粒子があります。[ 3 ]露光中、ミクロンサイズの粒子は、入射光子に当たって「露光」されるか、光子の照射を受けずに「未露光」になるかの二択になります。その後のフィルム現像プロセスでは、露光された粒子は化学的性質が変化したため銀金属に変化し、フィルム上の不透明な斑点を形成します。未露光の粒子は化学浴で洗い流され、フィルム上に透明な領域が残ります。したがって、本質的に写真フィルムは、不透明な銀粒子の局所的な密度を使用して元の光強度情報を符号化する二値イメージング媒体です。これらの粒子のサイズが小さく数が多いため、遠くからフィルムを見ると、連続したグレーのトーンしか見えず、フィルムのこの量子化された性質にはほとんど気づきません。
オーバーサンプリングされたバイナリイメージセンサーは、写真フィルムを彷彿とさせます。センサーの各ピクセルはバイナリ応答を持ち、局所的な光強度の 1 ビット量子化測定値のみを提供します。露光期間の開始時には、すべてのピクセルが 0 に設定されます。その後、露光中に到達する光子の数が所定の閾値q以上であれば、ピクセルは 1 に設定されます。このようなバイナリセンサーを構築する 1 つの方法は、各メモリビット セルが可視光に感度を持つように設計された標準メモリ チップ技術を変更することです。[ 4 ]現在の CMOS 技術では、このようなシステムの集積レベルは、チップあたり 10 9~ 10 10 (つまり 1 ギガ ~ 10 ギガ) ピクセルを超えることができます。この場合、対応するピクセル サイズ (約 50 nm [ 5 ] ) は光の回折限界をはるかに下回るため、イメージセンサーは光場の光学解像度をオーバーサンプリングします。直感的には、オーバーサンプリングデルタシグマコンバータでよく見られるように、この空間的冗長性を利用して、1ビット量子化による情報損失を補償することができる。[ 6 ]
写真フィルムのプロセスを模倣するバイナリセンサーの構築は、最初にFossum [ 7 ]によって構想され、彼はデジタルフィルムセンサー(現在は量子イメージセンサー[ 8 ]と呼ばれている)という名前を考案しました。当初の動機は主に技術的な必要性からでした。カメラシステムの小型化には、ピクセルサイズの継続的な縮小が求められます。しかし、ある時点で、小さなピクセルの限られたフルウェル容量(つまり、ピクセルが保持できる最大光子電子) がボトルネックとなり、非常に低い信号対雑音比(SNR) と劣悪なダイナミックレンジをもたらします。対照的に、小さな閾値q付近で少数の光子電子だけを検出する必要があるバイナリセンサーでは、フルウェル容量に対する要求がはるかに少なく、ピクセルサイズをさらに縮小できます。

図1に示す簡略化されたカメラモデルを考えてみましょう。は入射光強度場である。短時間の露光時間内では光強度が一定であると仮定すると、この場は空間変数のみの関数としてモデル化できる。光学系を通過した後、元の光場は光はレンズによってフィルタリングされ、レンズは与えられたインパルス応答を持つ線形システムのように動作します。レンズの不完全性(例えば、収差)のため、インパルス応答、つまり光学系の点像分布関数(PSF)はディラックのデルタ関数にはなり得ず、観測可能な光場の解像度に制限が課されます。しかし、より根本的な物理的制限は光の回折によるものです。[ 9 ]その結果、レンズが理想的であっても、PSFは必然的に小さなぼやけたスポットになります。光学では、このような回折限界スポットはしばしばエアリーディスクと呼ばれ、[ 9 ]その半径は計算すると次のようになります。
どこは光の波長であり、は光学系のF値です。PSFの低域通過(平滑化)特性により、結果として得られる空間分解能が有限である、つまり、単位空間あたりの自由度が有限である。

図2はバイナリセンサーモデルを示しています。センサーピクセルによって蓄積された露出値を表します。各ピクセル(図では「バケツ」として示されている)は、その表面に当たる光子の数が異なる。は、表面に入射する光子の数です。露光期間中の 番目のピクセル。そして光子数確率的である。より具体的には、は、強度パラメータが に等しいポアソン確率変数の実現値としてモデル化できる。、
感光デバイスとして、イメージセンサーの各ピクセルは光子を電気信号に変換し、その振幅はそのピクセルに入射する光子の数に比例します。従来のセンサー設計では、アナログ電気信号はA/Dコンバータによって8~14ビット(通常はビット数が多いほど良い)に量子化されます。しかし、バイナリセンサーでは、量子化器は1ビットです。図2では、は量子化された出力です番目のピクセル。光子のカウントははランダム変数から抽出され、バイナリセンサー出力も同様です。。
時間的オーバーサンプリング、つまり総露光時間を変更せずに連続した複数の独立したフレームを取得することが許可されている場合バイナリセンサーの性能は、特定の条件下では、同じ数の空間オーバーサンプリングを持つセンサーと同等です。[ 2 ]これは、空間オーバーサンプリングと時間オーバーサンプリングの間でトレードオフを行うことができることを意味します。これは、通常、テクノロジーによってピクセルのサイズと露光時間に制限があるため、非常に重要です。
従来の画像ピクセルのフルウェル容量が限られているため、光強度が強すぎるとピクセルが飽和します。これがピクセルのダイナミックレンジが低い理由です。オーバーサンプリングされたバイナリ画像センサーでは、ダイナミックレンジは単一のピクセルではなく、ピクセルのグループに対して定義されるため、ダイナミックレンジが高くなります。[ 2 ]

オーバーサンプリングされたバイナリ画像センサーを使用する際の最も重要な課題の1つは、光強度の再構成である。バイナリ測定からこの問題の解決には、最尤推定法が使用できます。[ 2 ]図4は、単一光子アバランシェダイオード(SPAD)カメラで撮影した4096枚のバイナリ画像から光強度を再構成した結果を示しています。[ 10 ]より高度なアルゴリズムを使用すれば、より少ない時間的測定でより高速かつハードウェアに優しい実装で、より優れた再構成品質を実現できます。[ 11 ]