イベントカメラ

イベントカメラは、ニューロモルフィックカメラ^[1]、 シリコン網膜^[2]、ダイナミックビジョンセンサー^[3]とも呼ばれ、明るさの局所的な変化に反応する画像センサーです。イベントカメラは、従来の（フレーム）カメラのようにシャッターを使用して画像をキャプチャしません。代わりに、イベントカメラ内の各ピクセルは独立して非同期で動作し、明るさの変化が発生すると報告し、それ以外の場合は沈黙します。

イベントカメラのピクセルは、明るさの変化が発生すると、独立して反応します。^[4]各ピクセルは基準となる明るさレベルを保存し、それを現在の明るさレベルと継続的に比較します。明るさの差がしきい値を超えると、そのピクセルは基準レベルをリセットし、イベントを生成します。イベントとは、ピクセルのアドレスとタイムスタンプを含む個別のパケットです。イベントには、センサーモデルに応じて、明るさの変化の極性（増加または減少）や、照明レベルの瞬間的な測定値が含まれる場合もあります。 ^[5]そのため、イベントカメラは、シーンの照明の変化によってトリガーされるイベントの非同期ストリームを出力します。

イベントカメラは通常、マイクロ秒の時間分解能、120 dB のダイナミックレンジ、フレームカメラよりも露出不足/露出過多やモーションブラーが少ない^{[4] [6]でタイムスタンプを報告します。これにより、オブジェクトとカメラの動き (}オプティカルフロー) をより正確に追跡できます。グレースケールの情報を生成します。当初 (2014 年) は、解像度は 100 ピクセルに制限されていました。その後のエントリでは、2019 年に 640 x 480 の解像度に達しました。個々のピクセルが独立して発火するため、イベントカメラは、ニューロモルフィックコンピューティングなどの非同期コンピューティングアーキテクチャとの統合に適しているようです。ピクセルの独立性により、これらのカメラは、明るい領域と暗い領域があるシーンに、それらを平均化することなく対応できます。^[7] カメラはマイクロ秒の解像度でイベントを報告しますが、実際の時間分解能 (または、代わりにセンシングの帯域幅) は、信号のコントラスト、照明条件、センサーの設計に応じて、数十マイクロ秒から数ミリ秒のオーダーであることに注意することが重要です。^[8]

^{* 認知処理時間を含む、人間の知覚の時間分解能を示します。** 変化認識率を指し、信号とセンサー モデルによって異なります。}

時間コントラストセンサー（DVS ^[4] （ダイナミックビジョンセンサー）やsDVS ^[13] （高感度DVS）など）は極性（明るさの増加または減少）を示すイベントを生成し、時間画像センサー^[5]は各イベントの瞬間的な強度を示します。DAVIS ^{[14] （ダイナミックおよびアクティブピクセルビジョンセンサー）には、同じフォト}センサーアレイを共有するダイナミックビジョンセンサー（DVS）に加えて、グローバルシャッターアクティブピクセルセンサー（APS）が含まれています。したがって、イベントと一緒に画像フレームを生成する機能があります。多くのイベントカメラは、慣性測定ユニット（IMU）も搭載しています。

イベントセンサーの別のクラスは、いわゆるレチノモルフィックセンサーです。レチノモルフィックという用語は、イベントセンサー全般を説明するために使用されてきましたが、^{[15] [16] 2020年に、直列に接続された抵抗器と感光性}コンデンサに基づく特定のセンサー設計の名前として採用されました。^{[17]これらのコンデンサは、}太陽エネルギーを蓄えるために使用されるフォトキャパシタとは異なり、^[18]照明下で静電容量が変化するように設計されています。静電容量が変化するとわずかに充電/放電しますが、それ以外は平衡状態を保ちます。感光性コンデンサを抵抗器と直列に配置し、入力電圧を回路全体に印加すると、光の強度が変化したときに電圧を出力し、それ以外の場合は電圧を出力しないセンサーが得られます。

他のイベントセンサー（通常はフォトダイオードと他の回路素子）とは異なり、これらのセンサーは本質的に信号を生成します。したがって、他のイベントカメラの小さな回路と同じ結果を生成する単一のデバイスと考えることができます。レチノモルフィックセンサーは、これまで研究環境でのみ研究されてきました。^{[19] [20] [21] [22]}

イベントから画像を再構成することで、高ダイナミックレンジ、高時間解像度、モーションブラーの低減された画像やビデオを作成できる可能性があります。画像の再構成は、ハイパスフィルタや補完フィルタなどの時間的平滑化を使用して実現できます。^{[23]代替方法としては}、最適化^[24]と勾配推定^[25]に続いてポアソン積分などがあります。

空間イベント駆動畳み込みの概念は1999年に提唱されました^[26]（DVS以前）が、後にEUプロジェクトCAVIAR ^[27]（DVSが発明された時期）で、積分発火ピクセルの配列内のイベント座標の周りに任意の畳み込みカーネルをイベントごとに投影することで一般化されました。 ^[28]マルチカーネルイベント駆動畳み込みへの拡張^{[29]により、イベント駆動型深層}畳み込みニューラルネットワークが可能になります。^[30]

イベントカメラで撮影した移動物体のセグメンテーションと検出は、チップ上のセンサーによって行われるため、簡単な作業のように見えるかもしれません。しかし、イベントはほとんど情報を持っておらず^[31]、テクスチャや色などの有用な視覚的特徴が含まれていないため、これらの作業は困難です。^[32]これらの作業は、カメラが移動している場合、さらに困難になります。 ^[31]イベントは、移動物体と静的シーン（その見かけの動きはカメラの自己運動によって引き起こされます）によって画像平面上のあらゆる場所でトリガーされるためです。この問題を解決するための最近のアプローチには、動き補償モデル^{[33] [34]}と従来のクラスタリングアルゴリズムの組み込みが含まれます。^{[35] [36] [32] [37]}

潜在的な用途としては、従来のカメラに典型的に適合するほとんどのタスクが含まれますが、機械視覚タスク（物体認識、自律走行車、ロボット工学など）に重点が置かれています。 ^[21]米軍は、消費電力が少なく発熱が少ないため、赤外線カメラやその他のイベントカメラを検討しています。^[7]

イベントカメラが従来の画像センサーに比べて持つ利点を考慮すると、低消費電力、低遅延、カメラ視線の安定化が難しいことが求められるアプリケーションに適していると考えられます。これらのアプリケーションには、前述の自律システムだけでなく、宇宙画像、セキュリティ、防衛、産業監視も含まれます。イベントカメラによる色感知の研究が進行中ですが、^[38]色感知を必要とするアプリケーションでの使用にはまだ便利ではないことは注目に値します。

• ニューロモルフィックエンジニアリング
• 網膜形態センサー
• ローリングシャッター