センサーフュージョン

センサーフュージョンとは、センサーデータや異なるソースから取得したデータを組み合わせて、これらのソースを個別に使用した場合よりも不確実性が少ない情報を生成するプロセスです。たとえば、ビデオカメラやWiFi 位置特定信号などの複数のデータソースを組み合わせることで、屋内の物体の位置をより正確に推定できる可能性があります。この場合の不確実性の低減という用語は、より正確、より完全、またはより信頼できるという意味で、または立体視 (わずかに異なる視点にある 2 台のカメラからの 2 次元画像を組み合わせて奥行き情報を計算する) などの新しいビューの結果を指す場合があります。^{[1] [2]}

融合プロセスのデータ ソースは、同一のセンサーから生成されるとは限らない。直接融合、間接融合、および前者 2 つの出力の融合を区別できる。直接融合は、異種または同種のセンサー、ソフト センサー、およびセンサー データの履歴値のセットからのセンサー データの融合であり、間接融合は、環境に関する事前知識や人間の入力 などの情報ソースを使用する。

センサー フュージョンは(マルチセンサー)データ フュージョンとも呼ばれ、情報フュージョンのサブセットです。

• 加速度計
• 電子支援手段（ESM）
• フラッシュLIDAR
• 全地球測位システム(GPS)
• 赤外線/熱画像カメラ
• 磁気センサー
• メムス
• フェーズドアレイ
• レーダー
• 提案されているスクエア・キロメートル・アレイなどの電波望遠鏡は、これまでに建設された最大のセンサーである。
• スキャニングLIDAR
• 地震センサー
• ソナーとその他の音響
• ソノブイ
• テレビカメラ
• →センサーの追加リスト

センサー フュージョンとは、次のようなさまざまな方法とアルゴリズムを網羅する用語です。

• カルマンフィルタ^[3]
• ベイジアンネットワーク
• デンプスター・シェーファー
• 畳み込みニューラルネットワーク
• ガウス過程^{[4] [5]}

以下に、センサー フュージョン計算の 2 つの例を示します。

と は、それぞれノイズ分散とを持つ2つのセンサー測定値を表すものとする。 複合測定値を得るための1つの方法は、逆分散重み付けを適用することである。これは、フレイザー・ポッター固定間隔平滑化器でも採用されている。すなわち、 ^[6]${\displaystyle {\textbf {x}}_{1}}$${\displaystyle {\textbf {x}}_{2}}$ ${\displaystyle \scriptstyle \sigma _{1}^{2}}$${\displaystyle \scriptstyle \sigma _{2}^{2}}$${\displaystyle {\textbf {x}}_{3}}$

${\displaystyle {\textbf {x}}_{3}=\sigma _{3}^{2}(\sigma _{1}^{-2}{\textbf {x}}_{1}+\sigma _{2}^{-2}{\textbf {x}}_{2})}$、

ここで、は結合推定値の分散です。結合された結果は、それぞれのノイズ分散によって重み付けされた 2 つの測定値の単純な線形結合であることがわかります。 ${\displaystyle \scriptstyle \sigma _{3}^{2}=(\scriptstyle \sigma _{1}^{-2}+\scriptstyle \sigma _{2}^{-2})^{-1}}$

2 つの測定値を融合する別の (同等の) 方法は、最適なカルマン フィルタを使用することです。データが 1 次システムによって生成され、フィルタのリカッチ方程式の解を で表すものとします。ゲイン計算にクラメールの規則を適用すると、フィルタ ゲインは次のように表されることがわかります。^{[引用が必要]}${\displaystyle {\textbf {P}}_{k}}$

${\displaystyle {\textbf {L}}_{k}={\begin{bmatrix}{\tfrac {\scriptstyle \sigma _{2}^{2}{\textbf {P}}_{k}}{\scriptstyle \sigma _{2}^{2}{\textbf {P}}_{k}+\scriptstyle \sigma _{1}^{2}{\textbf {P}}_{k}+\scriptstyle \sigma _{1}^{2}\scriptstyle \sigma _{2}^{2}}}&{\tfrac {\scriptstyle \sigma _{1}^{2}{\textbf {P}}_{k}}{\scriptstyle \sigma _{2}^{2}{\textbf {P}}_{k}+\scriptstyle \sigma _{1}^{2}{\textbf {P}}_{k}+\scriptstyle \sigma _{1}^{2}\scriptstyle \sigma _{2}^{2}}}\end{bmatrix}}.}$

調べてみると、最初の測定にノイズがない場合、フィルタは 2 番目の測定を無視し、その逆も同様です。つまり、結合された推定値は、測定の品質によって重み付けされます。

センサー融合における集中型と分散型は、データの融合が行われる場所を指します。集中型融合では、クライアントはすべてのデータを中央の場所に転送するだけで、中央の場所にある何らかのエンティティがデータの相関と融合を担当します。分散型では、クライアントがデータの融合に全責任を負います。「この場合、すべてのセンサーまたはプラットフォームは、意思決定においてある程度の自律性を持つインテリジェントな資産と見なすことができます。」^[7]

集中型システムと分散型システムの組み合わせは複数存在します。

センサー構成の別の分類は、センサー間の情報フローの調整を指します。^{[8] [9]}これらのメカニズムは、競合や不一致を解決し、動的なセンシング戦略の開発を可能にする方法を提供します。各ノードが同じプロパティの独立した測定値を提供する場合、センサーは冗長（または競合）構成になっています。この構成は、複数のノードからの情報を比較する際のエラー訂正に使用できます。冗長戦略は、投票手順での高レベルの融合でよく使用されます。^{[10] [11]} 補完構成は、複数の情報ソースが同じ機能について異なる情報を提供する場合に発生します。この戦略は、意思決定アルゴリズム内で生データレベルで情報を融合するために使用されます。補完的な特徴は通常、ニューラルネットワーク、^{[12] [13]} 隠れマルコフモデル、^{[14] [15]} サポートベクターマシン、^[16]クラスタリング方法、およびその他の手法 を使用した動作認識タスクに適用されます。^{[16] [15}例えば、体節に接続されたセンサーは、それらの間の角度を検出するために使用されます。協調センサー戦略は、単一のノードからは取得できない情報を提供します。協調情報融合は、動作認識、^[17]、 歩行分析、動作分析、^{[18] [19]}、で使用できます。^[20]

一般的に使用されているセンサーフュージョンにはいくつかのカテゴリまたはレベルがあります。 ^{[21] [22] [23] [24] [25] [26]}

• レベル0 – データのアライメント
• レベル 1 – エンティティの評価 (例: 信号/機能/オブジェクト)。
  • 追跡と物体検出/認識/識別
• レベル2 – 状況評価
• レベル3 – 影響評価
• レベル4 – プロセスの改善（センサー管理など）
• レベル5 – ユーザーの改良

センサー融合レベルは、融合アルゴリズムに供給する情報の種類に基づいて定義することもできます。^[27]より正確には、センサー融合は、さまざまなソースからの生データ、外挿された特徴、または単一のノードによって行われた決定を融合して実行できます。

• データレベル - データレベル（または初期）の融合は、複数のソースからの生データを融合し、抽象度の最も低いレベルで融合技術を表現することを目的としています。これは、多くの応用分野で最も一般的なセンサー融合技術です。データレベルの融合アルゴリズムは通常、より正確で総合的な読み取りを実現するために、複数の同種のセンサーデータソースを組み合わせることを目的としています。^[28]ポータブルデバイスを使用する場合、複数のソースから生情報を収集すると膨大な情報空間が生成され、ポータブルシステムのメモリや通信帯域幅の点で問題となる可能性があるため、データ圧縮は重要な要素となります。データレベルの情報融合は大きな入力空間を生成する傾向があり、意思決定のプロセスを遅くします。また、データレベルの融合では不完全な測定を処理できないことがよくあります。1つのセンサーモダリティが故障、故障、またはその他の理由により役に立たなくなると、システム全体であいまいな結果が発生する可能性があります。
• 特徴レベル - 特徴は、各センシングノードによってオンボードで計算された情報を表します。これらの特徴は、その後、融合ノードに送信され、融合アルゴリズムに供給されます。^[29]この手順では、データレベルの融合に関してより小さな情報空間が生成され、計算負荷の点で優れています。明らかに、分類手順を定義するための特徴を適切に選択することが重要です。最も効率的な特徴セットを選択することが、方法設計の主な側面である必要があります。相関する特徴と特徴サブセットを適切に検出する特徴選択アルゴリズムを使用すると、認識精度が向上しますが、最も重要な特徴サブセットを見つけるには通常、大規模なトレーニングセットが必要です。^[27]
• 決定レベル - 決定レベル（または後期）融合は、複数のノードの個々の（通常は弱い）決定によって生成された仮説のセットから仮説を選択する手順です。^[30]これは抽象化の最高レベルであり、予備的なデータまたは機能レベルの処理によってすでに精緻化された情報を使用します。決定融合の主な目的は、ノードからのデータがそれらから特徴を抽出して前処理されている間に、メタレベルの分類器を使用することです。^[31]通常、決定レベルのセンサー融合は分類と認識の活動に使用され、最も一般的な2つのアプローチは多数決とナイーブベイズです。^{[引用が必要]} 決定レベルの融合から得られる利点には、通信帯域幅と改善された決定精度が含まれます。また、異種のセンサーを組み合わせることもできます。^[29]

センサーフュージョンの応用例の1つにGPS/INSがあり、ここでは、グローバルポジショニングシステムと慣性航法システムのデータが、拡張カルマンフィルタなどのさまざまな方法を使用して融合されます。これは、たとえば、低コストのセンサーを使用して航空機の姿勢を決定する場合に役立ちます。^[32]もう1つの例は、道路脇で収集された音響、画像、センサーデータを使用して、データフュージョンアプローチを使用して交通状態（交通量が少ない、交通渋滞、中程度の流れ）を判定することです。^[33]自動運転の分野では、センサーフュージョンは、環境のより正確で信頼性の高い表現を得るために、補完的なセンサーからの冗長な情報を組み合わせるために使用されます。^[34]

技術的には専用のセンサー融合方法ではありませんが、現代の畳み込みニューラルネットワークベースの方法は、多数のチャネルのセンサーデータ（数百のバンドを持つハイパースペクトルイメージング^[35]など）を同時に処理し、関連情報を融合して分類結果を生成することができます。

• 判別相関分析（DCA）^[1]
• 国際情報融合協会