ロボットセンシングは、ロボットにセンシング機能を提供する目的で行われるロボット工学のサブ分野です。ロボットセンシングは、ロボットに周囲の環境を感知する能力を与え、通常は感知した入力に基づいてロボットが動作を調整できるようにするためのフィードバックとして使用されます。ロボットセンシングには、視覚[ 1 ] [ 2 ] [ 3 ]、触覚[ 4 ] [ 5 ] [ 6 ] 、聴覚[ 7 ]、運動[ 8 ] [ 9 ] [ 10 ] 、および環境フィードバックと感覚データを処理して利用するための関連アルゴリズムが含まれます。ロボットセンシングは、車両の自動化、ロボット義肢、産業用、医療用、娯楽用、教育用ロボットなどのアプリケーションにおいて重要です。
視覚センシングシステムは、カメラ、ソナー、レーザー、無線周波数識別(RFID)[ 1 ]技術の使用を含むさまざまな技術と方法に基づいて構築できます。これら4つの方法はすべて、センシング、推定、マッチングの3つの手順を目指しています。
画像品質は、優れたロボットビジョンを必要とするアプリケーションにおいて重要です。異なるスペクトルと異なる焦点の画像を融合するために使用されるウェーブレット変換に基づくアルゴリズムは、画像品質を向上させます。[ 2 ]ロボットは、結果として得られる改善された画像からより正確な情報を取得できます。
視覚センサーは、ロボットが周囲の環境を認識し、適切な行動をとるのに役立ちます。[ 3 ]ロボットは、視覚センサーからのデータ入力に基づいて、周囲の環境の画像を分析します。その結果は、理想的な画像、中間画像、または最終画像と比較され、中間目標または最終目標に到達するための適切な動きや行動が決定されます。
電子皮膚(e-skinとも呼ばれる)とは、人間や動物の皮膚の機能を模倣できる、柔軟性、伸縮性、自己修復性を備えた電子機器を指します。 [ 12 ] [ 13 ]この幅広い種類の材料には、多くの場合、熱や圧力の変化などの環境要因に反応する人間の皮膚の能力を再現するように設計されたセンシング機能が含まれています。[ 12 ] [ 13 ] [ 14 ] [ 15 ]
電子皮膚研究の進歩は、高感度/高解像度、薄さ、適合性、柔軟性と伸縮性、耐久性と堅牢性、自己修復性、生体適合性、高空間解像度、低消費電力と自己給電、発汗誘導/分析、リアルタイムデータ処理といった特性を示す材料の設計に焦点を当てています。[ 16 ]
フレキシブルエレクトロニクスと触覚センシングの個々の分野における研究は大きく進歩しました。しかし、電子皮膚設計の分野は、各分野から得られる個々の利点を犠牲にすることなく、複数の材料研究分野からの進歩を統合することを目指しています。[ 17 ]柔軟で伸縮性のある機械的特性と統合されたセンサーおよび自己修復機能をうまく組み合わせることで、ソフトロボティクス、義肢、人工知能システム、健康モニタリングデバイスなど、数多くのアプリケーションが可能になります。[ 12 ] [ 17 ] [ 18 ] [ 19 ]
電子スキン分野における最近の進歩は、グリーン材料の理念と環境意識を設計プロセスに組み込むことに焦点を当てています。電子スキン開発における主な課題の1つは、材料が機械的歪みに耐え、センシング能力または電子特性を維持できることであるため、リサイクル性と自己修復特性は、新しい電子スキンの将来の設計において特に重要です。[ 20 ]
Examples of the current state of progress in the field of robot skins as of mid-2022 are a robotic finger covered in a type of manufactured living human skin,[21][22] an electronic skin giving biological skin-like haptic sensations and touch/pain-sensitivity to a robotic hand,[23][24] a system of an electronic skin and a human-machine interface that can enable remote sensedtactile perception, and wearable or robotic sensing of many hazardous substances and pathogens,[25][26] and a multilayer tactile sensorhydrogel-based robot skin.[27][28]
As robots and prosthetic limbs become more complex the need for sensors capable of detecting touch with high tactile acuity becomes more and more necessary. There are many types of tactile sensors used for different tasks.[29] There are three types of tactile sensors. The first, single point sensors, can be compared to a single cell, or whiskers, and can detect very local stimuli. The second type of sensor is a high spatial resolution sensor which can be compared to a human fingertip and is essential for the tactile acuity in robotic hands. The third and final tactile sensor type is a low spatial resolution sensor which has similar tactile acuity as the skin on one's back or arm.[29] These sensors can be placed meaningfully throughout the surface of a prosthetic or a robot to give it the ability to sense touch in similar, if not better, ways than the human counterpart.[29]
Touch sensory signals can be generated by the robot's own movements. It is important to identify only the external tactile signals for accurate operations. Previous solutions employed the Wiener filter, which relies on the prior knowledge of signal statistics that are assumed to be stationary. Recent solution applies an adaptive filter to the robot's logic.[4] It enables the robot to predict the resulting sensor signals of its internal motions, screening these false signals out. The new method improves contact detection and reduces false interpretation.
[ 30 ] タッチパターンにより、ロボットはインタラクティブなアプリケーションで人間の感情を解釈できるようになります。力、接触時間、繰り返し、接触面積の変化という 4 つの測定可能な特徴により、時間遅延を考慮して、時間決定木分類器を介してタッチパターンを効果的に分類し、最大 83% の精度で人間の感情と関連付けることができます。 [ 5 ]一貫性インデックス[ 5 ]は、システムの信頼度を評価して一貫性のない反応を防ぐために、最後に適用されます。
ロボットは、水道管などの過酷な環境下で表面の形状をマッピングするために、タッチ信号を使用します。従来は、あらかじめ決められた経路がロボットにプログラムされていました。現在では、タッチセンサーの統合により、ロボットはまずランダムなデータポイントを取得し、ロボットのアルゴリズム[ 6 ]が、あらかじめ定義された一連の幾何学的プリミティブに従って、次の測定の理想的な位置を決定します。これにより、効率が42%向上します。[ 5 ]
近年、触覚を刺激として相互作用に用いる研究が盛んに行われている。2010年には、触覚を含む人間との相互作用からの多くの刺激に反応するロボットアザラシPAROが開発された。このような人間とロボットの相互作用による治療効果はまだ研究中であるが、非常に良好な結果を示している。[ 31 ]
高精度なオーディオセンサーには、内部ノイズの低減が求められます。従来、オーディオセンサーは音響アレイとマイクロホンを組み合わせて内部ノイズレベルを低減していました。最近のソリューションでは、圧電素子も組み込まれています。[ 7 ]これらの受動素子は圧電効果を利用して力を電圧に変換し、内部ノイズの原因となる振動を除去することができます。平均して、約7 dBまで内部ノイズを低減できます。[ 7 ]
ロボットは、迷走ノイズを音声指示として解釈する可能性がある。現在の音声活動検出(VAD)システムは、複素スペクトル円中心(CSCC)法と最大信号対雑音比(SNR)ビームフォーマーを使用している。[ 32 ]人間は通常、会話中に相手を見るため、2つのマイクを備えたVADシステムでは、ロボットが2つのマイクの信号強度を比較することで指示音声の位置を特定できる。現在のシステムは、テレビや側面から来る音響機器によって発生する背景ノイズに対処できる。
ロボットは、私たちの話し方やそれに関連する特徴や特性を通して感情を認識できます。一般的に、感情を特徴付けるために音響的特徴と言語的特徴が使用されます。7つの音響的特徴と4つの言語的特徴の組み合わせは、1つの特徴セットのみを使用する場合と比較して認識性能を向上させます。[ 33 ]
機械嗅覚は、嗅覚の自動シミュレーションです。現代工学における新たな応用であり、ロボットやその他の自動システムを使用して空気中の化学物質を分析します。このような装置は、電子鼻またはe-noseと呼ばれることがよくあります。機械嗅覚の開発は、これまでのe-noseデバイスが限られた数の化学物質に反応してきたのに対し、匂いは(潜在的に多数の)匂い化合物の固有のセットによって生成されるという事実によって複雑になっています。この技術はまだ開発の初期段階にありますが、次のような多くの応用が期待されています。[ 34 ]食品加工における品質管理、医療における検出と診断、 [ 35 ]薬物、爆発物、その他の危険または違法な物質の検出、[ 36 ]災害対応、環境モニタリング。
提案されている機械嗅覚技術の一種は、揮発性化合物を検出、識別、測定できるガスセンサーアレイ機器によるものです。しかし、これらの機器の開発において重要な要素はパターン分析であり、機械嗅覚のためのパターン分析システムの設計を成功させるには、信号前処理、特徴抽出、特徴選択、分類、回帰、クラスタリング、検証など、多変量データの処理に関わるさまざまな問題を慎重に検討する必要があります。[ 37 ]機械嗅覚に関する現在の研究におけるもう1つの課題は、アロマ混合物に対するセンサーの応答を予測または推定する必要性です。[ 38 ]匂いの分類や匂いの局在化など、機械嗅覚におけるいくつかのパターン認識問題は、時系列カーネル法を使用することで解決できます。 [ 39 ]

電子舌は味覚を測定し比較する装置です。IUPACの技術報告書によると、「電子舌」は、さまざまな溶液成分に対して部分的な特異性を持つ非選択的化学センサーのアレイと、単純な溶液と複雑な溶液の定量的および定性的な組成を認識できる適切なパターン認識装置を含む分析装置です[ 40 ] [ 41 ]。
味覚を司る化学物質は、人間の味覚受容体によって感知されます。同様に、電子機器の多電極センサーも、溶解した有機化合物や無機化合物を感知します。人間の受容体と同様に、各センサーはそれぞれ異なる反応スペクトルを持っています。各センサーから得られる情報は相互補完的であり、すべてのセンサーの結果を組み合わせることで、固有の指紋が生成されます。センサーの検出閾値のほとんどは、人間の受容体と同等か、それ以上の性能を備えています。
生物学的メカニズムでは、味覚信号は脳内の神経によって電気信号に変換されます。電子舌センサーのプロセスも同様で、ボルタンメトリー変化や電位差変化として電気信号を生成します。
味覚の質の知覚と認識は、脳による活性化された感覚神経パターンの構築または認識、そして製品の味覚特性に基づいています。このプロセスは、センサーデータを味覚パターンに解釈する電子舌の統計ソフトウェアによって実現されます。

自動ロボットは、タスクを実行するための理想的な経路を決定するためにガイダンスシステムを必要とします。しかし、分子スケールでは、個々の分子は複雑な動きやプログラムを記憶できないため、ナノロボットにはそのようなガイダンスシステムが欠けています。したがって、そのような環境で動きを実現する唯一の方法は、センサーを化学反応に置き換えることです。現在、1つのストレプトアビジン分子を不活性ボディとして、3つの触媒脚を持つ分子スパイダーは、さまざまなDNAオリガミに遭遇すると、開始、追跡、方向転換、停止することができます。[ 8 ] DNAベースのナノロボットは、 3 nm/分の速度で100 nm以上移動できます 。[ 8 ]
TSI手術は、センサーの接触面における分布圧力を測定することで腫瘍や癌の可能性を特定する効果的な方法ですが、過剰な力を加えると損傷を与え、組織を破壊する可能性があります。ロボット制御を適用して理想的な手術経路を決定することで、人間の医師と比較して最大力を35%削減し、精度を50%向上させることができます[ 9 ]。
効率的なロボット探査は時間とリソースを節約します。効率は最適性と競争力によって測定されます。最適な境界探査は、ロボットが正方形のセンシング領域を持ち、境界から開始し、マンハッタン距離を使用する場合にのみ可能です。[ 10 ]複雑な形状や設定では、正方形のセンシング領域の方が効率的で、メトリックや開始点に関係なく、より高い競争力を達成できます。[ 10 ]
ロボットは、紫外線などの電磁スペクトルのより広い範囲をより高い忠実度と粒度で「見る」ことができるなど、サイボーグではない人間のすべてまたはほとんどよりも高い感度と感覚能力を備えているだけでなく、磁場(磁気受容)[ 44]やさまざまな危険な空気成分[26]を感知するなど、より多くの感覚を持つことができる場合もあります。
ロボットは、感覚データやそれに基づくデータを共有、保存、送信することができます。また、同じデータや関連データをさまざまな方法で学習したり解釈したりすることができ、一部のロボットは遠隔感覚(例えば、一般的なタイプの遠隔ロボットや組み込み型[46]またはモバイル「センサーノード」のように、ローカルでの解釈や処理、計算を行わない)を持つことができます。感覚データの処理には、顔認識[ 47 ] 、表情認識[ 48 ]、ジェスチャー認識、解釈的な抽象知識の統合などのプロセスが含まれる場合があります。