ビジュアルサーボ

視覚サーボは、視覚ベースロボット制御とも呼ばれ、VSと略さ​​れ、視覚センサーから抽出されたフィードバック情報（視覚フィードバック^{[1] ）を使用して}ロボットの動作を制御する技術です。視覚サーボについて論じた最も古い論文の1つは、1979年にSRIインターナショナルラボから発表されました。^[2]

ロボットのエンドエフェクタ（ハンド）とカメラには2つの基本的な構成がある：^[4]

• アイインハンド、またはエンドポイントオープンループ制御では、カメラが動いている手に取り付けられ、ターゲットの相対位置を観察します。
• 視線から手、またはエンドポイントのクローズドループ制御では、カメラは世界内に固定され、ターゲットと手の動きを観察します。

ビジュアルサーボ制御技術は、大きく分けて以下の種類に分類されます。^{[5] [6]}

• 画像ベース (IBVS)
• 位置/ポーズベース（PBVS）
• ハイブリッドアプローチ

IBVSはワイスとサンダーソンによって提案された。^[7] 制御則は、画像平面上の現在の特徴と望ましい特徴との間の誤差に基づいており、ターゲットの姿勢の推定は含まれない。特徴は、視覚的特徴の座標、線、または領域のモーメントである可能性がある。IBVSは、カメラ後退と呼ばれるようになった非常に大きな回転の動きには困難を伴う^{[8] 。 [9]}

PBVS はモデルベースの技術です (カメラは 1 台のみ)。これは、カメラに対する対象物体の姿勢を推定し、ロボット コントローラにコマンドを発行してロボットを制御するためです。この場合、画像の特徴も抽出されますが、さらに 3D 情報 (直交座標空間における物体の姿勢) を推定するために使用されるため、3D でサーボ制御されます。

ハイブリッドアプローチは、2Dサーボと3Dサーボの組み合わせを使用します。ハイブリッドサーボにはいくつかの異なるアプローチがあります。

• 2-1/2-Dサーボ^[10]
• モーションパーティションベース
• 分割DOFベース^[9]

先行研究の以下の説明は3つの部分に分かれています。

• 既存のビジュアルサーボ方式の調査。
• 使用されるさまざまな機能とそれらがビジュアルサーボに与える影響。
• ビジュアルサーボ方式のエラーと安定性の分析。

ビジュアル サーボ システムは、サーボイングとも呼ばれ、1980 年代初頭から存在していましたが^[11]、ビジュアル サーボという用語自体は 1987 年に初めて作られました。^{[4] [5] [6]} ビジュアル サーボイングは、本質的には、使用されるセンサーがカメラ (視覚センサー) であるロボット制御の方法です。サーボイングは主に 2 つの手法で構成されます。^[6] 1 つは、画像からの情報を使用してロボットの自由度 (DOF) を直接制御するもので、イメージ ベース ビジュアル サーボイング (IBVS) と呼ばれます。もう 1 つは、カメラから抽出された情報の幾何学的解釈、たとえばターゲットの姿勢やカメラのパラメーターの推定 (ターゲットの基本モデルがわかっていると仮定) を伴います。その他のサーボイングの分類は、サーボイング システムの各コンポーネントのバリエーションに基づいて存在します。 ^[5] たとえばカメラの位置制御ループに基づいて、エンドポイントオープンループとエンドポイントクローズドループの 2 種類があります。制御がジョイント (または DOF) に直接適用されるか、ロボットコントローラへの位置コマンドとして適用されるかに基づいて、2 つのタイプは直接サーボ制御と動的ルックアンドムーブです。最も初期の研究の 1 つとして^[12]、 著者らは、画像ベースのサーボ制御に適用される階層型ビジュアルサーボ方式を提案しました。この手法は、対象オブジェクト (エッジ、コーナー、重心など) から適切な特徴セットを抽出し、シーンとロボットのグローバルモデルとともに部分モデルとして使用できるという仮定に基づいています。この制御戦略は、2 自由度および 3 自由度のロボットアームのシミュレーションに適用されます。

Feddema ら^{[13] は、} 特徴速度に関してタスク軌道を生成するというアイデアを導入しました。これは、ロボットの動作に対してセンサーが無効にならない (フィードバックが停止しない) ようにするためです。著者らは、オブジェクトが事前にわかっていて (CAD モデルなど)、すべての特徴をオブジェクトから抽出できると想定しています。Espiau ら^[14]の研究 では、ビジュアル サーボの基本的な質問のいくつかについて説明しています。議論は、相互作用マトリックス、カメラ、視覚的特徴 (点、線など) のモデリングに集中しています。^[15]では、 ルック アンド ムーブ サーボ アーキテクチャを使用した適応型サーボ システムが提案されました。この方法では、オプティカル フローと SSD を使用して、制御スキームに信頼メトリックとカルマン フィルタリングを備えた確率的コントローラーを提供しました。このシステムでは、（例では）カメラの平面と特徴の平面が平行であると想定しています。^[16]では、ヤコビ関係s˙ = Jv˙を使用した速度制御のアプローチについて説明しています。さらに、著者は、抽出されたターゲットの位置に固有のエラー（センサーエラー）があると仮定して、カルマンフィルタリングを使用しています。ターゲット速度のモデルが開発され、制御ループのフィードフォワード入力として使用されています。また、運動学的不一致、動的効果、再現性、整定時間の振動、応答の遅れを調べることの重要性についても言及しています。

Corke ^[17]は、視覚サーボに関する一連の非常に重要な疑問を提起し、その意味を詳しく説明しようとしています。この論文は主に視覚サーボのダイナミクスに焦点を当てています。著者は、遅延や安定性などの問題に対処しようとしながら、制御ループのフィードフォワードパスについても説明しています。この論文では、軌道生成、軸制御の方法論、パフォーマンスメトリックの開発の正当性についても探っています。

^[18]のChaumetteは、IBVSの2つの大きな問題について優れた洞察を提供しています。1つは、局所的最小値へのサーボ制御、もう1つは、ヤコビアン特異点への到達です。著者は、画像ポイントだけでは、特異点の発生により良い特徴を作​​れないことを示しています。論文では、特異点を防ぐための可能な追加チェック、つまりJ_sとJˆ+_sの条件数について議論し、ˆ J_sとJ^T_sのヌル空間をチェックします。著者が強調する主なポイントの1つは、局所的最小値と実現不可能な画像特徴の動きとの関係です。

長年にわたり、多くのハイブリッド手法が開発されてきました。^[4]これらには、複数のビューまたは複数のカメラを使用して、エピポーラ幾何学から部分的/完全なポーズを計算することが含まれます。値は、直接推定によって、または学習または統計スキームを通じて取得されます。一方、他の手法では、リャプノフ関数に基づいて画像ベースと位置ベースを切り替えるスイッチングアプローチが使用されています。^[4] サーボ制御に画像ベースとポーズベース（2D および 3D 情報）のアプローチの組み合わせを使用した初期のハイブリッド手法では、ポーズ情報を抽出するためにオブジェクトの完全モデルまたは部分モデルが必要であり、画像からモーション情報を抽出するためにさまざまな手法が使用されていました。^{[19] は}、大まかな多面体 CAD モデルに加えて画像モーションからのアフィンモーションモデルを使用して、カメラに対するオブジェクトのポーズを抽出し、オブジェクトにサーボ制御できるようにしました（PBVS のライン上）。

Malis ら^[ 20] が開発した 2-1/2-D ビジュアル サーボは、サーボに必要な情報を、回転と並進を分離する体系的な形式に分解するよく知られた手法です。これらの論文では、目的の姿勢が事前にわかっているものと想定しています。回転情報は、回転軸と角度 (ホモグラフィの固有値と固有ベクトルを計算することによって) を与える部分的な姿勢推定、ホモグラフィ (基本的に 3D 情報) から取得されます。並進情報は、一連の特徴点を追跡することによって画像から直接取得されます。唯一の条件は、追跡される特徴点が視野から外れないことと、奥行き推定が何らかのオフライン手法によって事前に決定されていることです。2-1/2-D サーボは、それ以前の手法よりも安定していることが示されています。この定式化に関するもう 1 つの興味深い点は、著者らが、動きの間にビジュアル ヤコビアンに特異点がないと主張していることです。 CorkeとHutchinsonによって開発されたハイブリッド手法^{[21] [22]}は、一般的に部分アプローチと呼ばれ、視覚（または画像）ヤコビアンをX軸とY軸に関連する動き（回転と並進の両方）とZ軸に関連する動きに分割します。^[22]は、Z軸の並進と回転に対応する視覚ヤコビアンの列（つまり、3列目と6列目）を分離する手法の概要を示しています。分割アプローチは、^[23]で説明したショーメット難問に対処するために示されています。この手法が適切に機能するには、適切な深度推定が必要です。 ^[24]は、サーボタスクがメインとセカンダリの2つに分割されるハイブリッドアプローチの概要を示しています。メインタスクは、関心のある特徴を視野内に維持することです。セカンダリタスクは、固定ポイントをマークし、それを基準として使用してカメラを目的のポーズにすることです。この手法では、オフライン手順からの深度推定が必要です。この論文では、ロボットのオドメトリから深度推定値を取得し、すべての特徴が平面上にあると仮定する2つの例について説明します。二次タスクは、視差の概念を使用して達成されます。追跡される特徴は、通常、点である最初のフレームで実行される初期化によって選択されます。 ^[25]は、視覚サーボの2つの側面、特徴モデリングとモデルベース追跡について説明しています。主な仮定は、オブジェクトの3Dモデルが利用可能であることです。著者は、動きのDOFを線形関係で切り離すことができるように理想的な特徴を選択する必要があるという概念を強調しています。著者はまた、追跡パフォーマンスを向上させるために、ターゲット速度の推定値を相互作用マトリックスに導入します。結果は、オクルージョンが発生した場合でも、よく知られているサーボ技術と比較されます。

このセクションでは、ビジュアルサーボの分野で行われた研究について説明します。特徴の使用に関するさまざまな手法を追跡します。ほとんどの研究では、画像ポイントを視覚的特徴として使用しています。^[5]の相互作用行列の定式化では、画像内のポイントがターゲットを表すために使用されることを前提としています。ポイントの使用から逸脱し、特徴領域、線、画像モーメント、モーメント不変量を使用する研究もあります。^{[26] [27]} では、著者らは画像特徴のアフィンベースの追跡について説明しています。画像特徴は、特徴が受ける変形に基づく不一致尺度に基づいて選択されます。使用された特徴はテクスチャパッチでした。この論文の重要なポイントの 1 つは、ビジュアルサーボを改善するために特徴に注目する必要性を強調したことです。^[28]では、著者らは画像特徴の選択について検討しています (同じ質問は^[5]でも追跡のコンテキストで議論されました)。画像特徴の選択が制御則に与える影響は、深度軸に関してのみ説明されています。著者らは、特徴点間の距離と物体の面積を特徴とみなしている。これらの特徴は、パフォーマンスへの影響を強調するために、わずかに異なる形式で制御法則に使用されている。サーボ誤差が深度軸の変化に比例すると、より良いパフォーマンスが達成されることが指摘された。 ^[29]は、モーメントの使用に関する初期の議論の1つである。著者らは、複雑ではあるが、画像内のモーメントの速度を使用して相互作用マトリックスの新しい定式化を提供している。モーメントが使用されているにもかかわらず、モーメントは、グリーンの定理を使用した輪郭点の位置の小さな変化のモーメントである。この論文では、6 DOFロボットの特徴セット（平面上）の決定も試みている。^[30]では、画像モーメントを使用して視覚ヤコビアンを定式化することについて議論している。この定式化により、選択したモーメントのタイプに基づいてDOFを分離することができる。この定式化の単純なケースは、概念的には2-1/2-Dサーボに似ている。^[30]モーメントの時間変化（m˙ij）は、2枚の画像間の動きとグリーンの定理を使用して決定されます。m˙ijと速度スクリュー（v）の関係は、m˙_ij = L_m_ij vで与えられます。この技術は、物体が平面であると仮定し、奥行き推定値を使用することで、カメラのキャリブレーションを回避します。この技術は平面の場合はうまく機能しますが、一般的な場合には複雑になる傾向があります。基本的なアイデアは、[4]の研究に基づいています。モーメント不変量は^{[31]で使用されています。}鍵となるアイデアは、動きの DOF をすべて切り離す特徴ベクトルを見つけることです。集中モーメントは 2D 変換に対して不変であるという観察結果がいくつかありました。2D 回転用に複雑な多項式が開発されています。この手法は、見せることで教える方法に従っているため、オブジェクトの望ましい深さと領域の値が必要になります (カメラとオブジェクトの平面が平行で、オブジェクトが平面であると仮定)。特徴ベクトルのその他の部分は、不変量 R3、R4 です。著者らは、オクルージョンを処理できると主張しています。 ^[32]と^{[33]は、 [29] [31] [32]}で説明されている作業に基づいています。主な違いは、著者らが^[16]に似た手法を使用していることです。この手法では、タスクが 2 つに分割されます (特徴がカメラ平面に平行でない場合)。仮想回転を実行して、特徴をカメラ平面に平行にします。^{[34] は、}著者らが画像モーメントについて行った作業を統合しています。

Espiauは^[35]で、純粋に実験的な研究から、画像ベース視覚サーボ（IBVS）はキャリブレーションエラーに対して堅牢であることを示した。著者は、明示的なキャリブレーションを行わず、ポイントマッチングと姿勢推定を行わないカメラを使用した。この論文では、実験的アプローチから、相互作用行列の項に対するエラーと不確実性の影響について検討している。使用されたターゲットはポイントであり、平面であると仮定された。

同様の研究が^[36]で行われ、著者らは 90 年代に人気があったいくつかの未較正ビジュアル サーボ システムの実験的評価を行っています。主な成果は、従来の制御方法に対するビジュアル サーボ制御の有効性を示す実験的証拠でした。Kyrki ら^[37]は、位置ベースおよび 2-1/2-D ビジュアル サーボのサーボ誤差を分析しています。この手法では、画像位置の抽出における誤差を決定し、それを姿勢推定およびサーボ制御に伝播します。画像からのポイントは、マッピング (基本的にはホモグラフィですが、論文では明示的には述べられていません) を取得するために、事前に世界のポイントにマッピングされます。このマッピングは、純粋な回転と平行移動に分解されます。姿勢推定は、コンピューター ビジョンの標準的な手法を使用して実行されます。ピクセル誤差は姿勢に変換されます。これらはコントローラーに伝播します。分析からの観察では、画像平面の誤差は深度に比例し、深度軸の誤差は深度の 2 乗に比例することが示されています。ビジュアル サーボの測定誤差は、広範囲に調査されています。ほとんどの誤差関数は、視覚サーボの 2 つの側面に関連しています。1 つは定常誤差 (サーボ制御後)、もう 1 つは制御ループの安定性に関するものです。関心を集めているその他のサーボ誤差は、姿勢推定とカメラのキャリブレーションから生じる誤差です。^{[38]では、著者らは[39]}で行われた作業を拡張し、内因性および外因性のキャリブレーション誤差がある場合のグローバル安定性を考慮しています。^[40]は、タスク関数の追跡誤差を制限するアプローチを示しています。^[41]では、著者らは、視覚サーボのティーチング バイ ショーイング手法を使用しています。目的の姿勢は事前にわかっており、ロボットは特定の姿勢から移動します。この論文の主な目的は、凸最適化手法を使用して、画像ノイズによる位置決め誤差の上限を決定することです。 ^{[42] では、}深度推定の不確実性に関する安定性分析について説明しています。著者らは、未知のターゲット形状の場合、誤差を制限するために、より正確な深度推定が必要であるという観察で論文を締めくくっています。多くの視覚サーボ技術^{[21] [22] [43]}は、暗黙的に画像内に物体が1つだけ存在し、物体の領域とともに追跡に関連する特徴が利用可能であると想定しています。ほとんどの技術では、部分的な姿勢推定または現在の姿勢と目的の姿勢の正確な深度推定が必要です。

• ビジュアルサーボ用の Matlab ツールボックス。
• Java ベースのビジュアル サーボ シミュレーター。
• ViSP（ViSPは「Visual Servoing Platform」の略）は、ビジュアルサーボアプリケーションの迅速な開発を可能にするモジュール式ソフトウェアです。^[44]

• ロボット工学
• ロボット
• コンピュータビジョン
• マシンビジョン
• ロボット制御

• SA Hutchinson、GD Hager、PI Corke。ビジュアルサーボ制御のチュートリアル。IEEE Trans. Robot. Automat.、12(5):651—670、1996年10月。
• F. ショーメット、S. ハッチンソン。ビジュアルサーボ制御、パート I: 基本アプローチ。IEEE Robotics and Automation Magazine、13(4):82-90、2006 年 12 月。
• F. ショーメット、S. ハッチンソン。ビジュアルサーボ制御、パート II: 高度なアプローチ。IEEE Robotics and Automation Magazine、14(1):109-118、2007 年 3 月。
• 高度なビジュアルサーボに関する IROS 2004 チュートリアルのメモ。
• Springer Handbook of Robotics 第 24 章: 視覚サーボと視覚トラッキング (François Chaumette、Seth Hutchinson)
• ウィスコンシン大学マディソン校、ロボット工学およびインテリジェントシステム研究所
• INRIA ラガディック研究グループ
• ジョンズ・ホプキンス大学、LIMBS研究所
• シエナ大学、SIRSLab ビジョン & ロボティクス グループ
• 東北大学 知能制御システム研究室
• INRIAアロバス研究グループ
• LASMEA、ロザスグループ
• UIUC、ベックマン研究所