ポイントクラウドライブラリ

ポイントクラウドライブラリ

原作者	ウィローガレージ
初回リリース	2010年3月; 14年前[1] [2] ( 2010-03 )
安定版リリース	1.14.1 [3]  / 2024年5月3日; 6か月前[4] （2024年5月3日）
リポジトリ	github.com/PointCloudLibrary/pcl
オペレーティング·システム	クロスプラットフォーム
タイプ	図書館
ライセンス	BSDライセンス
Webサイト	ポイントクラウド

ポイントクラウドライブラリ（PCL）は、3次元コンピュータビジョンで発生するようなポイントクラウド処理タスクや3Dジオメトリ処理のためのアルゴリズムのオープンソース ライブラリです。ライブラリには、フィルタリング、特徴推定、表面再構成、3Dレジストレーション、^[5]モデルフィッティング、物体認識、セグメンテーションのアルゴリズムが含まれています。各モジュールは、個別にコンパイル可能な小さなライブラリとして実装されています（例：libpcl_filters、libpcl_features、libpcl_surfaceなど）。PCLには、ポイントクラウドを保存するための独自のデータ形式であるPCD （Point Cloud Data）がありますが、他の多くの形式でデータセットを読み込んで保存することもできます。これはC++で書かれており、BSDライセンスの下でリリースされています。

これらのアルゴリズムは、例えば、ロボット工学における認識において、ノイズの多いデータから外れ値をフィルタリングしたり、3Dポイントクラウドをつなぎ合わせたり、シーンの関連部分をセグメント化したり、キーポイントを抽出して記述子を計算し、幾何学的外観に基づいて世界内のオブジェクトを認識したり、ポイントクラウドから表面を作成して視覚化したりするために使用されています。^{[6] [検証失敗]}

PCL が機能するには、いくつかのサードパーティライブラリが必要であり、インストールする必要があります。ほとんどの数学演算は、Eigenライブラリを使用して実装されています。3D ポイント クラウドの視覚化モジュールは、 VTKに基づいています。共有ポインターにはBoost が使用され、k 近傍検索を高速化するには FLANN ライブラリが使用されます。Qhull、OpenNI、Qtなどの追加ライブラリはオプションであり、追加機能によって PCL を拡張します。

PCLは、 Linux、Windows、macOS、Androidなど、最も一般的に使用されているオペレーティングシステムで動作するクロスプラットフォームソフトウェアです。このライブラリはRobot Operating System (ROS)と完全に統合されており、マルチコア並列処理用のOpenMPおよびIntel Threading Building Blocks (TBB)ライブラリをサポートしています。^{[7] [8]}

このライブラリは継続的に更新・拡張されており、さまざまな業界での使用が拡大し続けています。たとえば、PCLは3つのプロジェクトでGoogle Summer of Code 2020イニシアチブに参加しました。その1つは、Pybind11を使用してPythonで使用するためのPCLの拡張でした。^[9]

PCL Web サイトには、C++ ソース ファイルまたは個々の手順の詳細な説明と解説を含むチュートリアルの形式で、多数の例とチュートリアルが用意されています。

ポイント クラウド ライブラリはさまざまな分野で広く使用されています。以下に例をいくつか示します。

• 3Dポイントクラウドをつなぎ合わせる
• 3Dオブジェクトを幾何学的な外観で認識する
• ノイズの多いデータをフィルタリングして平滑化する
• 点群からサーフェスを作成する
• 以前にキャプチャしたオブジェクトのモデルを、新たにキャプチャしたデータに合わせる
• クラスター認識と6DoF 姿勢推定
• リアルタイムの視覚化によるモバイルデバイスへのポイントクラウドストリーミング

PCL をインストールするには、以下に挙げるいくつかのサードパーティライブラリが必要です。一部のライブラリはオプションであり、PCL に追加機能を追加します。PCL ライブラリは、少なくともバージョン 3.5.0 ではCMakeビルドシステム (http://www.cmake.org/) でビルドされています。 ^{[10] [8]}

必須ライブラリ:

• Boost (http://www.boost.org/) 少なくともバージョン 1.46.1。この C++ ライブラリ セットはスレッド化と主に共有ポインターに使用されるため、システムに既に存在するデータを再コピーする必要はありません。
• Eigen (http://eigen.tuxfamily.org/) は、少なくともバージョン 3.0.0 で必要です。これは、線形代数 (行列、ベクトル) 用のオープンソース テンプレート ライブラリです。PCL のほとんどの数学演算 ( SSE最適化) は、Eigen を使用して実装されています。
• FLANN (http://www.cs.ubc.ca/research/flann/) バージョン 1.6.8 以降。高次元空間で高速近似最近傍検索を実行するライブラリです。PCL では、高速 k 近傍検索操作を行う kdtree モジュールで特に重要です。
• VTK - Visualization ToolKit (http://www.vtk.org/) 少なくともバージョン 5.6.1。3D ポイント クラウドのレンダリング、モデリング、画像処理、ボリューム レンダリング用のマルチプラットフォーム ソフトウェア システム。ポイント クラウドのレンダリングと視覚化のための視覚化モジュールで使用されます。

いくつかの追加機能を有効にするオプションのライブラリ:

• バージョン 2011.1 以降のQHULL (http://www.qhull.org/) は、凸包、ドロネー三角形分割、ボロノイ図などの計算を実装します。PCL では、表面上の凸包/凹包分解に使用されます。
• OpenNIバージョン 1.1.0.25 以上 (http://www.openni.org/) は、深度センサーへの単一の統合インターフェイスを提供します。デバイスからポイント クラウドを取得するために使用されます。
• Qtバージョン >= 4.6 (https://www.qt.io/) は、グラフィカル ユーザー インターフェイス (GUI) を備えたアプリケーションの開発に使用されるクロスプラットフォーム C++ フレームワークです。
• Googletestバージョン >= 1.6.0 (http://code.google.com/p/googletest/) は、C++ テスト フレームワークです。PCL では、テスト ユニットの構築に使用されます。

PCD ( Point Cloud Data )は、3D ポイント クラウド データを保存するためのファイル形式です。既存の形式では PCL ライブラリが提供する機能の一部がサポートされていなかったため、この形式が作成されました。PCD は PCL の主要なデータ形式ですが、ライブラリでは他の形式 (PLY、IFS、VTK、STL、OBJ、X3D など) でデータを保存および読み込む機能も提供しています。ただし、これらの他の形式には、PCD ファイルほどの柔軟性と速度はありません。PCD の利点の 1 つは、整理されたポイント クラウド データセットを保存および処理できることです。もう 1 つの利点は、バイナリ形式で保存されたポイントの保存と読み込みが非常に高速であることです。^{[11] [12]}

PCDのバージョンは、各ファイルのヘッダーにある数字0.x（例：0.5、0.6など）で指定されます。2020年の正式バージョンはPCD 0.7（PCD_V7）です。バージョン0.6との主な違いは、新しいヘッダーVIEWPOINTが追加されたことです。これは、データセットに対するセンサーの向きに関する情報を指定します。^[13]

PCD ファイルは、ヘッダーとデータの 2 つの部分に分かれています。ヘッダーには、正確に定義された形式があり、そこに保存されているポイント クラウド データに関する必要な情報が含まれています。ヘッダーは ASCII でエンコードする必要がありますが、データは ASCII またはバイナリ形式で保存できます。ASCII 形式は人間にとってより読みやすいため、標準的なソフトウェア ツールで開いて簡単に編集できます。

バージョン 0.7 では、 PCD ファイルのバージョンがヘッダーの先頭にあり、その後に保存されているデータの各次元の名前、サイズ、タイプが続きます。また、クラウド全体のポイントの数 (高さ*幅) と、ポイント クラウド データセットが整理されているか整理されていないかの情報も表示されます。データタイプは、ポイント クラウド データがどの形式 (ASCII またはバイナリ) で保存されるかを指定します。ヘッダーの後にはポイントのセットが続きます。各ポイントは、別の行に保存することも (整理されていないポイント クラウド)、画像のような整理された構造に保存することもできます (整理されたポイント クラウド)。^[11]ヘッダー エントリに関する詳細情報は、ドキュメントに記載されています。以下は PCD ファイルの例です。ヘッダー エントリの順序は重要です。

# .PCD v.7 - ポイントクラウドデータファイル形式
バージョン .7
フィールド xyz rgb
サイズ 4 4 4 4
タイプFFFF
カウント 1 1 1 1
幅 213
高さ1
視点 0 0 0 1 0 0 0
ポイント 213
データ ASCII
0.93773 0.33763 0 4.2108e+06
0.90805 0.35641 0 4.2108e+06
0.81915 0.32 0 4.2108e+06
0.97192 0.278 0 4.2108e+06
...
...

ポイントクラウドライブラリの開発は、2010年3月にウィローガレージで開始されました。プロジェクトは当初ウィローガレージのサブドメインにありましたが、2011年3月に新しいウェブサイトwww.pointclouds.orgに移行しました。^[1] PCLの最初の公式リリース（バージョン1.0）は、2か月後の2011年5月にリリースされました。^[2]

PCLは、別々にコンパイルできるいくつかの小さなコードライブラリに分かれています。最も重要なモジュールとその機能を以下に説明します。^{[14] [15]}

3D ポイント クラウドをスキャンすると、エラーやさまざまな偏差が発生し、データにノイズが生じることがあります。これにより、表面法線などの一部のローカル ポイント クラウド特性の推定が複雑になります。これらの不正確さは、その後の処理で重大なエラーにつながる可能性があるため、適切なフィルターを使用して削除することをお勧めします。pcl_filtersライブラリには、外れ値やノイズを削除し、データをダウンサンプリングするための便利なフィルターがいくつか用意されています。フィルターの中には、ポイントをトリミングするための単純な基準を使用するものもあれば、統計分析を使用するものもあります。

• PassThroughフィルター - 選択した 1 つの次元内のポイントをフィルター処理するために使用されます。つまり、ユーザーが指定した範囲内にないポイントを切り取ることができます。
• VoxelGridフィルター - ポイント クラウド内にボクセルのグリッドを作成します。各ボクセル内のポイントは、その重心によって近似されます。これにより、ポイント クラウド データのダウンサンプリング (ポイント数の削減) が行われます。
• StatisticalOutlierRemovalフィルター - 各ポイントの近傍に適用される統計分析手法を使用してポイント クラウド データセットからノイズを除去し、平均距離が定義された間隔外にあるすべてのポイントをトリミングします。
• RadiusOutlierRemovalフィルター - 定義された近傍内で、選択した数より少ない近傍を持つポイントを削除します。

pcl_featuresライブラリには、3D特徴推定のためのアルゴリズムとデータ構造が含まれています。最もよく使用されるローカルな幾何学的特徴は、点の法線と基になる表面の推定曲率です。特徴は、選択された k 近傍 (点の周囲で選択されたデータ空間) に基づいて、特定の点における幾何学的パターンを表します。近傍は、最も近い領域で固定数の点を決定するか、点の周囲の球の半径を定義することによって選択できます。

表面法線を推定する最も簡単な実装方法の 1 つは、ポイントの近傍から作成された共分散行列の固有ベクトルと固有値の分析です。ポイント フィーチャ ヒストグラム (またはより高速な FPFH) 記述子は高度なフィーチャ表現であり、各ポイントでの法線推定に依存します。値の多次元ヒストグラムを使用して、ポイントの周囲の平均曲率を一般化します。ライブラリ内の他の記述子には、Viewpoint Feature Histogram (VFH) 記述子、NARF 記述子、慣性モーメントと偏心に基づく記述子、Globally Aligned Spatial Distribution (GASD) 記述子などがあります。

pcl_segmentationライブラリには、ポイント クラウドを異なるクラスターにセグメント化するアルゴリズムが含まれています。クラスタリングは、クラウドを個別の部分に分割してさらに処理するためによく使用されます。さまざまなセグメント化方法をサポートするいくつかのクラスが実装されています。

• 平面モデルセグメンテーション - ポイントクラウド内の平面モデルをサポートするすべてのポイントを見つけるシンプルなアルゴリズム
• ユークリッドクラスタリング - ユークリッド距離に基づいてポイントのクラスタを作成します
• 条件付きユークリッドクラスタリング - ユークリッド距離とユーザー定義の条件に基づいてポイントをクラスタリングします。
• 領域成長セグメンテーション - 滑らかさの制約に関して十分に近いポイントをマージする
• 色ベースの領域成長セグメンテーション - 領域成長と同じ概念ですが、法線の代わりに色を使用します。
• 最小カットベースのバイナリセグメンテーション - クラウドを前景と背景の点のセットに分割します
• 法線差に基づくセグメンテーション - スケールに基づくセグメンテーション、指定されたスケールパラメータ内に属するポイントを見つける
• スーパーボクセルクラスタリング - 3Dポイントクラウドデータのボリュームオーバーセグメンテーションを生成します

pcl_visualizationライブラリは、3D ポイント クラウド データをすばやく簡単に視覚化するために使用されます。このパッケージは、雲と距離画像の 3D レンダリングに VTK ライブラリを使用します。このライブラリには次の機能があります。

• CloudViewerクラスは、単純なポイント クラウドの視覚化を目的としています。
• RangeImageVisualizer を使用すると、範囲画像を 3D ポイント クラウドとして、または色が範囲値に対応する画像として視覚化できます。
• PCLVisualizer は、複数のアプリケーションを備えた視覚化クラスです。単純なポイント クラウドとカラー データを含むポイント クラウドの両方を表示できます。CloudViewer とは異なり、法線、主曲率、ジオメトリなどの興味深いポイント クラウド情報も描画できます。複数のポイント クラウドを並べて表示して簡単に比較したり、ポイントのセットまたはパラメトリック方程式からさまざまな基本形状 (円柱、球、線、多角形など) を描画したりできます。
• PCLPlotterクラスは、多項式関数からヒストグラムまで、グラフを簡単にプロットするために使用されます。さまざまな種類のプロット入力 (座標、関数) を処理し、自動カラーリングを行うことができます。
• PCLHistogramVisualizer は、2D プロットのヒストグラム視覚化モジュールです。

レジストレーションは、異なるビューから取得されたさまざまなポイント クラウド データセットを 1 つのポイント クラウド モデルに整列させる問題です。pcl_registrationライブラリは、整理されたデータセットと整理されていないデータセットの両方に対して、多数のポイント クラウド レジストレーション アルゴリズムを実装します。タスクは、データ セット間の対応するポイントを識別し、その距離を最小化する変換を見つけることです。

反復最近点アルゴリズムは、2 つのポイントクラウドのポイント間の距離を最小化します。これは、1 つのポイントクラウドが別のポイントクラウドの単なる剛体変換であるかどうかを判断するために使用できます。正規分布変換 (NDT) は、100,000 を超えるポイントを持つ 2 つのポイントクラウド間の剛体変換を判断するために使用できる登録アルゴリズムです。

sample_consensusライブラリには、RANSAC などの SAmple Consensus (SAC) メソッドと、ポイント クラウド内の特定のオブジェクトを検出するためのモデルが含まれています。このライブラリに実装されているモデルには、壁や床などの内部表面を検出するためによく使用される平面モデルが含まれます。次のモデルは、線、平面内の 2D および 3D の円、球、円柱、円錐、指定された軸と平行な線を決定するモデル、ユーザー指定の軸に垂直な平面を決定するモデル、ユーザー指定の軸に平行な平面などです。これらは、一般的な幾何学的構造を持つオブジェクトを検出するために使用できます (例: 円柱モデルをマグカップに当てはめる)。

ライブラリで利用可能な堅牢なサンプルコンセンサス推定値:

• SAC_RANSAC - ランダムサンプルコンセンサス
• SAC_LMEDS - 最小二乗中央値
• SAC_MSAC - M-推定値サンプルコンセンサス
• SAC_RRANSAC - ランダム化 RANSAC
• SAC_RMSAC - ランダム化 MSAC
• SAC_MLESAC - 最大尤度推定サンプルコンセンサス
• SAC_PROSAC - プログレッシブサンプルコンセンサス

pcl_surfaceライブラリには、3D ポイント クラウドの表面再構築のためのアルゴリズムがいくつか実装されています。表面を再構築する方法はいくつかあります。最も一般的に使用される方法の 1 つはメッシュ化で、PCL ライブラリには、元のポイントの非常に高速な三角測量と、穴を滑らかにして埋める低速のネットワーク化の 2 つのアルゴリズムがあります。クラウドにノイズが多い場合は、実装されているアルゴリズムの 1 つを使用して表面を滑らかにすることをお勧めします。

移動最小二乗法( MLS) による表面再構築法は、表面の欠落部分を再構築できる再サンプリング アルゴリズムです。周囲のデータ ポイント間の高次多項式補間により、MLS はスキャンによって生じた小さなエラーを修正して滑らかにすることができます。

貪欲投影三角測量は、法線を持つ順序付けされていない PointCloud 上で高速な表面三角測量のアルゴリズムを実装します。その結果、点の法線に沿って点のローカル近傍を投影することで三角形メッシュが作成されます。表面がローカルに滑らかで、点密度が異なる領域間の遷移が滑らかである場合に最も効果的です。点を接続するときに考慮される多くのパラメータを設定できます (検索される近傍の数、点の最大距離、三角形の最小角度と最大角度)。

このライブラリには、平面モデルの凹包または凸包ポリゴンを作成するための関数、グリッド投影面再構築アルゴリズム、マーチング キューブ、耳クリッピング三角測量アルゴリズム、ポアソン面再構築アルゴリズムなど も実装されています。

io_libraryを使用すると、ポイント クラウドをファイルにロードして保存したり、さまざまなデバイスからクラウドをキャプチャしたりできます。このライブラリには、同じタイプと数のフィールドを持つ 2 つの異なるポイント クラウドのポイントを連結できる関数が含まれています。このライブラリでは、ポイントの数が同じ 2 つの異なるポイント クラウドのフィールド (次元など) を連結することもできます。

PCL 1.0以降、ライブラリはさまざまなデバイスやファイル形式に簡単にアクセスできる新しい汎用グラバー インターフェイスを提供します。データ収集用にサポートされた最初のデバイスは、OpenNI互換カメラでした ( Primesense Reference Design、Microsoft Kinect、Asus Xtion Pro カメラでテスト済み)。PCL 1.7以降では、 360 度のポイント クラウドを生成するVelodyne High Definition LiDAR (HDL) システムからポイント クラウド データを取得することもできます。PCL は、オリジナルのHDL-64eとHDL-32eの両方をサポートしています。Dinast カメラ用の新しいドライバーもあります ( IPA-1110、Cyclopes II、 IPA-1002 ng T-Less NGでテスト済み)。PCL 1.8 では、 IDS-Imaging Ensenso カメラ、 DepthSenseカメラ ( Creative Senz3D、DepthSense DS325など)、davidSDK スキャナー がサポートされます。

pcl_kdtreeライブラリは、k 次元の空間内のポイントのセットを整理するための kd ツリー データ構造を提供します。特定のポイントまたは場所の K 近傍 (FLANN を使用) を見つけるために使用されます 。

pcl_octreeライブラリは、ポイント クラウド データ用の octree 階層ツリー データ構造を実装します。ライブラリは、「ボクセル内の近傍検索」、「K 近傍検索」、「半径内の近傍検索」などの最近傍検索アルゴリズムを提供します。また、リーフ ノードのプロパティによって異なるいくつかの octree タイプもあります。各リーフ ノードは、単一のポイントまたはポイント インデックスのリストを保持できますが、ポイント情報を保存しません。ライブラリは、オクテット ツリー構造の再帰比較によって、複数の整理されていないポイント クラウド間の空間的な変化を検出するためにも使用できます。

pcl_searchライブラリは、KdTree、Octree、または整理されたデータセットの特殊な検索など、他のモジュールにあるさまざまなデータ構造を使用して最近傍を検索するためのメソッドを実装します。

range_imageライブラリには、ピクセル値がセンサーからの距離を表す距離画像を表現および操作するための 2 つのクラスが含まれています。センサーの位置が指定されている場合、または距離画像から境界を抽出できる場合は、距離画像をポイント クラウドに変換できます。

pcl_keypointsライブラリには、ポイント クラウド キーポイント検出アルゴリズム (AGAST コーナー ポイント検出器、Harris 検出器、BRISK 検出器など) の実装が含まれています。

pcl_commonライブラリには、ポイント クラウドのコア データ構造、ポイント表現の型、表面法線、RGB カラー値などが含まれています。また、距離、平均値と共分散、幾何学的変換などを計算するための便利なメソッドも実装されています。共通ライブラリは主に他の PCL モジュールによって使用されます。

• ポイントクラウドライブラリ
• ポイントクラウドライブラリ（PCL）ユーザー
• GitHub リポジトリ
• チュートリアル