Loading article…
シンプル対話型オブジェクト抽出（SIOX）は、カラー画像や動画から前景オブジェクトをユーザーの操作をほとんど必要とせずに抽出するアルゴリズムです。[ 1 ] GIMP （バージョン2.3.3以降）の「前景選択」ツール、 Inkscape （バージョン0.44pre3以降）のトレーサーツールの一部として、 ImageJとFiji（プラグイン）の機能として実装されています。BlenderとKritaの実験的な実装も報告されています。このアルゴリズムは元々動画用に設計されましたが、ほぼすべての実装でSIOXは主に静止画のセグメンテーションに使用されています。実際、オープンソースの世界では、このタスクの現在の事実上の標準であるとよく言われています。
まず、フリーハンド選択ツールを使用して関心領域を指定します。この領域には、抽出するすべての前景オブジェクトが含まれ、背景はできるだけ少なくする必要があります。関心領域の外側のピクセルは確実な背景を形成し、内側の領域は前景のスーパーセット、つまり未知の領域を定義します。次に、いわゆる前景ブラシを使用して、代表的な前景領域をマークします。アルゴリズムは選択マスクを出力します。選択は、前景のマークを追加するか、背景ブラシを使用して背景のマークを追加することによって、さらに絞り込むことができます。
技術的には、このアルゴリズムは以下の手順を実行します。
動画のセグメンテーションでは、動きの統計情報から確実な背景領域と確実な前景領域が学習されます。SIOXには、エッジや高テクスチャ領域をサブピクセル精度で精緻化できるツール、いわゆる「ディテール精緻化ブラシ」も搭載されています。
すべてのセグメンテーションアルゴリズムと同様に、アルゴリズムが完璧な結果を出さない画像が常に存在します。SIOX の最も重大な欠点は、色の依存性です。多くの写真は色によって十分に分離できますが、このアルゴリズムはカモフラージュには対応できません。前景と背景が類似した色の同じ色調を多数共有している場合、アルゴリズムは一部が欠落したり、前景が誤って分類されたりした結果を返す可能性があります。SIOX は、Grabcutなどのグラフ ベースのセグメンテーション手法と比較して、さまざまなベンチマークでほぼ同等の性能を発揮します。ただし、SIOX はノイズに対してより頑健であるため、ビデオのセグメンテーションにも使用できます。グラフ ベースのセグメンテーション手法は最小カットを探索するため、複雑な構造では最適なパフォーマンスを発揮しない傾向があります。
このアルゴリズムは、当初ベルリン自由大学のコンピュータサイエンス学科で開発されました。主な開発者であるジェラルド・フリードランド氏は現在、カリフォルニア大学バークレー校の電気工学・コンピュータサイエンス学科の教員であり、ローレンス・リバモア国立研究所の主席データサイエンティストも務めています。彼は、 Google Summer of Codeなどのプログラムを通して、メンターとして開発を支援し続けています。