LabelMe

LabelMeで提供されるオブジェクトのテキストラベルはユーザー入力に基づいているため、使用されるラベルには大きなばらつきがあります（前述のとおり）。そのため、オブジェクトの分析が困難になる場合があります。たとえば、犬の画像には、 dog、canine、hound、pooch、animalなどのラベルが付けられている可能性があります。理想的には、データを使用する際には、抽象レベルのオブジェクトクラスdogにこれらのテキストラベルすべてを組み込むべきです。

WordNet は、構造的に整理された単語のデータベースです。これにより、単語をカテゴリ、つまり WordNet の用語でいうところの意味に割り当てることができます。意味の割り当ては自動的に行うのは容易ではありません。LabelMe の開発者が自動意味割り当てを試みたところ、エラー率が高いことがわかったため、代わりに単語を手動で意味に割り当てることにしました。LabelMe プロジェクトには新しいラベルが継続的に追加されるため、最初は大変な作業のように思えるかもしれません。右側には、ポリゴンの増加と単語 (説明) の増加を比較したグラフがあります。ご覧のとおり、単語の増加はポリゴンの継続的な増加に比べて小さいため、LabelMe チームが手動で最新の状態に保つのは十分に容易です。^{[ 3 ]}

WordNetによるラベル付けが完了すると、LabelMeデータベースでの検索が格段に効率的になります。例えば、「動物」で検索すると、犬、猫、ヘビなどの画像が表示されるようになります。しかし、手動でラベル付けが行われていたため、 「マウス」とラベル付けされたコンピューターマウスの画像は、「動物」で検索しても表示されません。また、 「犬の散歩」のような複雑な用語でラベル付けされたオブジェクトであっても、WordNetでは「犬」で検索するとこれらのオブジェクトが検索結果として表示されます。WordNetはLabelMeデータベースの利便性を大幅に向上させます。

重複が許容されるオブジェクトの大規模なデータセットがあれば、オブジェクトを別のオブジェクトの一部として分類するのに十分なデータが得られます。たとえば、ホイールに割り当てられたラベルのほとんどは、車や自転車などの他のラベルに割り当てられたオブジェクトの一部である可能性があります。これらは部分ラベルと呼ばれます。ラベルPがラベルOの部分ラベルであるかどうかを判断するには、次のように^なります。 [ ^{4 ]}

• させて${\displaystyle \mathrm {I} _{\mathrm {O} }\,}$ある物体（例：車）を含む画像の集合を表す。
• させて${\displaystyle \mathrm {I} _{\mathrm {P} }\,}$部品（例：ホイール）を含む画像の集合を表す。
• オブジェクトOとパーツPの重なりスコアを、${\displaystyle \mathrm {S} _{\mathrm {O} ,\mathrm {P} }\,}$は、交差領域と部分多角形の面積の比として定義される。（例：${\displaystyle {\frac {\mathrm {A} (\mathrm {O} \cap \mathrm {P} )}{\mathrm {A} (\mathrm {P} )}}\,}$）
• させて${\displaystyle \mathrm {I} _{\mathrm {O} ,\mathrm {P} }\subseteq \mathrm {I} _{\mathrm {P} }\,}$オブジェクトとパーツのポリゴンが${\displaystyle \mathrm {S} _{\mathrm {O} ,\mathrm {P} }>\beta \,}$どこ${\displaystyle \beta \,}$は何らかの閾値です。LabelMe の開発者は、${\displaystyle \beta =0.5\,}$
• 候補ラベルのオブジェクト部分スコアは${\displaystyle {\frac {\mathrm {N} _{\mathrm {O} ,\mathrm {P} }}{\mathrm {N} _{\mathrm {P} }+\alpha }}\,}$どこ${\displaystyle \mathrm {N} _{\mathrm {O} ,\mathrm {P} }\,}$そして${\displaystyle \mathrm {N} _{\mathrm {P} }\,}$画像数は${\displaystyle \mathrm {I} _{\mathrm {O} ,\mathrm {P} }\,}$そして${\displaystyle \mathrm {I} _{\mathrm {P} }\,}$それぞれ、${\displaystyle \alpha \,}$は濃度パラメータです。LabelMeの著者はこれを使用しています。${\displaystyle \alpha =5\,}$。

このアルゴリズムは、部分オブジェクトが外側のオブジェクト内に頻繁に含まれている場合に、オブジェクトの部分を自動的に分類することを可能にする。

オブジェクトの重なりのもう 1 つの例は、一方のオブジェクトが実際にはもう 1 つのオブジェクトの上に重なっている場合です。たとえば、画像に建物の前に立っている人物が含まれている場合があります。人物は建物の一部ではないため、上記のように部分ラベルではありません。代わりに、それらはたまたま重なっている 2 つの別々のオブジェクトです。どのオブジェクトが前景で、どのオブジェクトが背景かを自動的に判断するために、LabelMe の開発者はいくつかのオプションを提案しています。^{[ 5 ]}

• ある物体が別の物体の中に完全に含まれている場合、内側の物体は必ず前景になければなりません。そうでなければ、画像に写らないからです。唯一の例外は透明または半透明の物体ですが、これらはまれにしか発生しません。
• 対象物のうちの1つは、前景に表示できないものとしてラベル付けされる可能性があります。例としては、空、地面、道路などが挙げられます。
• 交差領域内に多角形の頂点が多いオブジェクトが、おそらく前景である。著者らはこの仮説を検証し、非常に高い精度であることを確認した。
• ヒストグラム交差法^{[ 6 ]}を用いることができる。この方法では、交差する領域のカラーヒストグラムを2つのオブジェクトのカラーヒストグラムと比較する。カラーヒストグラムが近い方のオブジェクトを前景として指定する。この方法は、ポリゴンの点数を数える方法よりも精度が低い。