Uネット

U-Netは、画像セグメンテーション用に開発された畳み込みニューラルネットワークです。^{[ 1 ]}このネットワークは、完全畳み込みニューラルネットワーク^{[ 2 ]}をベースにしており、そのアーキテクチャは、より少ないトレーニング画像で動作し、より正確なセグメンテーションを実現できるように変更および拡張されています。U -Net アーキテクチャを使用すると、最新の (2015 年) GPUで512 × 512 画像のセグメンテーションに 1 秒未満しかかかりません。 ^{[ 1 ] [ 3 ] [ 4 ] [ 5 ]}  

U-Netアーキテクチャは、反復的な画像ノイズ除去のための拡散モデルにも採用されています。^{[ 6 ]}この技術は、 DALL-E、Midjourney、Stable Diffusionなど、多くの最新の画像生成モデルの基盤となっています。

U-Netは言語モデルにも応用されている。^{[ 7 ]}トークン化は独立したステップではないため、モデルはスペルをより簡単に理解し、同時に高レベルの概念をベクトル化/トークン化することができる。

U-Netアーキテクチャは、いわゆる「完全畳み込みネットワーク」に由来する。^{[ 2 ]}

主なアイデアは、通常の縮約ネットワークに、プーリング操作をアップサンプリング演算子に置き換えた連続レイヤーを追加することです。これにより、出力の解像度が向上します。その後、連続する畳み込みレイヤーは、この情報に基づいて正確な出力を組み立てることを学習できます。^{[ 1 ]}

U-Net の重要な変更点の 1 つは、アップサンプリング部分に多数の特徴チャネルがあり、ネットワークがコンテキスト情報をより高解像度のレイヤーに伝播できる点です。結果として、拡張パスは収縮部分とほぼ対称になり、U 字型のアーキテクチャが得られます。ネットワークは、全結合層を使用せずに、各畳み込みの有効な部分のみを使用します。^{[ 2 ]}画像の境界領域のピクセルを予測するために、入力画像をミラーリングすることで欠落したコンテキストが外挿されます。このタイリング戦略は、解像度がGPUメモリによって制限されるため、ネットワークを大きな画像に適用するために重要です。最近では、医療画像のセグメンテーションのための受容野ベースの U-Net モデルにも関心が寄せられています。^{[ 8 ]}

このネットワークは、収縮パスと拡張パスで構成されており、U字型のアーキテクチャになっています。収縮パスは、畳み込みを繰り返し適用し、それぞれに整流線形ユニット（ReLU）と最大プーリング演算が続く、典型的な畳み込みネットワークです。収縮中は、空間情報が削減され、特徴情報が増加します。拡張パスは、一連のアップ畳み込みと、収縮パスからの高解像度特徴との連結によって、特徴情報と空間情報を結合します。^{[ 9 ]}

U-Net は、コンピュータ断層撮影(CT) や磁気共鳴画像法(MRI) スキャン内のさまざまな臓器や身体システムのセグメンテーションなど、生体医用画像セグメンテーションに多くの応用例があります。具体的な例としては、脳画像セグメンテーション ( 「BRATS」^{[ 10 ]} ) や肝臓画像セグメンテーション (「siliver07」^{[ 11 ]} )、タンパク質結合部位予測などがあります。^{[ 12 ]} U-Net の実装は、物理科学でも使用されており、たとえば材料の顕微鏡写真の分析などに使用されています。^{[ 13 ] [ 14 ] [ 15 ]} U-Net のバリエーションは、医用画像再構成にも適用されています。^{[ 16 ]}以下に、U-Net のいくつかのバリエーションと応用例を示します。

1. U-Net を使用したピクセル単位の回帰とパンシャープニングへの応用; ^{[ 17 ]}
2. 3D U-Net: 疎なアノテーションから密な体積セグメンテーションを学習する; ^{[ 18 ]}
3. TernausNet: 画像セグメンテーションのためにImageNetで事前学習されたVGG11エンコーダーを備えたU-Net。^{[ 19 ]}
4. 蛍光染色を推定するための画像間変換^{[ 20 ]}
5. タンパク質構造の結合部位予測において。^{[ 12 ]}

U-Net は、2015 年に Olaf Ronneberger、Philipp Fischer、Thomas Brox によって作成され、論文「U-Net: Convolutional Networks for Biomedical Image Segmentation」で報告されました。^{[ 1 ]これは、FCN: Evan Shelhamer、Jonathan Long、Trevor Darrell (2014)「Fully convolutional networks for semantic segmentation」 [ 2 ]}の改良および開発です。

• Tensorflow Unet（J Akeret著、2017年）
• U-Netのソースコードは、ドイツ、フライブルク大学コンピュータサイエンス学部のパターン認識および画像処理部門から提供されたものです。