画像の拡大縮小

コンピュータ グラフィックスとデジタル イメージングでは、画像の スケーリングはデジタル画像のサイズ変更を指します。ビデオ技術では、デジタル素材の拡大はアップスケーリングまたは解像度の拡張と呼ばれます。

ベクター グラフィックイメージを拡大縮小する場合、イメージを構成するグラフィック プリミティブは、画質を損なうことなく、幾何学的変換を使用して拡大縮小できます。ラスター グラフィックイメージを拡大縮小する場合は、ピクセル数が多いか少ない新しいイメージを生成する必要があります。ピクセル数を減らす (縮小する) 場合、通常は目に見える画質の低下が生じます。デジタル信号処理の観点から見ると、ラスター グラフィックの拡大縮小は、サンプル レート変換、つまり離散信号のサンプリング レート(この場合はローカル サンプリング レート)から別のサンプリング レートへの変換の 2 次元の例です。

画像のスケーリングは、ナイキスト標本化定理の観点から、画像の再サンプリングまたは画像再構成の一種として解釈できます。定理によると、高解像度のオリジナルからより小さな画像へのダウンサンプリングは、エイリアシング アーティファクトを防ぐために適切な 2Dアンチエイリアシング フィルターを適用した後にのみ実行できます。画像は、より小さな画像で伝達できる情報に縮小されます。

アップサンプリングの場合、アンチエイリアシング フィルターの代わりに 再構成フィルターが使用されます。

• 
  オリジナル 160x160px 画像
• 
  空間周波数領域における元の画像
• 
  2Dローパスフィルターを適用していますが、160x160ピクセルのままです
• 
  空間周波数領域におけるフィルタリングされた画像

• 
  ローパスフィルタをかけた 160x160 ピクセルの画像を 4 倍にダウンサンプリングして 40x40 ピクセルにする 
• 
  40x40px のダウンサンプリング画像を 160x160px に 4 倍フーリエアップサンプリング (正しい再構成)
• 
  40x40px のダウンサンプリング画像を 160x160px に 4 倍フーリエアップサンプリング (エイリアシングあり)

アップスケーリングに対するより洗練されたアプローチでは、問題を逆問題として扱い、縮小したときに入力画像のように見える妥当な画像を生成するという問題を解決します。これには、正規化項を使用した最適化手法や例からの機械学習の使用など、さまざまな手法が適用されています。

画像サイズはいくつかの方法で変更できます。

画像サイズを大きくする簡単な方法の 1 つは、最近傍補間です。これは、すべてのピクセルを出力内の最も近いピクセルに置き換えます。アップスケールの場合、これは同じ色の複数のピクセルが存在することを意味します。これにより、鮮明なディテールが保持されますが、以前は滑らかだった画像にギザギザが発生します。最近傍補間の「最近傍」は、数学的に最も近いものである必要はありません。一般的な実装の 1 つは、常にゼロに向かって丸めることです。この方法で丸めると、アーティファクトが少なくなり、計算が速くなります。^{[引用が必要]}

このアルゴリズムは、滑らかなエッジがほとんどまたは全くない画像によく使用されます。このアルゴリズムの一般的な応用例は、ピクセル アートです。

双線形補間は、ピクセルのカラー値を補間することで機能し、元の素材に離散的な遷移がある場合でも、出力に連続的な遷移を導入します。これは連続トーン画像には望ましいものですが、このアルゴリズムはコントラスト(シャープなエッジ) を低下させるため、線画には望ましくない場合があります。双三次補間では、計算コストは​​増加しますが、大幅に優れた結果が得られます。^{[引用が必要]}

理論上、 sinc 再サンプリングは、完全に帯域制限された信号に対して可能な限り最良の再構成を提供します。実際には、sinc 再サンプリングの前提は、現実世界のデジタル画像では完全には満たされません。sinc法の近似であるLanczos 再サンプリングは、より良い結果をもたらします。双三次補間は、Lanczos 再サンプリングの計算効率の高い近似と見なすことができます。^{[引用が必要]}

バイリニア、バイキュービック、および関連アルゴリズムの弱点の 1 つは、特定の数のピクセルをサンプリングすることです。すべてのバイサンプリング アルゴリズムで 2 倍以上など、特定のしきい値を下回るダウンスケールを行うと、アルゴリズムは隣接していないピクセルをサンプリングするため、データが失われ、結果が粗くなります。^{[引用が必要]}

この問題の簡単な解決策はボックス サンプリングです。これは、ターゲット ピクセルを元の画像上のボックスと見なし、ボックス内のすべてのピクセルをサンプリングするものです。これにより、すべての入力ピクセルが出力に寄与することが保証されます。このアルゴリズムの主な弱点は、最適化が難しいことです。^{[引用が必要]}

バイサンプリング スケーリングのダウンスケール問題に対するもう 1 つの解決策は、ミップマップです。ミップマップは、ダウンスケールされたコピーの事前スケール セットです。ダウンスケールするときは、最も近い大きいミップマップを原点として使用して、バイリニア スケーリングの有効なしきい値を下回るスケーリングが行われないようにします。このアルゴリズムは高速で、最適化も簡単です。これは、OpenGLなどの多くのフレームワークで標準となっています。コストは、画像メモリの使用量が増えることであり、標準実装では正確に 3 分の 1 多くなります。

フーリエ変換に基づく単純な補間により、周波数領域にゼロ成分が埋め込まれます (滑らかなウィンドウベースのアプローチではリンギングが軽減されます)。詳細の良好な保存 (または回復) に加えて、リンギングと、左の境界から右の境界 (およびその逆) へのコンテンツの円形のにじみが注目に値します。

エッジ指向補間アルゴリズムは、階段状のアーティファクトを導入する可能性がある他のアルゴリズムとは異なり、スケーリング後に画像のエッジを保持することを目的としています。

このタスクのアルゴリズムの例には、New Edge-Directed Interpolation (NEDI) ^{[1] [2]} Edge-Guided Image Interpolation (EGGI) ^[3] Iterative Curvature-Based Interpolation (ICBI) ^[要出典]およびDirectional Cubic Convolution Interpolation (DCCI) ^[4]などがあります。 2013年の分析では、一連のテスト画像において、 DCCIがピーク信号対雑音比と構造類似性 において最高のスコアを獲得したことがわかりました。 ^[5]

解像度が低く、色数が少ない (通常 2 色から 256 色) コンピュータ グラフィックスを拡大する場合は、hqxまたはその他のピクセル アート スケーリング アルゴリズムを使用すると、より良い結果が得られます。これらのアルゴリズムは、シャープなエッジを生成し、高いレベルの詳細を維持します。

ベクター抽出、またはベクター化は、別のアプローチを提供します。ベクター化では、まず、拡大縮小するグラフィックの解像度に依存しないベクター表現を作成します。次に、解像度に依存しないバージョンが、目的の解像度でラスター画像としてレンダリングされます。この手法は、Adobe Illustrator、Live Trace、およびInkscapeで使用されています。^[6] スケーラブルベクターグラフィックスは単純な幾何学的画像に適していますが、写真は複雑なためベクター化に適していません。

この方法は、写真や複雑なアートワークなどのより詳細な画像に機械学習を使用します。この方法を使用するプログラムには、 waifu2x、Imglarger、Neural Enhance などがあります。

Evelyn De MorganによるPhosphorus と Hesperusの詳細を使用して、ノイズ低減機能を備えた従来のアップスケーリングと waifu2x アップスケーリングを比較したデモンストレーション。[画像をクリックするとフルサイズで表示されます]

• 
  オリジナル画像
• 
  PaintShop Proを使用して200%拡大した画像
• 
  中程度のノイズ低減を施した写真モードでwaifu2x を使用して 200% アップスケールした画像
• 
  Topaz AI ギガピクセルを使用して低ノイズ低減で 400% アップスケールした画像
• 
  RealSR DF2K-JPEG を使用して 400% アップスケールされた画像

MyHeritage Photo Enhancerなどの AI 駆動型ソフトウェアを使用すると、オリジナルには存在しないディテールと鮮明さを歴史的な写真に追加できます。

• 
  州議会のディレクトリからスキャンしたジョン・ハワード・リンダウアーの低品質の 270×368 ピクセルの写真
• 
  同じ画像をMyHeritageのPhoto Enhancerで2160×2944ピクセルに拡大したもの

画像のスケーリングは、 Webブラウザ、^[7]、 画像エディタ、画像およびファイルビューア、ソフトウェア拡大鏡、デジタルズーム、サムネイル画像の生成プロセス、および画面やプリンタを介した画像の出力 などのアプリケーションで使用されます。

このアプリケーションは、DVD プレーヤーなどの PAL 解像度のコンテンツから、HDTV 対応出力デバイス用のホーム シアター用に画像を拡大します。アップスケーリングはリアルタイムで実行され、出力信号は保存されません。

ピクセル アートグラフィックは通常、解像度が低いため、個々のピクセルを慎重に配置する必要がありますが、色のパレットも限られていることがよくあります。その結果、個々のピクセルに至るまで解像度が低く、複雑な形状を定義するために様式化された視覚的な手がかりに依存するグラフィックが作成されます。このため、ピクセル アートのスケーリングは特に難しい問題になります。

従来のスケーリングアルゴリズムでは知覚的な手がかりが考慮されないため、ピクセルアートグラフィックスを処理するために 特殊なアルゴリズム^{[8]が開発されました。}

典型的な用途は、アーケードやコンソール エミュレーター上の第 4 世代以前のビデオ ゲームの外観を改善することであるため、多くのエミュレーターは、小さな入力画像を 60 フレーム/秒でリアルタイムに実行できるように設計されています。

高速ハードウェアでは、これらのアルゴリズムはゲームやその他のリアルタイム画像処理に適しています。これらのアルゴリズムは、ぼやけを最小限に抑えながら、鮮明で鮮明なグラフィックを提供します。スケーリングアートアルゴリズムは、HqMAMEやDOSBoxなどの幅広いエミュレーター、およびScummVMなどの2Dゲームエンジンとゲームエンジンの再現に実装されています。これらのテクノロジはゲーマーの間で認知され、1980年代と1990年代のゲーム体験の復活を促しました。^{[引用が必要]}

このようなフィルターは現在、 Xbox Live、バーチャルコンソール、PSNの商用エミュレーターで使用されており、古典的な低解像度のゲームを最新のHDディスプレイで視覚的に魅力的に表示できるようにしています。これらのフィルターを組み込んだ最近リリースされたゲームには、Sonic's Ultimate Genesis Collection、Castlevania: The Dracula X Chronicles、Castlevania: Symphony of the Night、悪魔城ドラキュラX 血の輪舞などがあります。

多くの企業が、ビデオゲームで画面に描画されるときなどに、ビデオフレームをリアルタイムでアップスケールする技術を開発している。Nvidiaのディープラーニングスーパーサンプリング（DLSS）は、ディープラーニングを使用して低解像度の画像を高解像度にアップサンプリングし、高解像度のコンピュータモニターに表示する。^[9] AMDのFidelityFXスーパー解像度1.0（FSR）は機械学習を採用しておらず、従来の手書きアルゴリズムを使用して従来のシェーディングユニットで空間アップスケールを実現している。FSR 2.0は、やはり手動で調整されたアルゴリズムを使用して時間アップスケールを利用する。FSRの標準化されたプリセットは強制されず、Dota 2などの一部のタイトルでは解像度スライダーが提供される。^{[10]その他の技術には、} Intel XeSSやNvidia Image Scaler（NIS）がある。 ^{[11] [12]}

• バイキュービック補間
• 双線形補間
• 画像再構成
• ランチョス再サンプリング
• スプライン補間
• 縫い目彫り
• ビデオスケーラー
• スケーリング（ジオメトリ）

ウィキメディア・コモンズには、画像の拡大縮小に関連するメディアがあります。