テクスチャマッピング

テクスチャマップは、スキャンやデジタル写真によって取得したり、 GIMPやPhotoshopなどの画像編集ソフトウェアでデザインしたり、MudboxやZBrushなどの3Dペイントツールで3Dサーフェスに直接ペイントしたりすることができます。

このプロセスは、無地の白い箱に模様付きの紙を貼ることに似ています。ポリゴンの各頂点にはテクスチャ座標が割り当てられます（2D の場合はUV 座標とも呼ばれます）。^{[ 8 ]}これは、頂点属性を明示的に割り当てるか、3D モデリング パッケージでUV アンラッピング ツールを使用して手動で編集することで実行できます。また、3D 空間からテクスチャ空間へのプロシージャル変換をマテリアルに関連付けることも可能です。これは、平面投影、または円筒形または球面マッピングによって実現できます。より複雑なマッピングでは、歪みを最小限に抑えるために、サーフェスに沿った距離を考慮する場合があります。これらの座標は、レンダリング中にテクスチャ マップをサンプリングするために、ポリゴンの面全体に補間されます。テクスチャは、有限の矩形ビットマップをより広い領域に拡張するために繰り返したりミラーリングしたり、サーフェスの各部分から 1 対 1 の一意の「射影」マッピングを持つことができます (これは、レンダリング マッピングとライト マッピング(ベイクとも呼ばれます)にとって重要です)。

マルチテクスチャリングとは、ポリゴンに一度に複数のテクスチャを使用することです。^{[ 9 ]}例えば、ライトマップテクスチャは、サーフェスがレンダリングされるたびにライティングを再計算する代わりに、サーフェスを照らすために使用できます。マイクロテクスチャまたはディテールテクスチャは、より高周波のディテールを追加するために使用され、ダートマップは風化と変化を追加します。これにより、繰り返しテクスチャの見かけ上の周期性を大幅に低減できます。現代のグラフィックスでは、10 を超えるレイヤーが使用され、シェーダーを使用して結合され、より高い忠実度を実現します。もう 1 つのマルチテクスチャ技術はバンプマッピングです。これは、テクスチャがライティング計算のためにサーフェスの向きを直接制御できるようにするものです。通常の詳細な色に加えてライティングの詳細が反映された複雑なサーフェス (木の皮や粗いコンクリートなど) の非常に良い外観を実現できます。バンプマッピングは、グラフィックス ハードウェアがリアルタイムで対応できるほど強力になったため、ビデオゲームで人気になっています。^{[ 10 ]}

サンプル（例えば、画面上でピクセルとして表示される場合）がテクセル（テクスチャピクセル）から計算される方法は、テクスチャフィルタリングによって決まります。最も安価な方法は最近傍補間を使用することですが、ミップマップ間の双線形補間または三線形補間は、エイリアシングやギザギザを軽減する2つの一般的な代替手段です。テクスチャ座標がテクスチャの範囲外にある場合は、クランプまたはラップされます。異方性フィルタリングは、斜めの視点からテクスチャを表示する際の方向性アーティファクトをより効果的に除去します。

テクスチャストリーミングとは、テクスチャ用のデータストリームを使用する手法であり、各テクスチャは2つ以上の異なる解像度で利用可能であり、ビューアからの描画距離とテクスチャに使用可能なメモリ量に基づいて、どのテクスチャをメモリにロードして使用するかを決定します。テクスチャストリーミングにより、レンダリングエンジンは、ビューアのカメラから遠く離れたオブジェクトには低解像度のテクスチャを使用し、視点がオブジェクトに近づくにつれて、データソースから読み取ったより詳細なテクスチャにそれらを解決することができます。

最適化として、複雑で高解像度のモデルや高コストな処理（グローバルイルミネーションなど）からの詳細をサーフェステクスチャ（場合によっては低解像度モデル上）にレンダリングすることが可能です。この手法はベイク（またはレンダーマッピング）と呼ばれ、ライトマップに最も一般的に使用されますが、ノーマルマップやディスプレイスメントマップの生成にも使用できます。一部のコンピュータゲーム（例：Messiah）はこの手法を使用しています。オリジナルのQuakeソフトウェアエンジンは、サーフェスキャッシングと呼ばれるプロセスでライトマップとカラーマップを組み合わせるために、オンザフライベイクを使用していました。

ベイク処理は、ディテールレベル生成の一種として使用できます。複雑なシーンを、多数の異なる要素やマテリアルで構成された単一の要素と単一のテクスチャで近似し、アルゴリズムによってレンダリングコストとドローコール数を削減します。また、 3Dスカルプティングソフトウェアや点群スキャンから得られた高精細モデルを、リアルタイムレンダリングに適したメッシュで近似するためにも使用されます。

アフィンテクスチャマッピングは、サーフェス全体にわたってテクスチャ座標を線形補間するため、最も高速なテクスチャマッピング方式です。一部のソフトウェアやハードウェア（初代PlayStation）は、レンダリング中に3D空間の頂点をスクリーン上に投影しスクリーン空間のテクスチャ座標を線形補間します、固定点UV座標をか、ブレゼンハムの線アルゴリズムに似たインクリメント誤差アルゴリズム行われます。

垂直な多角形とは対照的に、これは透視変換時に顕著な歪みを生じさせます（図に示すように、市松模様のテクスチャが曲がって見えます）。特にカメラに近いプリミティブではこの歪みが顕著になります。この歪みは、多角形をより小さな多角形に分割することで軽減できます。

長方形オブジェクトに四角形プリミティブを使用すると、長方形を三角形に分割する場合よりも見た目の不自然さが軽減されます。しかし、4点補間はラスタライズ処理を複雑化するため、初期の実装では三角形のみを使用する方式が主流でした。Nvidia NV1で使用されているフォワードテクスチャマッピングなどの一部のハードウェアでは、効率的な四角形プリミティブが提供されていました。透視補正を行うと、三角形は四角形プリミティブと同等になり、この利点は失われます。

床や壁など、ビューアに対して直角な長方形のオブジェクトの場合、画面の両方向ではなく、片方向のみの透視図法を補正すれば十分です。正しい透視図法は、床の左右の端で計算できます。その水平方向の範囲でアフィン線形補間を行うと、その線上のすべてのピクセルがビューアから同じ距離にあるため、正しく表示されます。

透視補正テクスチャリングは、2Dスクリーン空間の座標を単純に補間するのではなく、3D空間における頂点の位置を考慮します。 ^{[ 11 ]}透視補正テクスチャリングは正しい視覚効果を実現しますが、計算コストが高くなります。 ^{[ 11 ]}

テクスチャ座標の透視補正を行う${\displaystyle u}$そして${\displaystyle v}$、 と${\displaystyle z}$視聴者の視点からの奥行き成分であるため、値${\displaystyle {\frac {1}{z}}}$、${\displaystyle {\frac {u}{z}}}$、 そして${\displaystyle {\frac {v}{z}}}$テクスチャリングされる表面全体にわたってスクリーン空間で線形です。対照的に、オリジナル${\displaystyle z}$、${\displaystyle u}$、 そして${\displaystyle v}$分割前のこれらの値は、スクリーン空間において表面全体にわたって線形ではありません。そのため、これらの逆数を表面全体にわたって線形補間し、各ピクセルで補正値を計算することで、透視補正されたテクスチャマッピングを作成することが可能です。

これを行うには、幾何学的形状の各頂点（三角形の場合は3点）における逆数を計算します。頂点${\displaystyle n}$逆数を持つ${\displaystyle {\frac {u_{n}}{z_{n}}}}$、${\displaystyle {\frac {v_{n}}{z_{n}}}}$、 そして${\displaystyle {\frac {1}{z_{n}}}}$すると、これらの逆数に対して線形補間を行うことができます。${\displaystyle n}$頂点（例えば、重心座標を使用）から、表面全体にわたって補間された値が得られます。特定の点では、これにより補間された値が得られます。$u_i,v_i$そして${\displaystyle {\frac {1}{z_{i}}}}$（相互${\displaystyle z_{i}}$しかし、除算は${\displaystyle z}$座標系を変更したため、$u_i,v_i$テクスチャ座標として使用できません。${\displaystyle u,v}$スペース、修正済み${\displaystyle z}$逆数をもう一度取ることで計算されます。${\displaystyle z_{正解}={\frac {1}{\frac {1}{z_{i}}}}$。これは、$u_i,v_i$座標:${\displaystyle u_{correct}=u_{i}\cdot z_{i}}$そして${\displaystyle v_{correct}=v_{i}\cdot z_{i}}$[ ^{12 ]​}

この補正により、ポリゴンのビューアに近い部分ではテクスチャ座標間のピクセルごとの差が小さくなり（テクスチャが広く引き伸ばされる）、ビューアから遠い部分では差が大きくなる（テクスチャが圧縮される）。

アフィンテクスチャマッピングはテクスチャ座標を直接補間します$u_{\alpha }}$2つの端点の間$u0$そして$u_1$: $${\displaystyle u_{\alpha }=(1-\alpha )u_{0}+\alpha u_{1}}$$ どこ${\displaystyle 0\leq \alpha \leq 1}$。

透視補正マッピングは、深度で割った後に補間を行います。${\displaystyle z}$そして、補間された逆数を使用して正しい座標を復元します。 $${\displaystyle u_{\alpha }={\frac {(1-\alpha ){\frac {u_{0}}{z_{0}}}+\alpha {\frac {u_{1}}{z_{1}}}}{(1-\alpha ){\frac {1}{z_{0}}}+\alpha {\frac {1}{z_{1}}}}}$$3Dグラフィックスハードウェアは通常、遠近法に配慮したテクスチャリングをサポートしています。

テクスチャマッピングされたジオメトリを画像にレンダリングするための様々な技術が開発されており、それぞれ異なる品質と精度のトレードオフがあり、ソフトウェアとハ​​ードウェアの両方に適用できる。

従来のソフトウェアテクスチャマッパーは、一般的にせいぜい1つの照明効果（通常はルックアップテーブルを介して適用される）を伴う単純なテクスチャマッピングしか実行できず、遠近法の正確性を実現するには約16倍のコストがかかった。

Doomエンジンは、垂直な壁と水平な床と天井という制約の中で世界を捉え、カメラは垂直軸を中心にしか回転できないという制限を設けていました。つまり、壁は垂直線に沿って一定の奥行き座標を持ち、床と天井は水平線に沿って一定の奥行きを持つことになります。奥行きに対する透視補正計算を一度行った後、残りの線は高速なアフィンマッピングで処理することができました。この時代の後期のレンダラーの中には、シアリングによってわずかなカメラのピッチをシミュレートすることで、同じレンダリング手法を用いながらも、より自由な表現を可能にしたものもありました。

一部のエンジンは、ブレゼンハムのようなインクリメンタルアルゴリズムを介してテクスチャマッピングされたハイトマップをレンダリングすることができ（例えば、 Nova LogicのVoxel SpaceやOutcastのエンジンなど）、従来の幾何学的プリミティブを使用せずにテクスチャマッピングされた風景の外観を生成しました。^{[ 13 ]}

演算処理を常に稼働させ、より高速な演算結果を得るために、各三角形を約16ピクセルのグループにさらに細分化することができる。

スクリーン空間の細分化

ソフトウェアレンダラーは一般的に、オーバーヘッドが少ないため、画面分割を好みます。さらに、セットアップを簡素化するため（2Dアフィン補間と比較して）、ピクセルの線に沿って線形補間を行うことで、オーバーヘッドをさらに削減しようとします。もう一つの理由は、アフィンテクスチャマッピングはx86 CPUの少ないCPUレジスタ数には収まらないことです。68000やRISCプロセッサの方が、このアプローチにははるかに適しています。

Quakeでは異なるアプローチが採用され、走査線の 16 ピクセルごとに一度だけ透視補正座標を計算し、それらの間を線形補間することで、透視補正計算がコプロセッサ上で並列に実行されるため、実質的に線形補間の速度で動作します。^{[ 14 ]}ポリゴンは独立してレンダリングされるため、ポリゴン法線の向きに応じてスパンと列または対角方向を切り替えることで、より一定の z を実現できる可能性がありますが、その労力に見合う価値はないようです。

テクスチャマッピングハードウェアは、当初、シミュレーション（例えば、Evans and Sutherland ESIGやSinger-Link Digital Image Generators DIGに実装されているもの）やプロフェッショナル向けグラフィックスワークステーション（ Silicon Graphicsなど）、Ampex ADOなどの放送用デジタルビデオエフェクトマシン向けに開発されました。その後、 1990年代半ばには、アーケード筐体、家庭用ビデオゲーム機、PC用ビデオカードにもテクスチャマッピングハードウェアが搭載されるようになりました。

飛行シミュレーションでは、テクスチャマッピングによって、テクスチャのない表面では得られない、パイロットの訓練に必要な重要な動きや高度の手がかりが得られました。さらに、テクスチャマッピングは、メモリに保存された事前フィルタリングされたテクスチャパターンのリアルタイム処理にビデオプロセッサがリアルタイムでアクセスできるように実装されました。^{[ 16 ]}

最新のグラフィックス処理ユニット（GPU）は、テクスチャサンプラーまたはテクスチャマッピングユニットと呼ばれる専用の固定機能ユニットを備えており、通常は三線形フィルタリングまたはより高度なマルチタップ異方性フィルタリングを用いてテクスチャマッピングを実行し、 DXTnなどの特定のフォーマットをデコードするためのハードウェアも搭載しています。2016年現在、ほとんどのSoCに適切なGPUが搭載されているため、テクスチャマッピングハードウェアは広く普及しています。

ハードウェア実装によっては、タイルベースの遅延レンダリングやスキャンラインレンダリングにおいて、テクスチャマッピングと隠面判定を組み合わせているものがあります。このようなシステムでは、可視テクセルのみを取得するため、変換された頂点に広い作業空間が必要になります。ほとんどのシステムはZバッファリング方式を採用しており、前面から背面へのソートによってテクスチャマッピングの負荷を軽減できます。

初期のグラフィックハードウェアでは、画面にテクスチャを表示する方法に関して、2つの競合するパラダイムが存在した。

1. フォワードテクスチャマッピングは、テクスチャ上の各テクセルを順に処理し、画面上のどこに配置するかを決定します。
2. 逆テクスチャマッピングは、画面上のピクセルを順に処理し、それぞれのピクセルにどのテクセルを使用するかを決定します。

これらの手法のうち、逆テクスチャマッピングは現代のハードウェアにおいて標準的な手法となっている。

テクスチャマッピングハードウェアを使用することで、断層撮影スキャンからのボクセルデータセットの再構築と結果の可視化の両方を高速化することが可能になります。^{[ 17 ]}

多くのユーザーインターフェースは、画面要素のアニメーション遷移を高速化するためにテクスチャマッピングを使用しています。たとえば、Mac OS XのExposéなどです。