ディープラーニングスーパーサンプリング

ディープラーニングスーパーサンプリング（DLSS ）は、 Nvidiaが開発したリアルタイム ディープラーニング画像強化およびアップスケーリング技術のファミリーであり、多くのビデオゲームで利用できます。これらの技術の目的は、グラフィックスパイプラインの大部分を低解像度で実行してパフォーマンスを向上させ、そこから高解像度の画像を推測して、画像がこの高解像度でレンダリングされた場合と同じレベルの詳細に近づけることです。これにより、ユーザーの好みに応じて、特定の出力解像度でより高いグラフィック設定やフレームレートが可能になります。 ^[1]

2022年9月現在、DLSSの第1世代と第2世代は、サポートされているタイトルでNvidiaのすべてのRTXブランドのカードで利用できますが、NvidiaのGTC 2022イベントで発表された第3世代は、 Ada Lovelace世代のRTX 40シリーズグラフィックスカード専用です。 ^[2] Nvidiaは、グラフィックスを高解像度でレンダリングしてから、AI支援ダウンサンプリングアルゴリズムを使用してネイティブディスプレイ解像度にダウンサンプリングし、ネイティブ解像度でレンダリングするよりも高い画質を実現する、関連した逆の技術であるディープラーニング動的超解像（DLDSR）も導入しました。^[3]

Nvidiaは、2018年9月にGeForce 20シリーズカードを発売した際、DLSSをその主要機能として宣伝した^。[4]当時、アルゴリズムは適用されるゲームごとに特別にトレーニングする必要があり、結果は通常、単純な解像度のアップスケーリングほど良くなかったため、結果はいくつかのビデオゲーム（具体的には^{Battlefield V [5]}とMetro Exodus）に限定されていました。^{[6] [7]}

2019年、ビデオゲーム「Control」はリアルタイムレイトレーシングと、Tensorコアを使用しないDLSSの改良版を搭載して発売された。 ^{[8] [9]}

2020年4月、NvidiaはDLSSの改良版であるDLSS 2.0をドライバーバージョン445.75で宣伝し出荷した。DLSS 2.0はControlやWolfenstein: Youngbloodなどいくつかの既存ゲームで利用でき、後にUnreal Engine ^[10]やUnity ^[11]などの新しくリリースされた多くのゲームやゲームエンジンに追加されることになった。Nvidiaは今回もTensorコアを使用し、AIを各ゲームごとに特別にトレーニングする必要はないと述べた。^{[4] [12]} DLSSブランドを共有しているにもかかわらず、2つのDLSSのイテレーションは大きく異なり、下位互換性はない。^{[13] [14]}

DLSS を使用する場合、ゲームに応じて、内部でレンダリングされたアップスケールされた解像度を手動で設定するオプションに加えて、ユーザーはさまざまな品質プリセットにアクセスできます。

DLSSの最初のイテレーションは、主に空間画像アップスケーラで、2つのステージがあり、どちらも畳み込み オートエンコーダ ニューラルネットワークに依存しています。^[21]最初のステップは、現在のフレームと動きベクトルを使用してエッジ強調と空間アンチエイリアシングを実行する画像強調ネットワークです。 2番目のステージは、単一の生の低解像度フレームを使用して画像を目的の出力解像度にアップスケールする画像アップスケーリングステップです。 アップスケーリングに1つのフレームのみを使用するということは、ニューラルネットワーク自体が高解像度の出力を生成するために大量の新しい情報を生成する必要があることを意味し、これにより、ソースコンテンツとはスタイルが異なる葉などのわずかな幻覚が発生する可能性があります。 ^[13]

ニューラル ネットワークは、従来のスーパーサンプリングを使用してピクセルあたり 64 サンプルの「完璧なフレーム」を生成するとともに、各フレームのモーション ベクトルを生成することで、ゲームごとにトレーニングされます。収集されるデータは、可能な限り多くのレベル、時刻、グラフィック設定、解像度などを含む、可能な限り包括的なものでなければなりません。このデータは、回転、色の変更、ランダム ノイズなどの一般的な拡張を使用して拡張され、テスト データを一般化するのに役立ちます。トレーニングは、Nvidia の Saturn V スーパーコンピューターで実行されます。^{[14] [22]}

この最初の反復は賛否両論の反応を受け、多くの場合、特定の状況でソフトな外観やアーティファクトが発生すると批判されました。^{[23] [6] [5]これは、ニューラルネットワークに単一フレーム入力のみを使用することでデータが限られ、すべてのシナリオと}エッジケースで最適に機能するようにトレーニングできなかったことによる副作用である可能性があります。^{[13] [14]}

Nvidiaは、オートエンコーダネットワークが被写界深度とモーションブラーを再現する能力を学習できることも実証したが、^[14]この機能は公開された製品には搭載されていない。^[要出典]

DLSS 2.0は、前フレームのデータを広範囲にサブピクセルジッタリングで使用して細部を解決し、エイリアシングを軽減する、テンポラルアンチエイリアシング アップサンプリング（TAAU）実装です。DLSS 2.0が収集するデータには、生の低解像度入力、モーションベクトル、深度バッファ、露出/明るさ情報が含まれます。^[13]また、DLSSでアップサンプリングするのではなく、画像を100%の解像度でレンダリングする、よりシンプルなTAA実装としても使用できます。NvidiaはこれをDLAA（ディープラーニングアンチエイリアシング）と呼んでいます。^[24]

TAA(U)は多くの現代のビデオゲームやゲームエンジンで使用されていますが^[25]、これまでの実装ではゴーストやちらつきなどの時間的アーティファクトを防ぐために何らかの形で手動で記述されたヒューリスティックが使用されていました。その一例が近傍クランプで、これは前のフレームで収集されたサンプルが新しいフレームの近くのピクセルと比較して大きく逸脱するのを強制的に防ぎます。これは多くの時間的アーティファクトを識別して修正するのに役立ちますが、このように細かい詳細を意図的に削除することはぼかしフィルターを適用することに似ており、この方法を使用すると最終的な画像がぼやけて見えることがあります。^[13]

DLSS 2.0 は、前述のように手動でプログラムされたヒューリスティックの代わりに、時間的アーティファクトを識別して修正するようにトレーニングされた畳み込み オートエンコーダ ニューラルネットワーク^[23]を使用します。このため、DLSS 2.0 は一般に他の TAA および TAAU 実装よりも詳細をうまく解決できると同時に、ほとんどの時間的アーティファクトも除去できます。このため、DLSS 2.0 は、従来の TAA を使用してより高い解像度、またはネイティブ解像度でレンダリングするよりも鮮明な画像を生成できる場合があります。ただし、時間的なソリューションは完璧ではなく、DLSS 2.0 を使用する場合、一部のシナリオではアーティファクト (特にゴースト) が依然として表示されます。

時間的アーティファクトはほとんどのアートスタイルや環境でほぼ同じように発生するため、DLSS 2.0を動かすニューラルネットワークは、異なるゲームで使用する場合でも再トレーニングする必要はありません。それにもかかわらず、Nvidiaは新しいタイトルでDLSS 2.0の新しいマイナーリビジョンを頻繁に出荷しており、^[26]これは、ゲームのリリース時にいくつかのマイナーなトレーニング最適化が実行される可能性があることを示唆していますが、Nvidiaはこれを確認するためにこれらのマイナーリビジョンの変更ログを提供していません。

DLSS 1.0と比較した主な進歩としては、詳細保持の大幅な改善、ゲームごとに再トレーニングする必要のない一般化ニューラルネットワーク、オーバーヘッドが約2倍少ない（約1〜2ミリ秒対約2〜4ミリ秒）などが挙げられます。^[13]

また、DLSS 2.0 などの TAAU の形式は、低解像度のソースから新しい情報を作成しようとする ESRGAN や DLSS 1.0 などの技術と同じ意味でのアップスケーラーではないことにも留意する必要があります。TAAU は、新しいデータを作成するのではなく、以前のフレームからデータを回復するように機能します。実際には、これは、現在の TAAU 技術を使用すると、ゲーム内の低解像度テクスチャが依然として低解像度に表示されることを意味します。このため、Nvidia は、DLSS 2.0 が有効になっているときにミップマップバイアスを適用して、特定のレンダリング解像度に対して通常よりも高解像度のテクスチャを使用することをゲーム開発者に推奨しています。^[13]

モーション補間を利用してDLSS 2.0を拡張します。DLSSフレーム生成アルゴリズムは、レンダリングパイプラインからレンダリングされた2つのフレームを取得し、それらの間をスムーズに遷移する新しいフレームを生成します。そのため、レンダリングされたフレームごとに1つの追加フレームが生成されます。^[2]

DLSS 3.0は、Ada Lovelace世代のRTX GPUに含まれる新世代のオプティカルフローアクセラレータ（OFA）を利用します。新しいOFAは、以前のTuringおよびAmpere RTX GPUですでに利用可能なOFAよりも高速で正確です。^[27]このため、DLSS 3.0はRTX 40シリーズ専用となります。

リリース時点では、DLSS 3.0 は VR ディスプレイでは動作しません。^{[引用が必要]}

DLSS 3.5ではレイ再構築が追加され、複数のノイズ除去アルゴリズムが、DLSS 3の5倍のデータでトレーニングされた単一のAIモデルに置き換えられました。レイ再構築は、すべてのRTX GPUで利用可能であり、サイバーパンク2077のファントムリバティDLC、Portal with RTX、アランウェイク2など、パストレーシング（別名「フルレイトレーシング」）を備えた最初のターゲットゲームで利用できます。 [ 18 ^{] [17]}

DLSSは独自のアンチエイリアシング方式を必要とし、適用します。そのため、ゲームや品質設定によっては、DLSSを使用するとネイティブ解像度のレンダリングよりも画質が向上する可能性があります。^[28]

これはTAAと同様の原理で動作します。TAAと同様に、過去のフレームの情報を使用して現在のフレームを生成します。TAAとは異なり、DLSSはすべてのフレームのすべてのピクセルをサンプリングするわけではありません。代わりに、異なるフレームの異なるピクセルをサンプリングし、過去のフレームでサンプリングされたピクセルを使用して、現在のフレームのサンプリングされていないピクセルを埋めます。DLSSは機械学習を使用して現在のフレームと過去のフレームのサンプルを組み合わせ、利用可能なテンソルコアによって可能になった高度で優れたTAA実装と考えることができます。^[13]

Nvidiaはディープラーニングアンチエイリアシング（DLAA）も提供しています。DLAAはDL​​SSが使用するのと同じAI駆動型アンチエイリアシングを提供しますが、アップスケーリングやダウンスケーリング機能はありません。^[24]

Controlに実装されているシェーダーコアバージョンを除いて、DLSSは、Tensorコアと呼ばれる専用のAIアクセラレータを使用するGeForce RTX 20、GeForce RTX 30、GeForce RTX 40、Quadro RTXシリーズのビデオカードでのみ利用できます。^{[23] [検証失敗] Tensorコアは、} Tesla V100製品ラインで初めて使用されたNvidia Volta GPUマイクロアーキテクチャ以降で利用できます。 ^[29]これらは、重みに一連の大きな乗算を適用し、その後にバイアスを追加するためにニューラルネットワーク計算で広く使用されている融合乗算加算（FMA）演算を実行するために使用されます。Tensorコアは、FP16、INT8、INT4、およびINT1データ型で動作できます。各コアは1クロックあたり1024ビットのFMA演算を実行できるため、テンソルコア1つあたり1クロックあたり1024のINT1、256のINT4、128のINT8、64のFP16演算を実行でき、ほとんどのTuring GPUには数百のテンソルコアが搭載されています。^[30]

Tensorコアは、並列アーキテクチャを活用するために、32の並列スレッドでCUDA Warpレベルプリミティブを使用します。 ^[31] Warpは、同じ命令を実行するように構成された 32のスレッドのセットです。

Windows 10 バージョン 1903以降、Microsoft Windows はTensor コアをサポートするためにDirectXの一部としてDirectML を提供しました。

特にDLSSの初期バージョンでは、ユーザーからぼやけたフレームが報告されていました。そのため、Nvidiaの従業員であるアンドリュー・エデルステンは、2019年のブログ投稿でこの問題についてコメントし、技術の改善に取り組んでいることを約束し、DLSS AIアルゴリズムは主に4K画像素材でトレーニングされていることを明らかにしました。DLSSを使用すると、フルHDなどの低解像度で特にぼやけた画像になるのは、4Kなどの高解像度と比較して、アルゴリズムが適切な画像を計算するために利用できる画像情報がはるかに少ないためです。^[32]

DLSSをゲームに実装することで、ゲーム開発者は現代のPCハードウェアのネイティブ解像度でもスムーズに動作するように最適化するインセンティブがなくなるという批判もある。例えば、レイトレーシングを有効にした最高のグラフィック設定で4K解像度のゲーム「Alan Wake 2」をプレイする場合、60fpsを達成するには、 Nvidia GeForce RTX 4080などの現世代のハイエンドグラフィックカードでもパフォーマンスモードでDLSSを使用することが推奨される。^[33]

さらに、DLSSフレーム生成を使用すると、入力遅延の増加^[34]や視覚的なアーティファクト^[35]につながる可能性があります。

• FidelityFX スーパー解像度– AMDの競合技術
• Intel XeSS – Intelの競合技術
• PlayStation Spectral Super Resolution –ソニーの同様の技術

• 公式サイト
• 公式Nvidia開発者ウェブサイトのDLSS