非写実的なレンダリング

非写実的レンダリング（NPR ）は、写実性を重視する従来のコンピュータグラフィックスとは対照的に、デジタルアートにおける多様な表現スタイルを可能にすることに焦点を当てたコンピュータグラフィックスの分野です。NPRは、絵画、デッサン、技術イラスト、アニメーションなどの他の芸術様式から着想を得ています。NPRは、セルシェーディングアニメーション（「トゥーン」シェーディングとも呼ばれる）の形で映画やビデオゲームに登場したほか、科学的可視化、建築イラスト、実験的アニメーションにも用いられています。

非写実的レンダリングという用語は、 SIGGRAPH 1990論文委員会が「非写実的レンダリング」というタイトルのセッションを開催した際に造語されたと考えられている。 ^{[ 1 ] [ 2 ]}

この用語には批判もある。

• 「フォトリアリズム」という用語は、グラフィック研究者（「フォトリアリスティックレンダリング」を参照）とアーティストでは意味が異なります。NPR技術のターゲットユーザーであるアーティストにとって、フォトリアリズムとは、カメラレンズの効果、つまりレンズが生み出す歪みや過剰な反射をすべて再現することに重点を置いた絵画の流派を指します。しかし、グラフィック研究者にとって、フォトリアリズムとは、現実と視覚的に区別がつかない画像を指します。実際、グラフィック研究者は、フォトリアリズムの画家が用いるような視覚的な歪みを「非フォトリアリズム」に分類しています。
• 何かをそれが何でないかで説明することは問題があります。同様の（架空の）比較としては、「象以外の生物学」や「非幾何学的な数学」などが考えられます。NPRの研究者たちは、この用語はいずれ消滅し、より一般的な用語である「コンピュータグラフィックス」に置き換えられると予想しており、「フォトリアリスティックグラフィックス」は「従来型」のコンピュータグラフィックスを説明するために使用される用語だと述べています。
• 「非写実的」な画像を作成するために用いられる多くの技術は、レンダリング技術ではありません。それらはモデリング技術、あるいはポストプロセス技術です。後者は「画像ベースレンダリング」として知られるようになってきていますが、スケッチベースのモデリング技術は、厳密にはこの範疇に含めることができません。これは、学会主催者にとって非常に不便な点です。

非写実的なアニメーションとレンダリングに関する最初の会議では、代替名称の候補についても議論されました。提案された名称には、「表現グラフィックス」「芸術的レンダリング」「非写実的グラフィックス」「アートベースレンダリング」「サイコグラフィックス」などがありました。これらの用語はすべて、このテーマに関する様々な研究論文で使用されてきましたが、最終的には「非写実的」という用語が定着したようです。

NPR に特化した最初の技術会議は、 2000 年にACM が主催した非フォトリアリスティック レンダリングとアニメーションに関するシンポジウム^{[ 3 ]} (NPAR) でした。NPAR は伝統的に偶数年に開催されるアヌシー国際アニメーション映画祭^{[ 4 ]}と同時開催されています。2007 年以降、NPAR は奇数年にも ACM SIGGRAPH ^{[ 5 ]}と同時開催されるようになりました。

3 次元 NPR は、ビデオゲームや映画で最もよく見られるスタイルです。この技術の出力は、ほとんどの場合、新しい芸術スタイルを表現するために元の入力モデルから変更された3D モデルです。多くの場合、モデルの形状は元の形状と同一で、表面に適用されるマテリアルのみが変更されます。プログラマブルGPUの利用可能性が高まったことで、シェーダーにより、画面に表示されるラスタライズされた画像に NPR 効果を適用できるようになりました。 ^{[ 6 ]} 3D ジオメトリに適用される NPR 技術の大部分は、シーンを 2 次元に見せることを目的としています。

3D画像のためのNPR技術には、セルシェーディングとグーチシェーディングがある。

3D モデルから様式化された輪郭やストロークを描くには、遮蔽輪郭や示唆輪郭など、多くの方法が使用できます。^{[ 7 ]}

読みやすさを向上させるため、技術コミュニケーションにおいて最も有用な技術イラストは、必ずしも写実的である必要はありません。分解図などの非写実的なレンダリングは、複雑なシステムにおける部品の配置を示すのに大いに役立ちます。

カートゥーンレンダリング（セルシェーディングまたはトゥーンシェーディングとも呼ばれる）は、3Dコンピュータグラフィックスに平坦で漫画のような外観を与えるために使用される非フォトリアリスティックなレンダリング技術です。その特徴は、滑らかなグラデーションではなく、明確なシェーディングカラーを使用することで、コミックやアニメーション映画を彷彿とさせる外観を作り出すことです。この技術は、一貫した外観を維持しながら、3Dオブジェクトや環境を2Dの手描きアニメーション要素と融合させるためによく使用されます。ディズニーの映画「トレジャープラネット」は、これらの技術を融合させた例です。^{[ 8 ]}

2次元NPRシステムへの入力は、通常、画像または動画です。出力は通常、入力画像の芸術的なレンダリング（例えば、水彩画風、絵画風、またはスケッチ風）ですが、2D NPRの中には、データ視覚化など、芸術的ではない目的で使用されるものもあります。

画像や動画の芸術的なレンダリング（しばしば画像スタイライゼーション^{[ 9 ]}と呼ばれる）は、従来、デジタルキャンバス上に筆のストロークを配置することをシミュレートしようとするヒューリスティックアルゴリズムに焦点を当ててきた。^{[ 10 ]}

2D NPRの最も初期の例としては、ポール・ヘーバーリが1990年のSIGGRAPHで発表した「 Paint by Numbers 」が挙げられるだろう。これは（同様のインタラクティブな手法も含む）、ユーザーがカーソルを使って「ペイント」できるキャンバスを提供する。ユーザーがペイントすると、キャンバス上に画像の様式化されたバージョンが表示される。これは、画像の異なる領域に応じて異なるサイズのブラシストロークをシミュレートしたい場合に特に便利だ。

その後、90年代後半には、勾配演算子^{[ 11 ]}や統計モーメント^{[ 12 ]}を用いた基本的な画像処理操作によってこのプロセスが自動化され、ユーザーの操作が最小限に抑えられました（ただし、アルゴリズムのパラメータを設定することで、芸術的な制御はユーザーに残されています）。この自動化により、2D NPRをビデオに実用的に応用することが可能になり、映画『奇蹟の輝き』（1998年）の生きた絵画で初めて実現しました。

2000年代初頭には、より高度な画像抽象化技術が開発され、画像顕著性^{[ 13 ]}やセグメンテーション^{[ 14 ]}演算子などのコンピュータビジョン演算子を利用してストロークの配置を制御しました。この頃、機械学習が画像様式化アルゴリズムに影響を与え始め、特に既存のアートワークのスタイルを模倣することを学習できる画像類似性^{[ 15 ]が注目されました。}

ディープラーニングの登場により、画像スタイル変換の分野が再び活発化しており、特にニューラルスタイル転送（NST）アルゴリズムは、単一の画像例から幅広い芸術スタイルを模倣できる。これらのアルゴリズムは、 Prismaなどの同様の機能を備えたモバイルアプリの基盤となっている。

上記の様式化手法に加えて、2D NPRにおける関連技術として、美術媒体のシミュレーションに関するものがある。これらの手法には、様々な種類の紙を通してインクが拡散する様子や、水彩画をシミュレーションするために顔料が水を通して拡散する様子をシミュレートすることなどが含まれる。

芸術的レンダリングとは、視覚芸術のスタイルをレンダリングに適用することです。フォトリアリスティックなレンダリングスタイルでは、光と影、描かれた対象物の表面特性、構図、その他のより一般的な特性を正確に再現することに重点が置かれます。独自の解釈的レンダリングスタイルに重点が置かれる場合、視覚情報はアーティストによって解釈され、抽象芸術における選択された芸術媒体と抽象化レベルを使用してそれに応じて表示されます。コンピュータグラフィックスでは、解釈的レンダリングスタイルは非フォトリアリスティックなレンダリングスタイルとして知られていますが、技術的なイラストを簡略化するためにも使用されることがあります。フォトリアリズムと非フォトリアリズムを組み合わせたレンダリングスタイルは、ハイパーリアリスティックなレンダリングスタイルとして知られています。

このセクションでは、映画、ゲーム、ソフトウェアにおけるNPR技術の代表的な使用例をいくつか紹介します。ゲームや映画におけるトゥーンシェーディングの使用例については、 「セルシェーディングアニメーション」の項を参照してください。

NPRの開発における重要な論文には、以下のようなものがある。

• Haeberli, Paul (1990). "数字で塗り絵：抽象的な画像表現". ACM SIGGRAPH Computer Graphics . 24 (4): 207–214 . CiteSeerX 10.1.1.94.8782 . doi : 10.1145/97880.97902 . 
• 斉藤隆文；高橋時一郎（1990）。 「立体形状を分かりやすく表現」。ACM SIGGRAPH コンピュータ グラフィックス。24 (4): 197–206。CiteSeerX 10.1.1.83.4139。土井: 10.1145/97880.97901。 
• Cockshott, Malcolm Tunde (1991). Wet and Sticky: A Novel Model for Computer-Based Painting (学位論文). ProQuest 2124902248 . 
• ウィンケンバッハ、ジョルジュ；サレシン、デイビッド H. (1994). 「コンピュータ生成ペン画」.第21回コンピュータグラフィックスおよびインタラクティブ技術に関する年次会議 - SIGGRAPH '94 議事録. pp. 91–100 . doi : 10.1145/192161.192184 . ISBN  978-0-89791-667-7. S2CID 3234749 . 
• Salisbury, Michael P.; Anderson, Sean E.; Barzel, Ronen; Salesin, David H. (1994). "インタラクティブなペン画イラストレーション".第21回コンピュータグラフィックスとインタラクティブ技術に関する年次会議 - SIGGRAPH '94 議事録. pp. 101–108 . doi : 10.1145/192161.192185 . ISBN  978-0-89791-667-7. S2CID 1098501 . 
• Meier, Barbara J. (1996). 「アニメーションのための絵画的レンダリング」.第23回コンピュータグラフィックスおよびインタラクティブ技術に関する年次会議 - SIGGRAPH '96 議事録. pp. 477–484 . CiteSeerX 10.1.1.126.7091 . doi : 10.1145/237170.237288 . ISBN   978-0-89791-746-9. S2CID 1199189 . 
• Gooch, Amy; Gooch, Bruce; Shirley, Peter; Cohen, Elaine (1998). 「自動技術イラストレーションのための非写実的照明モデル」.第25回コンピュータグラフィックスおよびインタラクティブ技術に関する年次会議 - SIGGRAPH '98 議事録. pp. 447–452 . CiteSeerX 10.1.1.435.1775 . doi : 10.1145/280814.280950 . ISBN   978-0-89791-999-9. S2CID 1411270 . 

• トゥンデ・コックショットの『ウェット・アンド・スティッキー』再訪
• コンピュータグラフィックスにおける様式化された描写：NPRオンラインリソースの注釈付き調査
• NPAR会議
• Blender NPR：スタイライズと非写実的なレンダリングに特化したプラットフォーム
• オンライン画像ベースNPRシステム