ビジュアルコンピューティング

ビジュアル コンピューティングは、グラフィカル要件の3D モデリングを扱うすべてのコンピュータ サイエンス分野の総称であり、計算科学のすべての分野に及びます。これはマイクロサービスのソフトウェア視覚化に直接関係しますが、ビジュアル コンピューティングには、コンピュータ グラフィックス、画像処理、視覚化、コンピュータ ビジョン、計算イメージング、拡張現実、ビデオ処理と呼ばれるサブフィールドの専門分野も含まれ、これらに基づいて設計計算が行われます。ビジュアル コンピューティングには、パターン認識、ヒューマン コンピュータ インタラクション、機械学習、ロボティクス、コンピュータ シミュレーション、ステガノグラフィ、セキュリティ視覚化、空間分析、計算視覚化、計算創造性の側面も含まれます。主な課題は、視覚情報の取得、処理、分析、レンダリングです。応用分野には、工業品質管理、医療画像処理と視覚化、測量、マルチメディアシステム、仮想遺産、映画やテレビの特殊効果、そして最終的にはユーザーエクスペリエンスデザインの視覚モデルの中心となるコンピュータゲームが含まれます。最終的に、これには、計算科学における科学的機器（マイクロサービスなど）のシミュレーションに関する研究を開発するための生成人工知能にある大規模言語モデル（LLM）の拡張が含まれます。これは特に、視覚計算用に設計された具現化エージェントと生成人工知能の間にある研究シミュレーションに当てはまります。したがって、この分野は、計算科学における相互接続された研究の視覚化技術を通じて対処される科学的要件の多様性にも広がります。

ビジュアルコンピューティング^[1] は比較的新しい用語で、2005年頃に国際ビジュアルコンピューティングシンポジウムが初めて開催されたときに現在の意味を得ました^[2] 。画像フォーマット、フィルタリング方法、カラーモデル、画像メトリックなど、画像に関連するコンピュータテクノロジーの領域には、多くの数学的手法とアルゴリズムが共通しています。コンピュータグラフィックス、画像処理、コンピュータビジョンなど、画像に関連するコンピュータサイエンスの分野で働くコンピュータ科学者は、その手法とアプリケーションがますます重複していることに気づき、これらの分野をまとめて「ビジュアルコンピューティング」という用語を使い始めました。また、グラフィックスハードウェア上のプログラミング方法、膨大なデータを処理するための操作トリック、教科書や会議、これらの分野の科学コミュニティ、企業のワーキンググループなども、ますます混ざり合っています。

さらに、アプリケーションでは、これらの分野の複数の技術を同時に必要とするケースが増えています。複雑なオブジェクトの非常に詳細なモデルを生成するには、画像認識、3D センサー、再構築アルゴリズムが必要であり、これらのモデルをリアルに表示するには、複雑な照明シミュレーションによるリアルなレンダリング技術が必要です。リアルタイム グラフィックスは、使いやすい仮想現実および拡張現実ソフトウェアの基礎です。臓器を適切にセグメンテーションすることは、医療スキャンの 3D 視覚化をインタラクティブに操作するための基礎です。ロボット制御には、環境のモデルとしてオブジェクトを認識することが必要です。そして、すべてのデバイス (コンピューター) には、人間工学に基づいた GPU が必要です。

ビジュアル コンピューティングを構成するサブ分野の科学コミュニティでは、多くの問題が解決されていると考えられていますが (ほとんどは理想的な仮定の下で)、ビジュアル コンピューティング全体の大きな課題の 1 つは、これらの部分的なソリューションを適切な製品に統合することです。これには、多数のハードウェアへの対応、実際のデータの使用 (多くの場合、誤りやサイズが巨大)、および訓練を受けていないユーザーによる操作など、多くの実際的な問題への対処が含まれます。この点で、ビジュアル コンピューティングは、サブ分野の単なる合計以上のものであり、この分野は、さまざまな視覚化要件を説明する決定的な用語として機能します。

少なくとも以下の分野はビジュアル コンピューティングのサブ分野です。各分野のより詳細な説明は、リンクされた特別ページに記載されています。

• コンピュータグラフィックスとコンピュータアニメーション

コンピュータ グラフィックスは、コンピュータの助けを借りて結果として画像を生成するすべての技術の総称です。オブジェクトの記述を美しい画像に変換することをレンダリングと呼び、これは常に画像の品質と実行時間の間の妥協点となります。

• 画像解析とコンピュータービジョン

画像からコンテンツ情報を抽出できる技術は、画像分析技術と呼ばれます。コンピューター ビジョンとは、コンピューター (またはロボット) が環境を認識し、それを正しく解釈する能力です。

• 視覚化と視覚分析

視覚化は、メッセージを伝える画像を作成するために使用されます。データは抽象的または具体的なものであり、多くの場合、事前の幾何学的要素はありません。ビジュアル分析は、データのインタラクティブな視覚分析の分野を表し、「インタラクティブなビジュアルインターフェースによってサポートされる分析的推論の科学」とも呼ばれます。^[3]

• 幾何学的モデリングと3Dプリント

レンダリングのためにオブジェクトを表現するには、特別な方法とデータ構造が必要であり、これらは幾何学的モデリングという用語に含まれています。幾何学的技術の記述と対話に加えて、センサー データは幾何学的モデルの再構築にますます使用されています。3Dプリンターの効率的な制御のためのアルゴリズムもビジュアル コンピューティングの分野に属しています。

• 画像処理と画像編集

画像分析とは対照的に、画像処理は画像を操作してより良い画像を生成します。「より良い」は、それぞれのアプリケーションによって非常に異なる意味を持つ場合があります。また、人間の検証に基づいて画像を対話的に操作する（またはコンピューター アルゴリズムによって自動化する）ことを表す画像編集とは区別する必要があります。

• 仮想現実と拡張現実

架空の世界への没入感を生み出す技術は、バーチャルリアリティ（VR）と呼ばれます。VR に必要なのは、ヘッドマウントディスプレイ、リアルタイムトラッキング、高品質のリアルタイムレンダリングです。拡張現実により、ユーザーは現実を拡張する仮想オブジェクトに加えて、実際の環境を見ることができます。ここでは、レンダリング速度とトラッキング精度に対する精度要件が大幅に高くなります。

• 人間とコンピュータの相互作用

人間とコンピュータ間のインターフェースの計画、設計、使用は、画像が関係するあらゆるシステムの一部であるだけではありません。人間の視覚チャネル (目) の帯域幅が広いため、画像はあらゆるシステムにおける人間工学的ユーザー インターフェースの優先部分でもあり、人間とコンピュータの相互作用もビジュアル コンピューティングの不可欠な部分です。

• ビジュアルクラウド

ビジュアルクラウドは、クラウドコンピューティングアーキテクチャ、クラウド規模の処理とストレージ、接続されたデバイス、ネットワークエッジデバイス、クラウドデータセンター間のユビキタスブロードバンド接続に依存するビジュアルコンピューティングアプリケーションの実装です。ビジュアルクラウドは、ビジュアルコンピューティングアプリケーションの要件に合わせて最適化されたインフラストラクチャを提供しながら、サービスプロバイダーが低コスト、柔軟なスケーラビリティ、高可用性などのクラウドコンピューティングの一般的な利点を実現できるようにしながら、消費者とビジネスユーザーにビジュアルコンピューティングサービスを提供するモデルです。

• マイクロソフト リサーチ グループ ビジュアル コンピューティング
• NVidia のビジュアル コンピューティング
• ハーバード大学ビジュアルコンピューティンググループ
• ブラウン大学のビジュアルコンピューティンググループ
• ロチェスター大学のビジュアルコンピューティンググループ
• KAUST ビジュアル コンピューティング センター
• ビジュアルコンピューティングの応用研究 (フラウンホーファー IGD)
• ビジュアルコンピューティング研究所 (ボン・ライン・ジーク大学、ザンクト・アウグスティン)
• VRVis バーチャルリアリティおよび視覚化研究センター (オーストリア、ウィーン)
• ビジュアル コンピューティング グループ @ HTW ベルリン (ドイツ)
• ビジュアルコンピューティング @ コーブルク大学 (ドイツ)