バーチャルヒューマン

バーチャルヒューマン（メタヒューマン、デジタルヒューマンとも呼ばれる）^[1]は、ソフトウェア上の 架空のキャラクターまたは人間です。バーチャルヒューマンは、シミュレーション、ビデオゲーム、映画制作、さまざまな業界（航空宇宙、自動車、機械、家具など）、衣料品業界、通信（アバター）、医療などの人間工学およびユーザビリティ研究におけるツールや人工の仲間として作成されてきました。これらのアプリケーションでは、ドメインに依存したシミュレーションの忠実度が求められます。医療アプリケーションでは、特定の内臓の正確なシミュレーションが必要になる場合があります。映画業界では、最高の美的基準、自然な動き、および顔の表情が求められます。人間工学研究では、特定の人口セグメントに対する忠実な体の比率や、制約付きの現実的な移動などが求められます。

メタヒューマン^[2]経由のUnreal EngineやWētā FX ^[3]を買収したUnityなどのゲームエンジンは、物理ベースレンダリングを使用してデジタルヒューマンとのリアルタイムのインタラクションを可能にしました。

私たちは、仮想人間を単なる便利な人工物としてではなく、自分自身を理解するためのツールとして見ています。仮想世界で、本物の人間と区別がつかない行動をする仮想人間をシミュレートできれば、人間であることの意味をある程度捉えたと言えるでしょう。

— 知覚システム、マックス・プランク知能システム研究所

仮想人間の研究には、機械学習、ゲー​​ム開発、人工神経科学などの活動の学際的なコラボレーションが含まれます。

• 解剖学 と幾何学: 3D スキャナー、デジタイザー、ソフトウェア ツールを使用して人体をモデリングします。
• 髪 と肌の生成、表現、レンダリング。^{[4] [5]}正確で高性能なシミュレーションには、コンピューティングシェーダやテッセレーションシェーダなどの最新のコンピュータグラフィックス技術が必要です。^{[6] [7]}
• 環境の相互作用に応じてスケルタルアニメーションと物理ベースのアニメーション。方法には、パラメトリックキーフレームセットを選択する動作ツリー、 ^[8]、手続き型逆運動学、またはニューラルネットワーク駆動型移動制御などがあります。 ^[9]参照データを取得する一般的な方法は、モーションキャプチャです。

• 体表面のアニメーションと変形、またはスキニングは、基礎となる骨格構造の動きに応じて目に見える体表面の変形をシミュレートします。 ^[10]
• 顔のアニメーションは、人間のコミュニケーションに不可欠な役割を果たしています。顔のアニメーションの研究には、パラメーター化されたモデルと筋肉モデルという 2 つの主流があります。
• 歩行 または歩容の生成。指定された軌道と速度に基づいて、自然に見える歩行動作を生成します。
• 障害物回避、非交差または非衝突位置制約の下で何らかの制御目標を満たすタスク。障害物を回避しながら歩行するための最適な軌道を見つける。
• 物を掴む動作は、物を掴むための最良の腕と手の動きを生み出すはずです。掴む動作の前には、手を伸ばす動作が行われることが多く、これは頭と体幹の制御、目の制御と視線に大きく依存します。
• 動作^[11]は、アニメーションに個性や個性を与えることを目指しており、メカニクスベースのアニメーションよりも自然で個性的なアニメーションに仕上げています。例えば、音声ジェスチャー生成などです。^[12]

仮想人間には主に 2 つのクラスがあります: ^{[誰によると? ]}

• アバター:アバター (コンピューティング)は、ユーザーのグラフィック表現です。アバターは、 The Palace、Second Life、Active Worlds、IMWU、Zepeto などのオンライン ワールドによって普及しました。
• 自律型仮想人間: 自律型仮想人間は、具現化されたエージェントまたは具現化されたエージェントを備えた自律型エージェントです。

バーチャル ヒューマンの特殊な例としては、バーチャル アクターがあります。これは、既存の人格を表現し、映画やシリーズで演技するバーチャル ヒューマン (アバターまたは自律型) です。

人間工学的分析は、コンピュータ グラフィックスにおける人体とその動きのモデリングに最も早く応用されました。20世紀初頭のボーイング社のアートディレクターであったウィリアム フェッターは、コンピュータを使用して人体を描いた最初の人物です。この人体は「ボーイング マン」として知られています。ボーイング 747 の計器盤の研究に使用された 7 つの関節を持つ「ファースト マン」は、人体の骨盤、首、肩、肘を関節で動かすことで、さまざまなパイロットの動きを表現することができました。「ファースト マン」に 12 個の関節を追加して「セカンド マン」が生まれました。この人体は、エドワード マイブリッジが撮影した一連の写真に基づいて、一連のアニメーション フィルム シーケンスを生成するために使用されました。

その後、様々な企業によっていくつかのモデルが開発されました。サイバーマン（サイバネティック人間モデル）は、クライスラー社によって、車内および車周辺での人間の活動をモデル化するために開発されました。^[13]これは15個の関節に基づいており、観察者の位置は事前に定義されています。  コンビマン（コンピュータ化された生体力学的人間モデル）は、人間がコックピット内の物体にどれだけ簡単に届くかをテストするために特別に設計されました。 ^[14]これは、35の内部リンク骨格システムを使用して定義されています。ボーマンは、1969年にボーイング社によって設計されました。^[15]これは、50パーセンタイルの3次元人間モデルに基づいています。バスケットなどの物体に手を伸ばすことができ、衝突が検出され、視覚的な干渉が識別されます。ボーマンは、可変リンク長の23関節フィギュアとして構築されています。サミー（マンマシンインタラクション評価を支援するシステム）は、一般的な人間工学設計と分析のために、1972年にノッティンガム大学で設計されました。^[16]これは、これまでのところ、最もよくパラメータ化された人体モデルであり、スリム、太め、筋肉質などの身体的タイプの選択を提供します。視覚システムは非常に発達しており、17の関節を持つ21の固定リンクに基づいて、Sammieによって複雑なオブジェクトを操作しました。もう1つの興味深いバーチャルヒューマンであるBufordは、オペレーターが配置したモデルの周囲の到達範囲とクリアランス領域を見つけるためにロックウェルインターナショナルで開発されました。 ^[17]この図は50パーセンタイルの人体モデルを表し、CADで生成されたポリゴンで覆われています。Bufordは15の独立したリンクで構成されており、変更のたびに再定義する必要があります。

顔のモデリングにおいて、パークはユタ大学で頭部と顔の表現を作成し、3年後にはよりリアルな顔を作成するためのパラメトリックモデルを提案した。^[18]

研究者の中には、ポターとウィルマートによる円柱^[19]やハービソン・エヴァンスによる楕円体[ ²⁰ ]など、基本体積を使用して仮想人間モデルを作成する人もいます。バドラーとスモリアー^[21]は、多数の球体または泡で構成された3次元の人間像としてバブルマンを提案しました。このモデルは球体の重なりに基づいており、球体の強度とサイズは観察者からの距離に応じて変化しました。

1980年代初頭、サイモンフレーザー大学の運動生理学とコンピュータサイエンスの教授であるトム・カルバートは、身体にポテンショメータを取り付け、その出力を使用してコンピュータアニメーションの人形を駆動し、振り付けの研究や運動異常の臨床評価に使用しました。カルバートのアニメーションシステムは、モーションキャプチャ装置とラバノテーションおよび運動仕様を組み合わせて、キャラクターの動きを完全に指定しました。^[22]

同時期に、ペンシルバニア大学の人間モデリングおよびシミュレーション センターでJackソフトウェア パッケージが開発され、 Tecnomatixから市販されました。Jack は、関節のある人物を制御するための 3D インタラクティブ環境を提供しました。詳細な人間モデルを特徴とし、リアルな動作制御、人体計測スケーリング、タスク アニメーションおよび評価システム、ビュー分析、自動到達および把握、衝突検出および回避、および幅広いアプリケーションに役立つその他の多くのツールが含まれていました。"

80 年代初頭、いくつかの企業や研究グループがバーチャル ヒューマンに関する短編映画やデモを制作しました。特に、一般的に Triple-I または III と呼ばれるInformation International Inc は、ピーター フォンダの頭部の 3D スキャンと究極のデモ「アダム パワーズ、ザ ジャグラー」を制作することで、コンピュータ グラフィックスが驚くべきことを実現する可能性を示しました。

1982年、フィリップ・ベルジェロン、ナディア・マグナト・タルマン、ダニエル・タルマンは、大西洋を越えてパリからニューヨークまで運ばれる人物（関節のある棒人間）を描いた映画「ドリームフライト」を制作しました。この映画は、グラフィカル抽象データ型に基づくパスカル言語の拡張であるMIRAグラフィカル言語を使用して完全にプログラムされました。この映画はいくつかの賞を受賞し、 SIGGRAPH '83フィルムショーで上映されました。1985年には、別の映画「トニー・デ・ペルトリー」がブレークスルーとなり、初めて顔のアニメーション技術を使用してストーリーを伝えました。同じ年、ミック・ジャガーの曲「ハード・ウーマン」のビデオがデジタルプロダクションによって開発され、様式化された女性の素晴らしいアニメーションが披露されました。同じ時期に、「ザ・メイキング・オブ・ブリリアンス」がロバート・エイベル＆アソシエイツによってテレビコマーシャルとして作成され、当時としては驚異的なモーションとレンダリングを見せました。

1987年、カナダ工学協会は創立100周年を祝った。ベル・カナダとノーザン・テレコムがスポンサーとなった一大イベントがモントリオールのプレイス・デ・ザールで行われた。このイベントでは、ナディア・マグナナット・タルマンとダニエル・タルマンが、モントリオールの旧市街にあるカフェでマリリン・モンローとハンフリー・ボガートが会うシーンを再現した。この映画「モントリオールのランデブー」は、伝説のスターを3Dでモデル化した最初の映画だった。この映画は、実在の人間の3Dクローン化の側面と、その行動のモデル化に関する広範な研究の成果である。^[23]  

1988 年、「ティン トイ」は、コンピューターで制作された最初の映画としてアカデミー賞(短編アニメーション賞) を受賞しました。ブリキのワンマン バンドトイが、おバカな幼児ビリーから逃げようとする物語です。同年、deGraf/Wahrman は、シリコン グラフィックスの新しい 4D マシンのリアルタイム機能を示すために、「マイク ザ トーキング ヘッド」を開発しました。マイクは、特別に構築されたコントローラーによって操作され、1 人の操り手が、口、目、表情、頭の位置など、キャラクターの顔の多くのパラメーターを操作できました。シリコン グラフィックスのハードウェアは、パフォーマーによって制御される顔の表情と頭の形状をリアルタイムで補間しました。マイクはその年のSIGGRAPH映画およびビデオ ショーでライブで演じられました。

1989 年、Kleiser- Walczak は、ミュージック ビデオ用に、女性がマイクの前で歌を歌いながら踊るコンピュータ アニメーション「Dozo」を制作しました。彼らは、Motion Analysisの光学ベースのソリューションを使用して、複数のカメラで身体に貼り付けた小さな反射テープの画像を三角測量し、その動きをキャプチャしました。その結果、空間内の各反射体の 3D 軌道が出力されました。

1989 年、映画「アビス」の特定のシーンでは、水っぽい仮足が人間の顔を獲得する様子が描かれています。これは、ある形を別の人間の顔に変換できるようになったため、将来の合成キャラクターにとって重要なステップとなりました。1989 年、「リトル デス」や「バーチャル ユアーズ」の女優ロッタ デザイアは、高度な顔のアニメーションと、初めてのコンピューター アニメーションによるキスを披露しました。その後、1991 年に公開された映画「ターミネーター II」は、実際の人々や装飾と混ざり合った仮想人間のアニメーションの画期的な出来事となりました。

90年代にはいくつかの短編映画が制作されましたが、最も有名なのはピクサーの「ジェリーのゲーム」で、アカデミー短編アニメーション 賞を受賞したものです。

行動アニメーションはクレイグ・レイノルズによって導入され、開発されました。^[24]彼は集団の直感と動きを研究する目的で、魚の群れと並んで鳥の群れをシミュレートしました。その後、ミュッセとタルマンは、多数の仮想人間を統合して仮想世界に住まわせることで、群衆シミュレーションの分野を切り開きました。

1990年代から、研究者たちはリアルタイムアニメーションと仮想世界とのインタラクションへと軸足を移してきました。仮想現実、ヒューマンアニメーション、ビデオ分析技術の融合により、仮想現実への仮想人間の統合、これらの仮想人間とのインタラクション、仮想世界におけるクローンやアバター、参加者としての自己表現が実現しました。仮想環境とのインタラクションは、さまざまなレベルのユーザー構成で計画されていました。ハイエンドの構成には、ユーザーが音声、ジェスチャー、生理学的信号で仮想人間とインタラクトし、ローカルでもWeb上でもデジタルデータ環境を探索できる没入型環境が含まれる可能性があります。このため、仮想人間はユーザーのジェスチャー、発話、表情を認識し、発話やアニメーションで応答できるようになりました。^{[25]この開発の最終的な目的は、}適応性、知覚、記憶を備えた現実的で信頼できる仮想人間を作成することです。これらの仮想人間は、感情をシミュレートしながら自由に行動できる仮想人間を生み出す今日の研究への道を開いたのです。^[26]理想的には、環境を認識し、予測不可能な状態にすることが目標です。

• シミュレーションベースの学習とトレーニング（輸送、土木工学など）、スキル開発、チーム調整、意思決定のための仮想人物。
• 作業環境や車両における人間工学分析のための仮想ユーザー。
• テレビや Web 用の仮想プレゼンター。
• 緊急事態の際のシミュレーションと訓練のための仮想個人および群衆。
• 衣料品業界向けのバーチャルマネキン。
• 映画のためのバーチャル俳優。
• 整形外科手術、形成外科手術、義肢装具、リハビリテーションのための仮想患者。
• 社会不安障害や恐怖症の治療と仮想心理療法のための仮想人物。
• 建物、風景、照明などを含む仮想都市や建築シミュレーションのための仮想住民。
• コンピュータゲームやルナパーク/カジノの仮想キャラクター^{[曖昧さ回避必要] 。}
• スポーツシミュレーションと指導のための仮想アスリート。
• 戦場シミュレーション、チームトレーニング、平和維持活動などの軍事用途向けの仮想兵士。
• インタラクティブドラマのための仮想キャラクター
• 産業環境やその他の職場環境における人間の活動をシミュレートするための仮想労働者。^[27]
• 居住文化遺産の仮想古代人。
• 伝送帯域幅の要件を削減するために、仮想会議の参加者を仮想的に表現します。
• 機器の設計とメンテナンスのための仮想従業員: アクセス、修理の容易さ、安全性、ツールのクリアランス、視認性などを考慮した設計。
• ヒューマンファクター分析のための仮想人物。
• バーチャルインフルエンサー- 研究によると、広告の文脈では、バーチャルヒューマンの人間のような外見はアニメのようなバーチャルヒューマンよりもメッセージの信頼性が高いことが示されています。^[28]

• OpenWorm  – 回虫をシミュレートすることを目的とした科学プロジェクト

• Nadia Magnenat-Thalmann (編集者)、Daniel Thalmann (編集者)、Handbook of Virtual Humans、ISBN 978-0-470-02316-7、468ページ、Wiley、2004 年 8 月 (ACM Digital Library) 
• Peter M. Plantec、Virtual Humans: ソフトウェアとステップバイステップの手順が揃った自分で作るキット、Amacom、2003
• デイヴィッド・バーデン、マギー・サヴィン＝バーデン、『バーチャル・ヒューマンズ・トゥデイ・アンド・トゥモロウ』、2020年、チャップマン・アンド・ホール/CRC

• Wayne E. Carlson、コンピュータグラフィックスとコンピュータアニメーション：回顧的概要、 Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License に基づいてライセンスされています。
• ロボットと仮想人間とのコミュニケーションのモデル化、第2回Ziff研究グループ2005/2006国際ワークショップ「人間と機械の具現化されたコミュニケーション」、ドイツ、ビーレフェルト、2006年4月5日～8日、改訂版選定論文