複合現実

複合現実( MR ) は、現実世界の環境とコンピューターで生成された環境の融合を表すために使用される用語です。複合現実環境では、物理的なオブジェクトと仮想オブジェクトが共存し、リアルタイムで相互作用します。

触覚を組み込んだ複合現実は、視覚触覚複合現実と呼ばれることもあります。^{[1] [2]}

物理学の文脈では、「インターリアリティ システム」という用語は、現実世界のシステムと結合した仮想現実システムを指します。^[3] 2007 年の論文では、仮想現実にのみ存在する振り子と結合した実際の物理的な振り子で構成されるインターリアリティ システムについて説明しています。^[4]このシステムには、2 つの安定した運動状態があります。2 つの振り子の動きが相関していない「デュアル リアリティ」状態と、振り子が安定した位相ロック運動を示し、相関性が高い「ミックスド リアリティ」状態です。「ミックスド リアリティ」と「インターリアリティ」という用語の使用は、物理学の文脈では明確に定義されており、他の分野では若干異なる場合がありますが、一般的には「物理世界と仮想世界の橋渡し」と見なされています。^[5]

複合現実は、デザイン、教育、エンターテインメント、軍事訓練、ヘルスケア、製品コンテンツ管理、ロボットの人間参加型操作など、さまざまな分野のアプリケーションで使用されてきました。

シミュレーションベースの学習には、VR および AR ベースのトレーニングとインタラクティブな体験学習が含まれます。教育現場と専門トレーニング現場の両方で、複合現実の潜在的な使用例が多数あります。教育では、AR は歴史的な戦いをシミュレートするために使用されており、学生に比類のない没入型体験を提供し、潜在的に強化された学習体験を提供しています。^[6]さらに、AR は、生理学や解剖学などのモデルの 3D 表現の恩恵を受ける分野の健康科学および医学の学生に対する大学教育で有効性を示しています。^{[7] [8]}

テレビ番組からゲーム機まで、複合現実はエンターテイメントの分野で多くの用途があります。

2004年のイギリスのゲーム番組「バンズーキ」では、子供たちの参加者に仮想の「ズーク」を作成し、さまざまな課題で競い合う様子を見せた。^[9]この番組では、混合現実を使用してズークに命を吹き込んだ。このテレビ番組は4シーズン放送され、2010年に終了した。^[9]

2003年のゲーム番組「ファイトボックス」でも、出場者に競争力のあるキャラクターの作成を呼びかけ、複合現実を使用してキャラクター同士がやりとりできるようにした。^[10]バンズーミの一般的に非暴力的なチャレンジとは異なり、ファイトボックスの目標は、新しい出場者が競争に勝つために最強のファイターを作成することだった。^[10]

2009年、研究者らは複合現実と拡張現実に関する国際シンポジウム（ISMAR）で、壁に投影されたスクリーンで構成される「BlogWall」と呼ばれるソーシャル製品を発表しました。^{[11]ユーザーは壁に短いテキストクリップや画像を投稿し、}ポンなどの簡単なゲームをプレイできます。^[11] BlogWallには、受信したメッセージを並べ替えて詩を作成する詩モードと、ユーザーが他の人にアンケートに答えてもらうことができる投票モードも搭載されています。^[11]

『マリオカート ライブ ホームサーキット』は、 2020年10月に発売されたNintendo Switch向けの複合現実レースゲームです。[16a-New] このゲームでは、プレイヤーは自分の家をレーストラックとして使うことができます^{。 [12]}発売後1週間で、日本で73,918本が売れ、国内でその週のベストセラーゲームとなりました。 ^[13]

他の研究では、複合現実が劇場、映画、テーマパークに応用される可能性を調査しました。^[14]

最初の完全没入型複合現実システムは、1992年に米国空軍アームストロング研究所のルイス・ローゼンバーグによって開発された仮想フィクスチャプラットフォームでした。^[15]これにより、人間のユーザーは、実際の物理オブジェクトと、操作タスクの人間のパフォーマンスを向上させるために追加された3D仮想オーバーレイ（「フィクスチャ」）を含む現実世界の環境でロボットを制御できるようになりました。公開された研究では、仮想オブジェクトを現実世界に導入することで、人間のオペレーターのパフォーマンスが大幅に向上することが示されました。^{[15] [16] [17]}

戦闘の現実は、複雑で階層化されたデータと視覚補助装置を使用してシミュレートおよび表現できます。そのほとんどはヘッドマウントディスプレイ（HMD）であり、ユーザーの頭に装着できるあらゆるディスプレイ技術を網羅しています。^[18]軍事訓練ソリューションは、Improbableの合成環境プラットフォームであるVirtual Battlespace 3やVirTraなどの市販の（COTS）技術に基づいて構築されることが多く、後者の2つのプラットフォームは米国陸軍で使用されています。2018年現在、VirTraは民間および軍の法執行機関の両方で、アクティブシューター、家庭内暴力、軍の交通停止など、さまざまなシナリオで人員を訓練するために使用されています。^{[19] [20]複合現実技術は、このストレスが}意思決定にどのように影響するかを研究するために米国陸軍研究所 で使用されています。複合現実を使用すると、研究者は兵士が生き残る可能性が低いシナリオで軍人を安全に研究できます。^{[21][アップデート]}

2017年、米陸軍は、複合現実感を含むことが期待される訓練目的の技術の集合体である合成訓練環境（STE）を開発していました。2018年現在^{[アップデート]}、STEはまだ開発中であり、完成予定日は決まっていません。記録されているSTEの目標には、リアリズムの向上、シミュレーション訓練機能の向上、他のシステムへのSTEの可用性の向上などが含まれていました。^[22]

STEのような複合現実環境は、訓練中に費やされる弾薬の量を減らすなど、訓練コストを削減できると主張されました。 ^{[23] [24] 2018}年には、STEには訓練目的で世界の地形のあらゆる部分の表現が含まれると報告されました。^{[26] STEは、}ストライカー、兵器庫、歩兵チームを含む分隊旅団と戦闘チームにさまざまな訓練機会を提供します。 ^[27]

ブレンデッドスペースとは、物理的環境と仮想環境が意図的に密接に統合された空間である。ブレンデッドスペースデザインの目的は、人々がブレンデッドスペースのコンテンツに直接作用し、その空間での存在感を感じる体験を提供することである。 ^{[28] [29]}ブレンデッドスペースの例としては、 Microsoft HoloLensなどの拡張現実デバイスやポケモンGOなどのゲームのほか、多くのスマートフォン観光アプリ、スマート会議室、バス追跡システムなどのアプリケーションが挙げられる。

ブレンディングの考え方は、ジル・フォコニエとマーク・ターナーによって提唱された概念統合、または概念ブレンディングの考え方に由来しています。

マヌエル・イマズとデビッド・ベニオンは、ソフトウェア工学と人間とコンピュータの相互作用の概念を検討するためにブレンディング理論を導入しました。^[30]

ブレンド空間の最も単純な実装には、2 つの機能が必要です。最初に必要な機能は入力です。入力は触覚から環境の変化まで多岐にわたります。次に必要な機能は、デジタル空間から受信する通知です。ブレンド空間の設計では、物理空間とデジタル空間の対応を抽象化し、活用する必要があります。両方の空間がシームレスに統合されることはまれです。ブレンド空間には、空間をリンクするためのアンカー ポイントまたはテクノロジーが必要です。^[29]

うまく設計されたブレンド空間は、デジタルコンテンツをさりげなく目立たない方法で宣伝し、伝えます。存在感は、空間から得られる生理学的、行動的、主観的な尺度を使用して測定できます。^[30]

あらゆる空間には 2 つの主要なコンポーネントがあります。それらは次のとおりです。

1. オブジェクト– 媒体/空間を構成する実際の個別のオブジェクト。オブジェクトは空間を効果的に説明します。
2. エージェント– オブジェクトを通じて空間とやりとりする空間内の通信員/ユーザー。^[28]

混合空間に存在するためには、物理​​空間とデジタル空間が必要です。混合空間の文脈では、物理空間とデジタル空間の間のコミュニケーションが高ければ高いほど、体験は豊かになります。^[28]このコミュニケーションは、オブジェクトの状態と性質を中継する通信員という媒体を通じて行われます。
混合空間を見る目的で、あらゆる空間の性質と特徴は、次の要素によって表すことができます。# オントロジー – 空間内に存在するさまざまな種類のオブジェクト、オブジェクトの総数、オブジェクトと空間の関係。

1. トポロジ – オブジェクトを配置および配置する方法。
2. 揮発性 – オブジェクトが変化する頻度。
3. エージェンシー - オブジェクト間、およびオブジェクトとユーザー間のコミュニケーションの媒体。エージェンシーには、空間内のユーザーも含まれます。

物理空間– 物理空間は空間的な相互作用を可能にする空間です。^[31]この種の空間的相互作用は、ユーザーの認知モデルに大きな影響を与えます。^[32]
デジタル空間– デジタル空間（情報空間とも呼ばれます）は、すべての情報コンテンツで構成されます。このコンテンツはあらゆる形式で存在します。^[33]

複合現実により、世界中の遠隔地のチームが協力して組織のビジネス課題に取り組むことができます。従業員は、物理的にどこにいても、ヘッドセットとノイズキャンセリングヘッドフォンを装着して、コラボレーション型の没入型仮想環境に入ることができます。これらのアプリケーションはリアルタイムで正確に翻訳できるため、言語の壁は関係なくなります。このプロセスにより柔軟性も向上します。多くの雇用主は依然として、固定された勤務時間と場所の柔軟性のないモデルを使用していますが、従業員がどこで、いつ、どのように働くかについてより大きな自律性を持つと、生産性が向上するという証拠があります。騒がしい職場環境を好む従業員もいれば、静かな環境を必要とする従業員もいます。朝に最もよく働く人もいれば、夜に最もよく働く人もいます。従業員は、情報処理方法が異なるため、働き方の自律性からも恩恵を受けます。学習スタイルの古典的なモデルでは、視覚、聴覚、運動感覚の学習者を区別しています。^[34]

機械のメンテナンスも複合現実の助けを借りて実行できます。複数の製造拠点と多くの機械を持つ大企業は、複合現実を使用して従業員を教育および指導できます。機械は定期的な点検が必要であり、時々調整する必要があります。これらの調整は主に人間によって行われるため、従業員は必要な調整について通知される必要があります。複合現実を使用すると、複数の場所の従業員がヘッドセットを着用し、変更に関するライブ指示を受け取ることができます。インストラクターは、すべての従業員が見ている表現を操作し、生産エリアを滑らかに動き回り、技術的な詳細にズームインして、必要なすべての変更を説明することができます。このような複合現実プログラムを使用して5分間のトレーニングセッションを完了した従業員は、50ページのトレーニングマニュアルを読んだのと同じ学習結果を達成することが示されています。^[35]この環境の拡張は、稼働中の機械からのライブデータを仮想コラボレーションスペースに組み込み、機器の3次元仮想モデルに関連付けることです。これにより、物理的な場所に関係なく専門知識を活用しながら、ライブ環境では難しいメンテナンス、運用、および安全作業プロセスのトレーニングと実行が可能になります。^[36]

複合現実は、物理的要素とデジタル要素を組み合わせたモックアップの構築に使用できます。同時位置推定とマッピング（SLAM）を使用すると、モックアップは物理的な世界と相互作用して、オブジェクトの永続性などのより現実的な感覚体験を制御できます^[37]。これは、通常、デジタルと物理的な補助の両方を使用せずに追跡および分析することは不可能または非常に困難です。^{[38] [39]}

スマートグラスは手術室に組み込んで外科手術を支援することができ、患者のデータを便利に表示しながら、外科医に正確な視覚ガイドを重ね合わせることができる。^{[40] [41]} Microsoft HoloLensのような複合現実ヘッドセットは、強化されたトレーニングのためのプラットフォームを提供することに加えて、医師間での効率的な情報共有を可能にすると理論づけられている。^{[42] [41]}これにより、状況によっては（伝染病に感染した患者など）、医師の安全性が向上し、PPEの使用が削減される。^[43]複合現実は医療を強化する可能性を秘めているが、欠点もある。^[41]医師が患者を見ることができないことに関する倫理的な懸念があるため、患者がいるシナリオにこの技術が完全に統合されることはないかもしれない。^{[41] [39]}複合現実は医療教育にも役立つ。例えば、世界経済フォーラムの2022年の報告書によると、ケース・ウェスタン・リザーブ大学の医学部1年生の85%が、解剖学を教えるための複合現実は対面授業と「同等」または「優れている」と報告しています。^[44]

複合現実の登場以前の製品コンテンツ管理は、主にパンフレットで構成されており、この2次元領域以外での顧客と製品の関わりはほとんどありませんでした。^[45]複合現実技術の進歩により、インタラクティブな製品コンテンツ管理の新しい形が登場しました。最も注目すべきは、通常は2次元の製品を3次元デジタルレンダリングすることで、消費者と製品の相互作用の到達可能性と有効性が向上したことです。^[46]

複合現実技術の最近の進歩により、人間とロボットの相互作用のための代替コミュニケーションモードへの関心が再燃している。^[47] HoloLensなどの複合現実メガネを装着した人間のオペレーターは、デジタル工場の現場で、例えばロボットやリフティングマシン^{[48]と対話（制御および監視）することができる。このユースケースでは通常、複合現実インターフェースと機械/プロセス/システム間のリアルタイムデータ通信が必要であり、これは}デジタルツイン技術を組み込むことで実現できる。 ^[48]

複合現実により、売り手は特定の商品が顧客の要求にどのように適合するかを顧客に示すことができます。売り手は、特定の製品が買い手の家にどうフィットするかを実演することができます。買い手はVRの助けを借りて、仮想的に商品を選び、回転させ、希望する場所に置くことができます。これにより、買い手の購買に対する自信が向上し、返品の数が減少します。^[49]

建築会社は、顧客が希望する住宅を仮想的に訪問できるようにすることができます。

複合現実とは、仮想世界と現実世界が高度に絡み合うことを意味しますが、複合現実環境を実現するためにさまざまなデジタル媒体が使用されます。それらは、ハンドヘルドデバイスから部屋全体まで多岐にわたり、それぞれ異なる分野で実用的な用途があります。^{[50] [51]}

洞窟自動仮想環境 (CAVE) は、通常、大きな外の部屋にある小さな部屋で、ユーザーが周囲、上、下に投影されたディスプレイに囲まれる環境です。^[50] 3D メガネとサラウンド サウンドが投影を補完し、物理的な世界をシミュレートすることを目的とした遠近感をユーザーに提供します。^[50] CAVE システムは開発されて以来、プロトタイプ製品の開発とテストを行うエンジニアに採用されてきました。^[52]製品設計者は、リソースを費やして物理的なプロトタイプを作成する前にプロトタイプをテストできるだけでなく、微視的な環境や工場のフロア全体などの非実体オブジェクトで「実践的な」テストを行うこともできます。^[52] CAVE を開発した後、同じ研究者が最終的に CAVE2 をリリースしました。これは、元の CAVE の欠点を補うものです。^[53]オリジナルの投影は37メガピクセルの3D LCDパネルに置き換えられ、ネットワークケーブルがCAVE2をインターネットに統合し、より精密なカメラシステムにより、ユーザーが移動するときに環境が変化できるようになりました。^[53]

ヘッドアップディスプレイ（HUD）は、周囲の環境をあまり見えにくくすることなく、見る人の目の前に直接画像を投影するディスプレイです。標準的なHUDは、HUDのグラフィックを重ね合わせるプロジェクター、グラフィックが投影される表面であるコンバイナ、そして他の2つのコンポーネントを統合し、リアルタイムの計算や調整を行うコンピューターの3つの要素で構成されています。^[54]プロトタイプのHUDは、最初は戦闘機のパイロットの戦闘を支援するために軍事用途で使用されましたが、最終的には戦闘だけでなく飛行のあらゆる側面を支援するように進化しました。^[55] HUDはその後、民間航空でも標準化され、最終的には自動車業界にも浸透しました。自動車輸送におけるHUDの最初のアプリケーションの1つは、パイオニアのヘッドアップシステムでした。これは、運転席側のサンバイザーを、運転者の前の道路にナビゲーションの指示を投影するディスプレイに置き換えたものです。^[56]ゼネラルモーターズ、トヨタ、アウディ、BMWなどの大手メーカーは、その後、特定のモデルに何らかの形のヘッドアップディスプレイを搭載するようになりました。

ヘッドマウントディスプレイ（HMD）は、頭全体に装着するか、目の前に装着し、1つまたは2つの光学系を使用して画像をユーザーの目の前に直接投影するデバイスです。その用途は、医療、エンターテイメント、航空、エンジニアリングにわたり、従来のディスプレイでは実現できない視覚的な没入感のレイヤーを提供します。^[57]ヘッドマウントディスプレイはエンターテイメント市場の消費者に最も人気があり、大手テクノロジー企業は既存の製品を補完するためにHMDを開発しています。^{[58] [59]}ただし、これらのヘッドマウントディスプレイは仮想現実ディスプレイであり、物理的な世界を統合するものではありません。ただし、人気のある拡張現実HMDは、エンタープライズ環境でより好まれています。MicrosoftのHoloLensは、医療に応用され、医師により深いリアルタイムの洞察を与えるだけでなく、エンジニアリングでは、重要な情報を物理的な世界の上に重ねて表示します。^[60]もう一つの注目すべき拡張現実HMDは、民間部門と消費者市場の両方に応用できる同様の製品を開発しているスタートアップ企業Magic Leapによって開発されました。^[61]

スマートフォンやタブレットなどのモバイル機器は、計算能力と携帯性が向上を続けています。最近のモバイル機器の多くには、拡張現実アプリケーションを開発するためのツールキットが搭載されています。^[51]これらのアプリケーションにより、開発者はコンピュータグラフィックスを物理世界のビデオに重ねることができます。広く成功した最初の拡張現実モバイルゲームはポケモンGOで、2016年にリリースされ、8億回ダウンロードされました。^[62] ARを活用したエンターテイメントアプリケーションが成功していることが証明されている一方で、生産性アプリやユーティリティアプリもAR機能を統合し始めています。Googleは、ユーザーの目の前の道路に重ねて表示されるARナビゲーション方向を含むGoogleマップアプリケーションのアップデートをリリースしたほか、翻訳アプリを拡張して、20を超える外国語で翻訳されたテキストを物理的な文章に重ねて表示できるようにしました。^[63]モバイルデバイスは、常に装備されていることが多いため、ユニークな表示技術です。

• Signer, Beat & Curtin, Timothy J. (2017)。「タンジブル・ホログラム：仮想オブジェクトのモバイル物理拡張に向けて」、技術レポート WISE Lab、WISE-2017-01、2017 年 3 月。
• Fleischmann, Monika; Strauss, Wolfgang (編) (2001)。議事録 Archived 3 March 2016 at the Wayback Machine of "CAST01//Living in Mixed Realities" Archived 16 November 2020 at the Wayback Machine Intl. Conf. On Communication of Art, Science and Technology, Fraunhofer IMK 2001, 401。ISSN 1618-1379 (印刷)、ISSN 1618-1387 (インターネット)。
• インタラクティブ マルチメディア ラボ シンガポール国立大学の研究ラボは、マルチモーダル複合現実インターフェースに重点を置いています。
• 複合現実地理情報システム (MRGIS)
• Costanza, E.、Kunz, A.、および Fjeld, M. 2009. 複合現実: 調査 Costanza, E.、Kunz, A.、および Fjeld, M. 2009. 複合現実: 調査。『ヒューマン マシン インタラクション: MMI プログラムの研究結果』、D. Lalanne および J. Kohlas (編) LNCS 5440、pp. 47–68。
• H. Regenbrecht、C. Ott、M. Wagner、T. Lum、P. Kohler、W. Wilke、E. Mueller、「3D ビデオ会議への拡張仮想性アプローチ」、第 2 回 IEEE および ACM 国際複合現実感シンポジウムの議事録、pp 290–291、2003 年
• クリスチャン・シムサリアンとカール・ペッター・アケソン、「世界の窓：拡張仮想性の一例」、第 6 回インターフェイス国際会議モンペリエ、マンマシンインタラクション、pp 68–71、1997 年
• 複合現実プロジェクト: 複合現実 (拡張現実、拡張仮想現実) と仮想現実に関する実験的なアプリケーション。
• 混合現実感尺度 - ミルグラムとキシノ (1994) の仮想性連続体の言い換えと例。
• IEICE Transactions on Information Systems, Vol E77-D, No.12 December 1994 - 複合現実視覚ディスプレイの分類 - Paul Milgram、Fumio Kishino 2017年5月4日アーカイブ、Wayback Machine

ウィキメディア・コモンズの複合現実に関連するメディア