マルチモダリティ

1960年代と1970年代には、多くの作家が、作曲に関する新しいアイデアを発見するために、写真、映画、オーディオテープの録音に目を向けました。^{[ 14 ]}これにより、表現主義 として知られる感覚的で自己表現的な表現への注目が再び高まりました。表現主義的な考え方は、作家が視覚的、口頭的、空間的、または時間的な媒体に自分の声を置くことで、言語の外に自分の声を見つけることを奨励しました。^{[ 15 ]}表現主義的なライティング指導法とよく関連付けられるドナルド・マレーはかつて、「作家として、私たちの内にあるものから、私たちの周りの世界の見たり、感じたり、聞いたり、嗅いだり、味わったりするものへと進むことが重要です。作家は常に経験を利用しています」と述べました。マレーは、ライティングの学生に、1時間の間、あらゆる視覚的観察を書き留めることで「自分自身をカメラと見なす」ように指示しました。^{[ 15 ]}表現主義的な考え方は、個人の成長を重視し、ライティングの芸術とすべての視覚芸術を、どちらも一種の構成と呼ぶことで結びつけました。また、表現主義者たちは、書くことを感覚的な経験の結果と捉えることで、書くことを多感覚的な経験と定義し、五感すべてに合わせて、あらゆる様式で自由に創作できることを求めた。

1970年代と1980年代には、学習に関する認知研究を通じてマルチモダリティがさらに発展しました。ジェイソン・パルメリは、この発展に重要な研究者としてジェームズ・ベルリンやジョセフ・ハリスを挙げています。ベルリンとハリスは、アルファベットの書き方と、その構成が芸術、音楽、その他の創造性の形態とどのように比較されるかを研究しました。^{[ 15 ]}彼らの研究は、作家が執筆プロセスについてどのように考え、計画するかを研究する認知アプローチを採用していました。ジェームズ・ベルリンは、文章を構成するプロセスは、イメージや音をデザインするプロセスと直接比較できると主張しました。 ^{[ 16 ]}さらに、ジョセフ・ハリスは、アルファベットの書き方はマルチモーダル認知の結果であると指摘しました。作家は、視覚イメージ、音楽、運動感覚を通して、非アルファベット的な手段で作品を概念化することがよくあります。^{[ 17 ]}この考えは、より一般的には神経言語的学習スタイルとして知られるニール・フレミング の有名な研究に反映されました。フレミングの聴覚、運動感覚、視覚の3つの学習スタイルは、人々が最も効果的に学習し、創造し、意味を解釈できる様式を説明するのに役立った。リンダ・フラワーやジョン・R・ヘイズなどの他の研究者は、アルファベットによる書き方は主要な様式ではあるものの、書き手が表現したい非アルファベット的な考えを伝えることができない場合があると理論づけた。^{[ 18 ]}

マルチモダリティの出現は、最も基本的なレベルでは、聴衆が情報を認識する方法を変える可能性があります。言語の最も基本的な理解は、記号論、つまり単語と記号の関連性を通して得られます。マルチモーダルなテキストは、音声、視覚、デジタルなど、新しい文脈に既成の意味を持つ単語を配置することで、その記号論的効果を変えます。これにより、聴衆にとって根本的に異なる新しい意味が生まれます。マルチモダリティと記号論の2人の学者であるベゼマーとクレスは、テキストが画像や音声などの二次的なメディアと併用して提供される場合と、英数字形式のみで提供される場合とでは、学生は情報を異なる方法で理解すると主張しています。これは、視聴者の注意が「元の場所と再文脈化の場所の両方」に向けられるためです。^{[ 19 ]}意味は1つのメディアから次のメディアへと移動し、聴衆は記号論的なつながりを再定義する必要があります。元のテキストを他のメディアの中で再文脈化することで、読者はこれまでとは異なる理解を得ることができ、この新しいタイプの学習は、使用するメディアの種類によって制御することができる。

マルチモダリティは、事実を述べたり、定義を示したり、価値判断を促したり、政策決定を行ったりするなど、テキストを特定の議論目的と関連付けるためにも使用できます。メリーランド大学とペンシルベニア州立大学の教授であるジャンヌ・ファーンストックとマリー・セコールは、これらの目的の達成を「スタシス」と名付けました。^{[ 20 ]}テキストのスタシスは、特に複数のメディアが並置されて個別化された経験や意味が作られる場合、マルチモダリティによって変化する可能性があります。たとえば、主に概念を定義する議論は、定義のスタシスで議論していると理解されますが、定義の提示方法によって書き手が概念を評価したり、何かが良いか悪いかを判断したりできる場合は、価値のスタシスを割り当てることもできます。テキストがインタラクティブな場合、マルチモーダルテキストが提供する視点から、読者は独自の意味を作り出すことができます。さまざまなモードを使用してさまざまなスタシスを強調することで、書き手は読者の理解をさらに促進することができます。

マルチモダリティは、かつて白黒はっきりしていたものをグレーゾーンに変えることで、読者のジャンルの概念を曖昧にする。ノースカロライナ州立大学の修辞学およびテクニカルコミュニケーションの著名な教授であるキャロリン・R・ミラーは、ウェブログのジャンル分析において、ブログの発明によってジャンルがどのように変化したかを指摘し、「ブログをブログたらしめる中心的な特徴については、強い合意がある」と述べている。ミラーは、ブログを逆時系列、頻繁な更新、リンクと個人的なコメントの組み合わせに基づいて定義している。^{[ 21 ]}しかし、マルチモーダルテキストを考慮すると、ブログの中心的な特徴は曖昧になる。投稿が互いに独立している機能など、一部の特徴は欠落しているが、他の特徴は存在する。このため、マルチモーダルテキストのジャンルを定義することは不可能であり、むしろジャンルは動的で、進化し、常に変化している。

技術の影響により、新しいテキストの配信方法は根本的に変化しました。現在、文章作成は将来の修正を予測することから成り立っています。書き手は、テキストがどのような読者に向けて書かれているかを考え、将来そのテキストがどのように修正されるかを予測します。ジム・リドルフォは、第三者がオリジナルの文章を書き直すのにかかる距離、速度、時間、移動に対する意識的な配慮を説明するために、「修辞的速度」という用語を作り出しました。 ^{[ 22 ]}再構成を用いることで、読者は公共の対話に参加し、オリジナルの作品に自身の意図を加えることができます。この新しい編集および修正方法は、デジタルテキストと出版の進化に起因しており、執筆と文章作成においてテクノロジーが重要な役割を担うようになりました。

マルチモダリティはテクノロジーとともに進化してきました。この進化により、読者と書き手を関係に保つ協働的な文脈という、新しいライティングの概念が生まれました。テクノロジーの影響により、情報の迅速な伝達への欲求から、読書の概念も変化しています。マルチモダリティがジャンルとテクノロジーに与える影響に関して、アン・フランシス・ウィソッキ教授は、テクノロジー改革によって読書という行為がどのように変化したかについて詳しく説明しています。「これらのさまざまなテクノロジーは、私たちが受け継いできたページの構成と解釈へのアプローチを検討し、変更するための視点を提供します...」。^{[ 23 ]}メディアの相互接続性とともに、コンピュータベースのテクノロジーは、修辞的伝達と聴衆に影響を与える新しいテキストを可能にするように設計されています。

マルチリテラシーとは、さまざまなコミュニケーション方法を通して情報を理解し、それらの方法に習熟するという概念です。テクノロジーの発展に伴い、これまで以上に多くのコミュニケーション方法が存在するため、これらの新しいテクノロジーにうまく対応できるよう、リテラシーの定義を変える必要が生じています。これらの新しいテクノロジーには、テキストメッセージ、ソーシャルメディア、ブログなどのツールが含まれます。^{[ 26 ]}しかし、これらのコミュニケーション方法は、音声、ビデオ、画像、アニメーションなど、複数のメディアを同時に使用することがよくあります。そのため、コンテンツはマルチモーダルになります。

これらの異なるメディアの集大成がコンテンツコンバージェンスと呼ばれるものであり、これはマルチモーダル理論の礎石となっています。^{[ 27 ]}現代のデジタル言説において、コンテンツは多くの人がアクセスでき、リミックス可能で、簡単に拡散できるようになり、アイデアや情報が一般の人々によって消費、編集、改善されるようになりました。^{[ 27 ]}例としてウィキペディアを挙げると、このプラットフォームは作品の自由な消費と執筆を可能にし、それが大規模なコミュニティの努力を通じて知識の拡散を促進します。ウィキペディアは、執筆が共同作業となり、その共同作業によって執筆の成果物が改善される空間を作り出します。このコンテンツコンバージェンスのプロセスを通じて情報の流通が拡大するにつれて、リテラシーに対する私たちの理解もそれに合わせて進化する必要が生じてきました。^{[ 27 ]}

非言語コミュニケーションの唯一の手段として書かれたテキストから離れることで、識字能力の伝統的な定義が進化しました。^{[ 28 ]}テキストと画像は別々に、デジタルで、または印刷物として存在できますが、それらを組み合わせることで新しい形の識字能力が生まれ、それゆえ、識字能力があることの意味についての新しい考え方が生まれます。テキストは、学術的なもの、社会的なもの、娯楽目的のものなど、さまざまな方法でアクセスでき、インターネット上で複数の個人によって編集できます。このようにして、通常は具体的なテキストが、コラボレーションのプロセスを通じて不定形になります。話し言葉と書き言葉は時代遅れではありませんが、もはやメッセージを伝達および解釈する唯一の方法ではありません。^{[ 28 ]}多くの媒体は別々に個別に使用できます。あるコミュニケーション手段を組み合わせて別の手段に再利用することは、さまざまな識字能力の進化に貢献しています。

コミュニケーションは、画像や埋め込み動画が添えられたブログ記事など、コンテンツの融合を通じて媒体全体に広がります。媒体を組み合わせるこの考え方は、メッセージを翻訳するという概念に新たな意味を与えます。さまざまな形式のメディアの集大成により、コンテンツは繰り返したり、その部分によって補完されたりすることができます。あるモードから別のモードへの情報のこの再構成は、トランスダクションとして知られています。^{[ 28 ]}情報が1つのモードから次のモードに変化するにつれて、そのメッセージの理解はマルチリテラシーに起因します。Xiaolo Baoは、マルチリテラシーを構成する3つの連続した学習段階を定義しています。文法翻訳法、コミュニケーション法、タスクベース法です。簡単に言えば、これらは構文とその機能の基本的な理解、その理解を口頭でのコミュニケーションに適用する練習、そして最後に、テキストと口頭の理解を実践的な活動に適用することと説明できます。カナダ科学教育センターが実施した実験では、生徒はマルチモーダルなコース構造を持つ教室、または対照群として標準的な学習コース構造を持つ教室に分けられました。2つのコースの期間を通してテストが実施され、マルチモーダルなコースの方が学習の成功率が高く、生徒の満足度も高いと報告されています。これは、実際のシナリオでテストした場合、マルチモーダルな指導法を適用すると、従来の学習方法よりもマルチリテラシーの育成において全体的に優れた結果が得られることを示しています。^{[ 29 ]}

教室におけるマルチモダリティは、リテラシーの定義の進化の必要性をもたらしました。マルチモダリティの著名な理論家であるギュンター・クレスによれば、リテラシーは通常、文字と単語の組み合わせによってメッセージや意味を作り出すことを指し、視覚リテラシーやコンピュータ・リテラシーなど、別の分野の知識を表現するために他の単語と結び付けられることがよくあります。しかし、マルチモダリティが教室だけでなく、職場や社会環境でもより一般的になるにつれて、リテラシーの定義は教室や従来のテキストを超えて広がっています。読み書きだけを指すのではなく、あるいは他の分野に拡張されるのではなく、リテラシーとその定義は複数のモードを包含するようになりました。それは読み書きだけではなくなり、視覚、技術、社会的な用途などを含むようになりました。^{[ 28 ]}

ジョージア工科大学のライティングおよびコミュニケーションプログラムは、WOVENという頭字語に基づいてマルチモダリティの定義を作成しました。^{[ 30 ]}この頭字語は、コミュニケーションが書面、口頭、視覚、電子、非言語で行われることを説明しています。コミュニケーションには、意味と理解を生み出すために連携して機能する複数のモードがあります。このプログラムの目標は、学生がさまざまなモードとメディアを使用して日常生活で効果的にコミュニケーションできることを保証することです。^{[ 30 ]}

教室のテクノロジーが普及するにつれて、マルチモーダルな課題も増えています。21世紀の学生は、テキストメッセージ、ブログ、ソーシャルメディアなど、デジタルでコミュニケーションをとるための選択肢が増えています。^{[ 31 ]}コンピュータ制御のコミュニケーションの増加により、21世紀の職場環境で必要とされるスキルを学生に教えるために、授業をマルチモーダルにする必要が生じています。^{[ 31 ]}しかし、教室では、マルチモーダルとは複数のテクノロジーを組み合わせるだけではなく、複数のモードを統合することによって意味を創造することです。学生は、音、ジェスチャー、音声、画像、テキストなど、これらのモードの組み合わせを通して学習しています。たとえば、レッスンのデジタルコンポーネントでは、学生が主題をよりよく理解できるように、テキストに加えて、画像、ビデオ、音声クリップがよく使用されます。マルチモーダルでは、印刷された文字は学生が学習して使用しなければならない多くのモードの1つにすぎないため、教師はテキストのみで教えることから脱却する必要があります。^{[ 28 ] [ 31 ] [ 32 ]}

英語の授業で視覚リテラシーを応用する試みは、1946年に人気児童書「ディックとジェーン」の教師用版で生徒に「言葉だけでなく絵も読む」ように教えることを提案したことに遡ります（p.  15）。^{[ 33 ]} 1960年代には、全米英語教師協議会  が発行したいくつかの報告書で、テレビや新聞、雑誌、ラジオ、映画、漫画などのマスメディアを英語の授業で使用することを提案しました。高等教育機関のライティング指導でも状況は似ています。1972年以降、ジェームズ・マクリモンの『Writing with a Purpose』のような20世紀の人気大学ライティング教科書に視覚要素が取り入れられています。^{[ 33 ]}

これらの表現に基づいて、コミュニティは社会的相互作用を通じて、モードがどのように一般的に理解されているかを決定します。同様に、マルチモダリティの機能の仕方に関するこれらの仮定と決定は、実際に新しい文化的および社会的アイデンティティを生み出すことができます。たとえば、BezemerとKressはモードを「意味を作るための社会的および文化的に形成されたリソース」と定義しています。Bezemerによると、「何かが「モードである」ためには、コミュニティ内で一連のリソースと、それらをどのように組織化して意味を実現できるかについての共有された文化的感覚が必要です。[ ^{37 ] ]}知識、理解、表現の異なるまたは類似したリソースから引き出す文化は、異なるまたは類似したモードを通じてコミュニケーションを行います。^{[ 19 ]} たとえば、記号は、私たちの日常生活の必要性によって決定される視覚的なコミュニケーションモードです。

ボーリング・グリーン州立大学で修辞学とライティングを専攻し英語の博士号を取得したエリザベス・J・フライツは、博士論文の中で、本質的にマルチモーダルであると彼女が述べる料理本は、重要なフェミニスト修辞テキストであると主張している。^{[ 38 ]} フライツによれば、女性は料理本のような社会的に受け入れられる文学を通してコミュニケーションをとることで、他の女性との関係を築くことができた。「女性が自分の性別役割を果たしている限り、私的な領域と公的な領域の両方で彼女が得る権力の増加にはほとんど注意が払われない」。家にいることに専念していた女性も出版作家になることができ、脅威と見なされることなく男根中心の社会で発言権を得ることができた。女性は自分のニーズに合わせてさまざまな書き方を修正し、適応させた。 「ジェンダーとジャーナル」の著者であるシンシア・ギャネットによれば、男性の日記から発展した日記を書くことは、「女性の家庭生活、社会生活、精神生活に対する認識を統合し、確認し、自己意識を呼び起こす」ものである。^{[ 39 ]}こうした修正方法こそが、女性文学をマルチモーダルなものと特徴づけている。料理本の中のレシピもまた、マルチモーダルである。料理本であろうとブログであろうと、あらゆる媒体を通して提供されるレシピは、「身体、経験、知識、記憶、マルチモーダルなリテラシーの相互作用」によって、マルチモーダルであると考えられる。これらの相互作用はすべて互いに関連し合い、レシピに対する私たちの理解を形成する。レシピの交換は、ネットワーク構築と社会的交流の機会となる。フライツによれば、「このネットワークは、支配的な言説方法以外の代替的なコミュニケーション形態で『間に合わせる』ことで、女性の社会的および政治的目標をさらに推進し促進するため、この相互作用は紛れもなくマルチモーダルである」。料理本は、マルチモダリティがコミュニティのアイデンティティを構築する能力を示す一例に過ぎませんが、マルチモダリティの微妙な側面を的確に示しています。マルチモダリティは、テキスト、画像、音声などの具体的な要素だけでなく、経験、既存の知識、文化的理解からも影響を受けます。

私的な環境から公的な環境への移行によって生じたもう一つの変化は、オーディエンスの構築である。^{[ 40 ]}家庭という私的な空間では、家族は通常、家族や友人といった特定のオーディエンスを対象としている。写真が公開されると、まったく新しいオーディエンスが対象となる。パウエルズが指摘するように、「オーディエンスは無視されるか、些細な内容について警告や謝罪を受けるか、個人的な話に関連して直接語りかけられるか、あるいは楽しませてもらう必要があり、フィードバックを提供するよう求められる、高く評価されるオーディエンスとして迎えられるかのいずれかである。」^{[ 40 ]}

日常生活において、意味のマルチモーダルな構築と伝達は至るところで見られます。しかしながら、学術論文においては、現在に至るまで言語資源が圧倒的に優位を占めてきました（Blanca, 2015）。学術研究とコミュニケーションの過程で使用される記号資源が研究結果に影響を与えるという確信（Sousanis, 2015）に基づき、学術における他の形式の文章表現の可能性を探求する必要性が生じています。なぜなら、これらの過程は、ここでマルチモーダルな観点から理解される文章表現の認識論的可能性において結びついているからです。したがって、このアイデアは、学術的な言説を視覚的な資料で「装飾」することではなく、むしろ、さまざまな言語的および非言語的モードの織り交ぜから生じる、別の思考方法、新しい連想、そして最終的には新しい知識を可能にすることにあるのです。ページデザインの戦略的な使用、テキストの列配置やテキストと画像の並置、タイポグラフィ（書体、サイズ、色など）の使用は、学術流通というジャンルの記号論的可能性を活用する方法のほんの一例にすぎません。これは、線形的なテキスト展開に加えて非線形的なテキスト展開に訴えること、そして意味を創造する無限の可能性において画像とテキストを緊張させることによって、学術論文の形式を豊かにする可能性と関連しています（Mussetta、Siragusa & Vottero、2020年；^{[ 41 ]} Lamela Adó & Mussetta、2020年；^{[ 42 ]} Mussetta、Lamela Adó & Peixoto、2021年^{[ 43 ]}）。

意味の構築のために、伝統的な形式の本のテキストと物質性を探求し、視覚的に活用するフィクション作品が増えている。これらは、批評家の中にはマルチモーダル小説と呼ぶ者もいるが（Hallet 2009, p.  129; Gibbons 2012b, p.  421 など）、ビジュアル小説やハイブリッド小説とも呼ばれる（Luke 2013, p.  21; Reynolds 1998, p.  169; Sadokierski 2010, p.  7）。これらの物語には、さまざまな記号論的資源と様式が含まれており、さまざまな活字や空白の戦略的な使用から、通常のイラストの概念には当てはまらないものの、物語の不可分な部分であり、複数の組み合わせで作品に意味を与えるという特定の機能を持つ絵、写真、地図、図表の挿入まで多岐にわたります（Mussetta 2014; ^{[ 44 ]} Mussetta, 2017a; ^{[ 45 ]} Mussetta, 2017b; ^{[ 46 ]} Mussetta 2017c; ^{[ 47 ]} Mussetta, 2020 ^{[ 48 ]}）。

ビジネス分野では、マルチモダリティは効率性の内部および外部の両方の改善の機会を生み出します。テキストと視覚の両方の学習要素を活用するように教育が変化するのと同様に、マルチモダリティは企業がより良いコミュニケーションを行うことを可能にします。Vala Afsharによると、この変化は「テクノロジーがビジネスの不可欠な部分になった」1980年代に初めて起こり始めました。このレベルのコミュニケーションは、21世紀におけるデジタルメディアとツールの統合によって増幅されました。^{[ 49 ]}

企業は社内で、分析やシステム的な目的などでマルチモーダルプラットフォームを利用しています。マルチモーダルな手法を用いることで、企業は生産性を向上させるとともに、経営陣の透明性を高めることができます。こうした取り組みによる従業員のパフォーマンス向上は、継続的なインタラクティブトレーニングや直感的なデジタルツールと相関関係があります。^{[ 50 ]}

マルチモダリティは、1回のやり取りで複数のプラットフォームを提供することで顧客満足度を高めるために外部で使用されます。21世紀にはテキスト、チャット、ソーシャルメディアが普及したため、ほとんどの企業はクロスチャネルエンゲージメントを促進しようとしています。企業は顧客体験を向上させ、潜在的な問題や問い合わせを迅速に解決することを目指しています。外部マルチモダリティにおける企業の目標は、顧客サービスをより効率的にするためにリアルタイムでのより良いコミュニケーションを中心に据えています。^{[ 51 ]}

マルチリテラシー環境によって引き起こされる変化の1つは、私的領域のテキストがより公になるということです。私的領域とは、人々が個人的な権威を感じ、政府などの制度から距離を置いている環境として説明されます。家族と家は私的領域の一部と考えられています。家族写真は、この領域におけるマルチモダリティの例です。家族は写真を撮り（時にはキャプションを付けて）、アルバムにまとめます。アルバムは通常、他の家族や家族が許可した人々に見せることを目的としています。これらのかつては私的なアルバムは、テクノロジーの急速な発展と普及により、インターネットの公共環境にますます頻繁に出入りするようになっています。^{[ 40 ]}

ベルギーのアントワープ大学のコミュニケーション研究教授であるリュック・パウエルズ氏によると、「ウェブのマルチメディア環境は、個人の写真制作者やストーリーテラーに、自分たちの生活に関する事実やフィクションを構築し、発信するための、ますます柔軟な媒体を提供している」とのことです。^{[ 40 ]} これらの比較的新しいウェブサイトプラットフォームでは、家族が写真を操作したり、テキスト、音声、その他のデザイン要素を追加したりすることができます。^{[ 40 ]}これらのさまざまなモードを使用することで、家族は自分たちの生活の物語を構築し、それを潜在的に普遍的な視聴者に提示することができます。パウエルズ氏は、「デジタル化された（そしておそらくデジタル的に「調整された」）家族のスナップショットは、家族文化の非物質的な側面、つまり人々の集団の価値観、信念、願望について、より多くのことを明らかにする可能性がある」と述べています。^{[ 40 ]}家族のこの非物質的な側面は、ウェブ上でマルチモダリティを使用することでよりよく表現されます。なぜなら、特定のイベントや写真は、サイト上でどのように整理されているかに基づいて、他のイベントや写真よりも優先される可能性があり、^{[ 40 ]}他の視覚的または音声的要素がメッセージの喚起に役立つからです。

家族写真がデジタル家族アルバムへと進化してきたのと同様に、日記も個人のウェブログへと進化している。ノースカロライナ州立大学のキャロリン・ミラー教授とドーン・シェパード教授は、「ウェブログ現象は、ウェブログが誘うように見える公と私という特異な交差点など、多くの修辞的な問題を提起している」と述べている。^{[ 21 ]} ブロガーは、言葉、画像、音などを用いて、公共の場で個人的な内容を伝える機会を得ている。上記の例で述べたように、人々はこの拡大する公共コミュニティで自分の人生の物語を創作することができる。ミラー教授とシェパード教授は、「承認はますます媒介を通して、つまりメディアが提供するアクセス、注目、そして強化を通して得られるようになっている」と述べている。^{[ 21 ]} ブロガーは、インターネットの即時性のおかげで、読者に「リアルな」体験を提供することができる。「リアルな」体験とは、「ブロガーの人格に根ざした、視点的な現実」を指す。^{[ 21 ]}

1990年代には、インターネット、パーソナルコンピュータ、その他のデジタル技術の登場により、マルチモダリティの範囲が拡大しました。新世代の識字能力は変化し、断片的に、非公式に、画像、色、音などの複数の媒体で流通するテキストに慣れるようになりました。この変化は、文章の提示方法における根本的な転換、つまり印刷ベースからスクリーンベースへの移行を意味しました。^{[ 53 ]}識字能力は進化し、学生は教室にビデオ、グラフィック、コンピュータスキルに関する知識を持って入学するようになりましたが、アルファベットの書き方は知りませんでした。教育者は、学生が新千年紀に向けて文章を書くことに成功できるよう、マルチモーダルなレッスンを取り入れるように指導方法を変更する必要がありました。

公共の場では、マルチメディアとは一般的に、広告におけるグラフィック、コマーシャルにおけるアニメーションやサウンドの実装、およびそれらの重複領域を指します。このマルチメディアの使用の背後にある考え方の1つは、テクノロジーを通じて、さまざまなテクノロジー媒体の消費を通じてより多くのオーディエンスにリーチできること、または、2010年にカイザーファミリー財団によって報告されたように、場合によっては「消費の増加を促進するのに役立つ」ことです。これは5年前からの劇的な変化です。「8～18歳は、典型的な1日に平均7時間38分をメディアの使用に費やしています（1週間で53時間以上）。」マルチプラットフォームのソーシャルメディアとデジタル広告キャンペーンを実現する可能性とともに、広告主がソーシャルネットワークを介して消費者にコミュニケーションする方法に関する連邦取引委員会（FTC）からの新しい規制も来ています。 ^{[ 55 ]}マルチモーダルツールはソーシャルネットワークと結びついていることが多いため、これらの公正な慣行で消費者を評価することが重要です。バーバリー・グループPLCやラコステSA（それぞれバーバリーとラコステのファッションハウス）のような企業は、人気のブログサイトTumblrを通じて消費者と交流しています。 パブリックス・スーパーマーケットやジープはTwitterを通じて消費者と交流しています。セレーナ・ゴメスやマイアミ・ヒートといった有名人やスポーツチーム／選手も、ファンページを通じてFacebookでファンと交流しています。これらの例は、特定の企業が単一のメディアにのみ活動しているわけではなく、それぞれのメディアで見られる多様な活動内容を示しています。

マルチメディア広告は、製品やサービスを販売するために使用されるアニメーションやグラフィックデザインの結果です。ビデオ、オンライン広告、DVD、CDなど、さまざまな形式のマルチメディア広告があります。これらの媒体により、企業はマルチメディア広告を通じて顧客基盤を拡大することができます。これは、製品やサービスのマーケティングに不可欠な貢献です。たとえば、オンライン広告は、広告におけるマルチメディアの使用に対する新しい波の例であり、オンライン企業や従来の企業に多くの利点をもたらします。今日の新しいテクノロジーは、広告におけるマルチメディアの進化と従来の手法からの転換をもたらしました。マルチメディア広告の重要性は、製品やサービスをマーケティングまたは販売する効果において、企業にとって大幅に増加しています。企業広告は、「企業は、検索エンジン最適化、広範なキーワード調査、戦略的なリンクを通じて、より幅広いオーディエンスにアピールし、売上を増加させる可能性が高い」という考えに関係しています。^{[ 56 ]}広告プラットフォームの背後にある概念は、複数のメディアにまたがる可能性がありますが、その核心は同じスキームを中心にしています。

コカ・コーラは、印刷広告^{[ 57 ]} 、ウェブ広告、テレビCM ^{[ 58 ]}など、複数のメディアプラットフォームで包括的な「Open Happiness」キャンペーンを展開しました。この中心的な機能の目的は、複数のプラットフォームで共通のメッセージを伝え、視聴者が繰り返し伝えられるメッセージを受け入れるよう促すことでした。このようなマルチメディアキャンペーンの強みは、利用可能なすべてのメディアを実装することであり、そのどれもが異なる視聴者に対して成功する可能性があるということです^{[ 58 ] 。}

ソーシャルメディアやデジタルプラットフォームは、今日の日常生活に遍在しています。^{[ 59 ]}これらのプラットフォームは、独自の構成要素のみに基づいて動作するわけではなく、他のテクノロジーやツールのメディアを利用して、プラットフォーム上で作成されるものに多次元性を加えています。これらの追加されたモード機能は、ユーザーにとってよりインタラクティブな体験を生み出します。

Web 2.0の出現以前は、ほとんどの Web サイトは情報を掲載するだけで、読者とのコミュニケーションはほとんど、あるいは全くありませんでした。^{[ 60 ]} Web 2.0 では、ソーシャルメディアやデジタル プラットフォームが、企業、法律事務所、広告など、日常生活に活用されています。デジタル プラットフォームは、メディアの使用と他のテクノロジーやツールを組み合わせて、プラットフォーム上で作成されるものをさらに強化および改善することから始まります。^{[ 61 ]}

ハッシュタグ (#topic) とユーザー タグ (@username) はメタデータを使用して「トレンド」トピックを追跡し、ソーシャルメディア サイトの投稿内で自分の名前が使用されていることをユーザーに通知します。さまざまなソーシャルメディア Web サイト (特に Twitter と Facebook) で使用されているこれらの機能は、ユーザーとテーマの間に内部リンクを追加します。^{[ 62 ] [ 63 ] [ 64 ]}マルチモーダル機能の特徴は、 Facebookのステータス更新オプションで確認できます。ステータス更新は、個人のブログ、 Twitter 、インスタント メッセージ、テキスト メッセージの機能を単一の機能に組み合わせます。2013 年のステータス更新ボタンは現在、ユーザーに「何を考えていますか?」と尋ねますが、これは 2007 年の「今何をしていますか?」から変更されています。この変更は、ユーザーの柔軟性を高めるために Facebook によって追加されました。^{[ 65 ]}このマルチモーダル機能により、ユーザーはテキスト、ビデオ、画像、リンクを追加し、他のユーザーをタグ付けできます。 Twitterの1メッセージ140文字という制限付きマイクロブログプラットフォームでは、ユーザーは他のユーザーやウェブサイトへのリンクを貼ったり、画像を添付したりすることができる。この新しいメディアは、インターネット上の会話の文脈をより少ない文字数に凝縮しつつ、複数のメディアを包含することで、現代の若者のリテラシーに影響を与えている。

その他の例としては、「ブログ」が挙げられます。これは「ウェブログ」の短縮形として1999年に造語されたもので、ブログの基礎は90年代半ばから後半にかけての様々な人物に帰せられることが多いです。ブログの世界では、より多面的な読み物を生み出すために、テキストのみのエントリにビデオ、画像、その他のメディアが追加されることがよくあります。^{[ 66 ]}

教育分野におけるマルチモダリティの現在のデジタル応用の1つは、ジェームズ・ジーがビデオゲームを通じた効果的な学習というアプローチで開発したものです。ジーは、学校、職場、家庭、学術研究者が優れたコンピュータゲームやビデオゲームから得るべき学習に関する知識はたくさんあると主張しており、例えば学校での科学教育など、他の多くの分野で使用できる「根本的に健全な学習原理の全体」などを挙げています。^{[ 67 ]}

マルチモダリティのもう 1 つの応用例は、デジタル映画制作、時には「デジタル ストーリーテリング」と呼ばれるものです。デジタル ストーリーは、個人的に意味のある物語を作成するためにデジタル画像、ビデオ、およびオーディオを組み込んだ短編映画と定義されます。この実践を通じて、人々は映画制作者として、マルチモーダルな表現形式を使用して、人生の物語や学習の物語をデザイン、作成、共有し、通常はオンライン プラットフォームを通じて特定のオーディエンスと共有します。デジタル リテラシーの実践としてのデジタル ストーリーテリングは、教育現場でよく使用されています。また、オンライン コミュニティのメンバーがデジタル ストーリーを作成して共有するように促すプロジェクトが増加していることを考慮すると、メディアの主流でも使用されています。^{[ 68 ]}