記号論において、様相とは、人間に提示するために情報を符号化する特定の方法、すなわち記号の種類、および記号、テキスト、またはジャンルに帰属または主張される現実の状態を指します。意味は一連の記号の効果として捉えられるため、フェルディナン・ド・ソシュール(1857-1913)よりもチャールズ・パース(1839-1914)の記号論とより密接に関連しています。パースのモデルでは、記号(または表象)が別の記号(その解釈項となる)によって再帰的に解釈されるときに、対象への参照が行われます。これは、実際には記号の種類の分類を暗示する意味の概念です。
知覚心理学は、感覚的に伝達される意味のすべてまたは大部分を同じように扱う共通の認知システムが存在することを示唆している。すべての記号が知覚の対象でもあるとすれば、その様式がその性質の少なくとも一部を決定すると考える十分な理由がある。したがって、感覚様式は視覚、聴覚、触覚、嗅覚、味覚、運動感覚などとなる。記号の種類には、文字、記号、インデックス、画像、地図、グラフ、図などが含まれる。記号の組み合わせの中には、マルチモーダル、つまり効果を狙って異なる種類の記号をグループ化したものもある。しかし、媒体と様式の区別を明確にする必要がある。
つまり、モダリティとは、特定の種類の情報、あるいは情報が保存される表現形式を指します。メディアとは、この情報が解釈者の感覚に伝達される手段です。自然言語は主要なモダリティであり、音声言語としての聴覚メディア、文字言語としての視覚メディア、点字としての触覚メディア、手話としての運動メディアなど、多くのメディアにわたって不変の特性を持っています。意味が音声言語によって伝えられるとき、それは話し手によって発信され、他者の耳に届く音波に変換されます。しかし、この刺激は、話し手の態度や身振りといった視覚的な証拠、そして物理的な場所とその場所が持つ可能性のある意味合いに対する一般的な認識から切り離すことはできません。同様に、視覚的な形式に含まれる意味も、その形式の象徴性や含意から切り離すことはできません。手書きの場合、文字は整っているか、あるいはそのスタイルに感情が表れているか。どのような種類の紙が使われているか、インクの色は何か、どのような筆記具が使われているか。こうしたすべての疑問は、表現されているものの意味を解釈する上で重要です。しかし、画像は自然言語とは区別できます。ロラン・バルト(1915-80)によれば、言語は比較的明確な意味を持って機能するのに対し、イメージは何も「語らない」。しかしながら、意味するべき部分を配置するための修辞学があり、それらの部分を明確にし、効果的な全体へと結びつける、まだ一般に受け入れられてはいないものの、出現しつつある構文が存在する。修辞学者トーマス・ロステックは、修辞学を「言語やその他の象徴体系を用いて、私たちの経験を理解し、個人的および集団的なアイデンティティを構築し、意味を生み出し、世界での行動を促すこと」と定義した。[ 1 ]