型とトークンの区別とは、オブジェクトの型(クラスに相当)と、その型の個々のトークン(インスタンスに相当)との違いを指します。各型は複数のトークンによってインスタンス化される可能性があるため、一般的に、オブジェクトの型よりもトークンの数の方が多くなります。
例えば、「バラはバラであり、バラである」という文には、3種類の単語が含まれています。すなわち、a型の単語トークンが3つ、is 型の単語トークンが2つ、rose型の単語トークンが3つです。この区別は、論理学、言語学、メタ論理学、タイポグラフィ、コンピュータプログラミングなどの分野で重要です。
型とトークンの区別は、型(抽象的な記述概念)とトークン(概念を具体化するオブジェクト)を区別します。たとえば、「自転車はますます人気が高まっている」という文では、自転車という単語は自転車という抽象的な概念を表し、この抽象的な概念は型です。一方、「自転車はガレージにある」という文では、自転車は特定のオブジェクトを表し、この特定のオブジェクトはトークンです。同様に、「letter」という単語型は、L、E、T、Rの 4 つの文字型のみを使用します。しかし、 EとTはそれぞれ 2 回ずつ使用されます。つまり、 「letter」という単語型には 6 つの文字トークンがあり、文字型EとTがそれぞれ 2 つずつあると言えます。単語型が記述されるたびに、作成される文字トークンの数は、その単語型における文字の出現回数と等しくなります。
論理学者の中には、単語型をそのトークンのクラスと考える者もいる。一方、別の論理学者は、単語型にはトークンのクラスには見られない永続性と不変性があると反論する。単語型は変化しないが、トークンのクラスは絶えず新しい要素を獲得し、古い要素を失っていく。
タイポグラフィでは、タイプとトークンの区別は、活版印刷されたテキストの存在を判断するために使用されます。[ 1 ]
活字印刷において満たさなければならない決定的な基準は、印刷されたテキストを構成する様々な文字の形態が同一であることである。言い換えれば、テキスト中に登場する各文字は、印刷された文字の反転画像を含む、同一の書体の特定のインスタンス(「トークン」)として表示されなければならない。
単語をタイプまたはトークンとして使用することの区別は、1906年にアメリカの論理学者で哲学者のチャールズ・サンダース・パースが、彼自身が確立した用語を用いて初めて行った。 [ 2 ]パースのタイプとトークンの区別は、単語、文、段落など、文字ストリング理論または連結理論の議論の世界にあるあらゆるものに適用されます。
パースの原文は以下のとおりです。
印刷された書籍の内容を推定する一般的な方法は、単語数を数えることです。通常、1 ページには約 20 個の「the」があり、もちろん、これらは 20 個の単語として数えられます。しかし、「単語」という言葉の別の意味では、英語には「the」という単語は 1 つしかありません。そして、この単語がページ上に目に見える形で存在したり、声で聞こえたりすることは不可能です。このような形式を、私はタイプと呼ぶことにします。書籍の 1 部、1 ページの 1 行にあるこの単語やあの単語のような単一のオブジェクトを、私はあえてトークンと呼ぶことにします。タイプを使用するためには、タイプを象徴し、それによってタイプが示すオブジェクトの象徴となるトークンに具現化されなければなりません。
—ピアース 1906、またオグデンとリチャーズ、1923、280-1。[ 3 ]