中国語の計算言語学

中国語の文字をコンピュータに入力することは、文字体系が単純な言語よりも複雑です。たとえば、英語は26文字と少数のその他の文字で構成され、各文字はキーボードのキーに割り当てられています。理論的には、中国語の文字も同様の方法で入力できますが、文字数が多いため、ほとんどのアプリケーションではこの方法は実用的ではありません。何千ものキーを備えた巨大なキーボードが必要になり、ユーザーはキーボード上で個々の文字を見つけるのが難しく、時間がかかるでしょう。^{[ 4 ]}代替方法として、英語のキーボードレイアウトを使用し、各中国語の文字を英語の文字でエンコードする方法があります。これは、今日の中国語の文字入力の主流の方法となっています。

音声ベースのエンコーディングは通常、中国語の音声表記に用いられる既存のラテン文字体系に基づいています。例えば、標準中国語（普通話）にはピンイン体系、広東語には粤拼体系が用いられます。中国語の文字の入力コードは、ピンインの文字列に、声調を表す任意の数字を付加したものです。例えば、香港（Hong Kong）の標準中国語ピンイン入力コードは「xianggang」または「xiang1gang3」、広東語粤拼コードは「hoenggong」または「hoeng1gong2」となり、いずれも英語キーボードで簡単に入力できます。

中国語の文字は、形式ベースのエンコーディングによって入力することもできます。ほとんどの中国語の文字は、それぞれが書き順の画のシーケンスで構成される一連のコンポーネントに分割できます。基本的なコンポーネントは数百個あり、^{[ 5 ]}文字の数よりはるかに少ないです。入力方法の作成者は、各コンポーネントを英語の文字で表し、文字の書き順に並べることで、英語のキーボードで入力コードとして使用できる文字列を作成できます。もちろん、作成者は、文字列が長すぎる場合に、代表文字を選択するルールを設計することもできます。たとえば、Cangjie入力方法では、文字疆（境界）は、コンポーネント「弓土一田一」に対応する「NGMWM」としてエンコードされ、一部のコンポーネントは省略されます。一般的な形式ベースのエンコーディング方法には、中国本土のWubi (五笔) と台湾および香港のCangjie (仓颉) があります。^{[ 6 ]}

インテリジェント入力の最も重要な機能は、候補文字の選択にコンテキスト制約を適用することです。たとえば、Microsoft Pinyin では、ユーザーが入力コード「daxuejiaoshou」を入力すると、「大学教授 / 大學教授」（大学教授）が表示され、「daxuepiaopiao」と入力すると、コンピュータは「大雪飘飘 / 大雪飄飄」（大雪が飛ぶ）を提案します。 「大学」と「大雪」の声調のないピンイン文字はどちらも「daxue」ですが、コンピュータは後続の単語に基づいて合理的な選択を行うことができます。^{[ 7 ]}

コンピュータ内部では、各文字は内部コードによって表現されます。2台のコンピュータ間で文字が送信される際、それは情報交換コードで表現されます。今日では、ASCIIやUnicodeといった情報交換コードが、内部コードとして直接使用されることがよくあります。

GB中国語文字エンコーディング規格の最初のものは、1980年に中国が発表したGB2312です。6,763の中国語文字が含まれており、そのうち3,755のよく使われる文字はピンイン順に並べられ、残りは部首（インデックス構成要素）順に並べられています。GB2312は簡体字中国語用に設計されています。簡体化された繁体字は含まれていません。文字のコードは2バイトの16進数で表され、たとえば香港（Hong Kong）のGBコードはそれぞれCFE3とB8DBです。GB2312は、GB13000.1やGB18030などの拡張文字セットを備えた新しいバージョンがリリースされていますが、一部のコンピュータやWWWではまだ使用されています。^{[ 8 ]} GBエンコーディングの最新バージョンはGB18030で、簡体字と繁体字の両方の中国語をサポートし、Unicode文字セットと互換性があります。^{[ 9 ]}

Big5エンコーディングの標準は、1980 年代初頭に台湾の 5 つの大手 IT 企業によって設計され、それ以来、コンピュータで繁体字中国語を表現する事実上の標準となっています。Big5 は、台湾、香港、マカオで広く使用されています。オリジナルの Big5 標準には、中国本土の簡体字は含まれず、13,053 の中国語文字が含まれていました。各文字は、2 バイトの 16 進コードでエンコードされます。たとえば、香 (ADBB)、港 (B4E4)、龍 (C073) などです。Big5 文字セットの中国語文字は、部首順に並べられています。Big5 の拡張バージョンには、簡体字と香港広東語文字を含む Big-5E と Big5-2003 があります。^{[ 10 ]}

Unicode標準の完全版は、4 バイトのデジタル コードで文字を表し、世界中のすべての言語のすべての文字をカバーする巨大なエンコード スペースを提供します。基本多言語面 (BMP) は、Unicode の 2 バイト カーネル バージョンで、多くの言語の重要な文字に対して 2^16=65,536 のコード ポイントがあります。CJKV (中国、日本、韓国、ベトナム) 漢字エリアには 27,522 文字があり、GB2312 と Big5 繁体字のすべての簡体字と繁体字が含まれています。Unicode 15.0 には 149,813 文字の多言語文字セットがあり、そのうち 98,682 以上 (約 2/3) は康熙部首で分類された中国語です。非常にまれにしか使用されない文字も使用できます。例: H (0048) K (004B)、香 (9999)、港 (6E2F)、龍(9F8D)、龙 (9F99)、龖 (9F96)、龘 (9F98)、𪚥 (2A6A5)。^{[ 11 ] [ 12 ]}

Unicodeはますます普及しています。UTF -8（Unicode）は全ウェブサイトの98.1%で使用されていると報告されています。Unicodeは最終的に他のすべての情報交換コードと内部コードに取って代わり、コードの混乱はなくなると広く信じられています。^{[ 13 ]}

英語や他の言語と同様に、中国語の文字もさまざまなフォントやスタイルでプリンターや画面に出力されます。最も人気のある中国語フォントは、宋体、楷体、黒体、仿宋体です。^{[ 14 ]}

フォントはさまざまなサイズで表示されます。ポイントという国際的な測定システムに加えて、中国語の文字は、1859年にアメリカ人が中国語の印刷のために考案したサイズ番号（字号と呼ばれる）でも測定されます。^{[ 15 ]}