文字コード

文字エンコーディングとは、文字体系の各文字を数値で表す慣習のことです。文字セットには自然言語の記号だけでなく、制御文字や空白文字など、言語以外の意味や機能を持つコードも含まれることがあります。文字エンコーディングは、いくつかの人工言語についても定義されています。エンコードされた文字データは、コンピュータによって保存、送信、変換することができます。^{[ 1 ]}文字エンコーディングを構成する数値はコードポイントと呼ばれ、まとめてコード空間またはコードページを構成します。

光学式または電気式電信、そして初期のコンピュータに由来する初期の文字符号化方式は、言語で使用される文字のごく一部しか表現できず、大文字、数字、限られた句読点に限定されることもありました。時が経つにつれ、 ASCII、ISO/IEC 8859、そしてUTF-8やUTF-16などのUnicode符号化方式のように、より多くの文字を表現できる符号化方式が開発されました。

ワールドワイドウェブで最も普及している文字エンコーディングはUTF-8で、 2026年1月時点で調査対象のウェブサイトの98.9%で使用されている。 [ ^{2 ]}アプリケーションプログラムやオペレーティングシステムのタスクでは、UTF-8とUTF-16の両方がよく使われるオプションです^{。[ 3 ]}

文字コードの歴史は、かつては斬新だった電気的な手段を用いて、機械を介した文字ベースの記号情報を遠隔で伝達する必要性が進化してきたことを示している。最も初期のコードは、ベーコンの暗号、点字、国際海上信号旗、中国語電信コードのための中国語文字の4桁の符号化（ハンス・シェレルップ、1869年）など、手動および手書きの符号化および暗号化システムに基づいていた。電気および電気機械技術の採用により、これらの初期のコードは、初期の機械の新しい機能と制限に合わせて適応された。最もよく知られている電気伝送文字コードであるモールス符号は、1840年代に導入され、4つの「記号」（短い信号、長い信号、短い空白、長い空白）のシステムを使用して、可変長のコードを生成した。モールス符号の商業利用の中には機械によるものもあったが、多くの場合、電信キーで手動で生成され、耳で解読される手動符号として使用され、アマチュア無線や航空分野でも現在も使用されている。ほとんどの符号は、文字ごとの固定長、または固定長符号の可変長シーケンス（例：Unicode）である。^{[ 4 ]}

文字符号化システムの一般的な例としては、モールス符号、ボードー符号、米国情報交換標準コード（ASCII）、そしてUnicodeが挙げられる。明確に定義され拡張可能な符号化システムであるUnicodeは、以前のほとんどの文字符号化システムに取って代わったが、現在に至るまでのコード開発の経緯はよく知られている。

5ビット符号化方式であるボード符号は、1870年にエミール・ボードによって考案され、1874年に特許を取得、1901年にドナルド・マレーによって改良され、1930年にCCITTによって国際電信アルファベットNo.2（ITA2）として標準化されました。ボードという 名称は、ITA2とその多くの派生版に誤って適用されてきました。ITA2には多くの欠点があり、多くの機器メーカーによって改良が加えられましたが、その過程で互換性の問題が生じることもありました。

19世紀後半、ハーマン・ホレリスは国勢調査データの分析のためにパンチカードによるデータ符号化を発明した。当初は各穴の位置が異なるデータ要素を表していたが、後に数値情報は下段の行を0から9まで番号付けすることで符号化され、列のパンチはその行番号を表すようになった。さらに後には、1列に複数のパンチを挿入できるようにすることでアルファベットデータも符号化されるようになった。電気機械式集計機は、カードが機械内を移動する際のパルスのタイミングによって内部的にデータを表現していた。

IBMが電子処理に移行した際、 IBM 603電子乗算器を皮切りに、パンチカードコードに関連付けられたさまざまなバイナリ符号化方式が使用されました。IBMは、1953年の702 ^{[ 5 ]}および704コンピュータ、そして後の7000シリーズおよび1400シリーズ、さらに関連周辺機器において、いくつかのバイナリ符号化10進数（BCD）6ビット文字符号化方式を使用しました。当時使用されていたパンチカードコードは数字、大文字の英字、およびいくつかの特殊文字に限定されていたため、6ビットで十分でした。これらのBCD符号化は、既存の単純な4ビット数値符号化を拡張してアルファベットと特殊文字を含め、すでに広く使用されていたパンチカード符号化に容易にマッピングしました。IBMのコードは主にIBM機器で使用されました。当時の他のコンピュータベンダーは、UNIVAC I ^{[ 6 ]}で使用されていた符号化のように、独自の文字コード（多くの場合6ビット）を持っていました。 IBMのBCDエンコーディングは、拡張二進化十進数交換コード（EBCDICと略されることが多い）の前身であり、1963年にIBM System/360向けに開発された8ビットのエンコーディング方式で、小文字を含むより多くの文字セットを特徴としていた。

1959年、米軍はFieldataコードを定義しました。これは米陸軍通信隊が導入した6ビットまたは7ビットのコードです。Fieldataは当時の多くの現代的な問題（例えば、機械照合用に配列された文字コードと数字コード）に対処しましたが、目標には達せず、短命に終わりました。1963年、ASCII委員会（Fieldata委員会のメンバーであるWF Leubbertが少なくとも1人含まれていました）によって最初のASCIIコード（X3.4-1963）がリリースされました。これはFieldataの欠点のほとんどを、よりシンプルな7ビットコードを使用して解決しました。変更点の多くは微妙なもので、特定の数値範囲内での照合可能な文字セットなどでした。ASCII63は成功を収め、業界で広く採用され、1967年のASCIIコード（小文字を追加し、「制御コード」の問題をいくつか修正）が後継として発行されたことで、ASCII67はかなり広く採用されました。ASCII67のアメリカ中心の性質は、ヨーロッパのECMA-6規格である程度対処されました。^{[ 7 ]}さまざまなベンダー拡張機能やISO/IEC 8859シリーズなどの8 ビット拡張 ASCIIエンコーディングは、すべての ASCII 文字と追加の非 ASCII 文字をサポートしていました。

1980年代、研究者たちは普遍的に互換性のある文字エンコーディングを開発しようと試みる中で、一方では追加の文字に対応するためにビット数を増やす必要があるように思われたが、他方では、比較的少数のラテン文字セットを使用するユーザー（当時コンピュータユーザーの大多数を占めていた）にとって、それらの追加ビットは、当時希少で高価だったコンピューティングリソースの莫大な無駄遣いとなる（そのようなユーザーの場合、それらは常にゼロにされる）というジレンマに直面した。1985年当時、平均的なパーソナルコンピュータユーザーのハードディスクドライブはわずか約10メガバイトしか保存できず、卸売市場で約250米ドル（小売で個別に購入するとさらに高額）^{[ 8 ]}であったため、当時はすべてのビットを有効活用することが非常に重要だった。

最終的にUnicodeとして採用された妥協案は、（電信符号に由来する）各文字が常に特定のビット列に直接対応しなければならないという前提を打破することでした。代わりに、文字はまずコードポイントと呼ばれる抽象的な数値の形で、普遍的な中間表現にマッピングされます。コードポイントは、文脈に応じて、さまざまな方法で、また文字あたりのデフォルトのビット数（コードユニット）も様々に変化して表現されます。8ビットユニットの場合の256を超えるなど、コードユニットの長さを超えるコードポイントをエンコードするには、可変長エンコーディングを実装し、エスケープシーケンスによって後続のビットをより高いコードポイントとして解析するように指示するという方法が採用されました。

文字エンコーディングに関連するさまざまな用語は、しばしば一貫性がなく、誤って使用されています。^{[ 9 ]}歴史的には、同じ規格が文字のレパートリーと、それらをコードユニットのストリームにどのようにエンコードするかを規定していました。通常、コードユニットごとに1文字です。しかし、より高度な文字エンコーディングの出現により、用語の区別が重要になってきました。

Unicodeと並行規格であるISO/IEC 10646ユニバーサル文字セットは、文字エンコーディングの統一規格を構成します。Unicodeは、文字をバイトに直接マッピングするのではなく、文字を固有の自然数（コードポイント）にマッピングするコード化された文字セット、それらのコードポイントが固定サイズの自然数（コードユニット）の系列にどのようにマッピングされるか、そして最後にそれらのユニットがオクテット（バイト）のストリームとしてどのようにエンコードされるかを個別に定義します。この分解の目的は、さまざまな方法でエンコードできる普遍的な文字セットを確立することです。モデルを正確に記述するために、Unicodeは既存の用語を使用し、新しい用語を定義します。^{[ 12 ]}

複数の文字エンコーディングを使用する環境をサポートするために、文字エンコーディング方式間でテキストを変換するソフトウェアが開発されてきました。このプロセスはトランスコーディングとして知られています。代表的なソフトウェアには以下のようなものがあります。

• ウェブブラウザ– 最新のブラウザは文字エンコーディングの自動検出機能を備えています
• iconv – エンコーディング変換のためのプログラムおよび標準化されたAPI
• luit – 入力と出力のエンコーディングを対話的に実行されるプログラムに変換するプログラム
• Unicode用国際コンポーネント– 文字セット変換のためのCおよびJavaライブラリセット
• Encoding.Convert – .NET API ^{[ 15 ]}
• MultiByteToWideChar/WideCharToMultiByte – ANSIとUnicode間の変換を行うWindows API関数^{[ 16 ] [ 17 ]}

ウェブ上で最もよく使われている文字エンコーディングはUTF-8で、 2026年1月時点で調査対象のウェブサイトの98.9%で使用されている。 [ ^{2 ]}アプリケーション プログラムやオペレーティングシステムのタスクでは、UTF-8 とUTF-16^の両方がよく使われています。^{[ 3 ] [ 18 ]}

• パーセントエンコーディング– URI内の文字をエンコードする方法 
• Altコード– 入力方法 
• HTMLにおける文字エンコーディング– HTMLにおける国際文字のエンコーディングシステムの使用 
• 文字セットスニッフィング– ビットストリームのファイルタイプを推測する手法リダイレクト先の簡単な説明を表示するページ 
• カテゴリ:文字エンコーディング– 文字エンコーディング全般に関する記事
• カテゴリ:文字セット– 特定の文字エンコーディングを詳述する記事
• 16進数– 16進数による数値表現 
• 文字化け– 文字コードの誤りによって文字が判読不能になった状態 
• 文字表記方式– 文字符号化方式 
• プレゼンテーション層– データ変換のためのOSIモデル層 
• 豆腐（記号）– コードポイントが解決できない場合に表示されるマーク 
  • .notdef、この目的で使用されるフォント内の文字
• TRON（エンコーディング）– マルチバイト文字エンコーディング 
• ユニバーサル文字セット文字– ほとんどのコンピュータで使用可能な文字の完全なリスト 

• マッケンジー、チャールズ E. (1980).符号化文字セット、歴史と発展(PDF) . システムプログラミングシリーズ (第 1 版). Addison-Wesley Publishing Company, Inc. ISBN 978-0-201-14460-4. LCCN 77-90165 . 2016年5月26日にオリジナルからアーカイブ（PDF） 。 2019年8月25日に取得。 

• インターネット割り当て番号機関（IANA）によって登録された文字セット
• 文字とエンコーディング、ユッカ・コルペラ著
• Unicode技術レポート第17号：文字符号化モデル
• HTML Unicodeにおける10進数、16進数の文字コード – エンコーディング変換ツール
• ソフトウェア開発者が絶対に知っておくべきUnicodeと文字セットに関する最低限の知識（言い訳無用！）ジョエル・スポルスキー著（2003年10月10日）