特殊文字（Unicodeブロック）

特殊文字は、基本多言語面の末尾、U+FFF0 ～ FFFFに割り当てられた短いUnicode文字ブロックで、以下のコードポイントが含まれています。

• U+FFF9行間注釈アンカー、注釈テキストの開始を示す
• U+FFFA行間注釈区切り文字、注釈文字の開始を示します
• U+FFFBインターライン注釈終端記号、注釈ブロックの終わりを示します
• U+FFFC オブジェクト置換文字、複合文書など、テキスト内の別の未指定オブジェクトのプレースホルダー。
• U+FFFD ―未知、認識不能、または表現不能な文字を置き換えるために使用される置換文字
• U+FFFE <非文字FFFE>キャラクターではない。
• U+FFFF <非文字-FFFF>キャラクターではない。

U+FFFE <非文字FFFE>およびU+FFFF <非文字-FFFF>これらは非文字であり、予約されているものの、不正な Unicode テキストを引き起こすことはありません。Unicode 標準の 3.1.0 から 6.3.0 までのバージョンでは、これらの文字を決して交換してはならないと規定されていたため、一部のアプリケーションでは、これらの文字の存在をテキストが Unicode ではない兆候と解釈することで、テキストのエンコーディングを推測するために使用されていました。しかし、後の訂正 #9 では、非文字は不正ではないと規定されており、このテキスト エンコーディングのチェック方法は誤りです。^{[ 3 ]} U+FFFE の内部使用例としては、CLDR アルゴリズムがあります。この拡張 Unicode アルゴリズムは、非文字を最小かつ一意の基本ウェイトにマッピングします。^{[ 4 ]}

Unicode のU+FEFFゼロ幅ノーブレークスペース文字は、バイトオーダーマークとして Unicode テキストの先頭に挿入され、エンディアンを示すことができます。たとえば、 UTF-16でエンコードされたテキストを読み込むプログラムがU+FFFE <非文字-FFFE>に遭遇した場合、そうすれば、後続のすべての文字のバイト順序を切り替える必要があることがわかる。

Unicode 1.0 でのブロック名はSpecialでした。^{[ 5 ]}

置換文字 � (多くの場合、疑問符の付いた菱形として表示されます) は、 Unicode標準の特殊文字テーブルのコードポイント U+FFFD にある記号です。これは、システムがデータストリームを正しい記号にレンダリングできない場合に問題を示すために使用されます。^{[ 6 ]}

例えば、ISO 8859-1でエンコードされたドイツ語の単語を含むテキストファイルには、バイト列 が含まれています。このファイルを、入力がUTF-8であると想定するテキストエディタで開くと、最初のバイトと 3 番目のバイトはASCIIの有効な UTF-8 エンコードですが、2 番目のバイト ( ) は UTF-8 では無効です。テキストエディタは、このバイトを置換文字に置き換えて、表示用の有効な Unicode コードポイントの文字列を生成することができます。そのため、ユーザーには が表示されます。für0x66 0xFC 0x720xFCf�r

実装が不十分なテキストエディタでは、0xEF 0xBF 0xBDユーザーがファイルを保存する際に置換文字（）を書き出してしまうことがあります。その結果、ファイル内のデータは となります0x66 0xEF 0xBF 0xBD 0x72。ISO 8859-1 を使用してファイルを再度開くと、 が表示されますf�r（これは文字化けと呼ばれます）。エディタは異なるエラーを同じ置換文字に変換してしまう可能性が高いため、元のテキストを復元することも不可能です。

かつては、フォント置換のように、その文字に対応するグリフがフォントにない場合に、置換文字がよく使用されていました。しかし、現代のほとんどのテキストレンダリングシステムでは、代わりにフォントの.notdef文字が使用されます。これはほとんどの場合、空のボックス、またはボックス内のまたはです^{[ 7 ]} (このブラウザでは U+10FFEE に対して � が表示されます) 。これは「豆腐」と呼ばれることもあります。この記号には Unicode コードポイントがありません。?X

したがって、置換文字はエンコードエラーの場合にのみ表示されます。一部のソフトウェアプログラムは、無効なUTF-8バイトをWindows-1252の対応する文字に変換するため（これがこれらのエラーの最も一般的な原因であるため）、置換文字が表示されることはありません。

以下のUnicode関連文書には、特殊文字ブロックにおける特定の文字の定義の目的と手順が記載されています。

• Unicode制御文字