ユニコード同等性

Unicode 等価性は、コード ポイントのいくつかのシーケンスが本質的に同じ文字を表すという、 Unicode 文字エンコード標準による仕様です。この機能は、類似または同一の文字を含むことが多い既存の標準文字セットとの互換性を確保するために標準で導入されました。

Unicode では、正規の等価性と互換性という 2 つの概念が提供されています。正規に等価であると定義されたコード ポイントシーケンスは、印刷または表示したときに外観と意味が同じであると想定されます。たとえば、コード ポイントU+006E n LATIN SMALL LETTER Nの後にU+0303 ◌̃ COMBINING TILDEが続く場合、Unicode では、スペイン語アルファベットの単一のコード ポイントU+00F1 ñ LATIN SMALL LETTER N WITH TILDEと正規に等価であると定義されています。したがって、これらのシーケンスは同じ方法で表示され、名前のアルファベット順や検索などのアプリケーションで同じように扱われ、互いに置き換えることができます。同様に、単一の文字としてエンコードされるハングルの各音節ブロックは、先頭の結合字母、母音の結合字母、および適切な場合は末尾の結合字母の組み合わせとして同等にエンコードできます。

互換性があると定義されているシーケンスは、見た目は異なる可能性がありますが、一部のコンテキストでは意味が同じであると想定されます。したがって、たとえば、コード ポイント U+FB00 (印刷合字"ff") は、シーケンス U+0066 U+0066 (2 つのラテン文字 "f") と互換性がある (ただし、正規に同等ではない) と定義されています。互換性のあるシーケンスは、一部のアプリケーション (並べ替えやインデックス作成など) では同じように扱われますが、他のアプリケーションではそうではありません。また、状況によっては互いに代用できますが、他の状況では代用できません。正規に同等なシーケンスは互換性もありますが、その逆は必ずしも当てはまりません。

この標準では、 Unicode 正規化と呼ばれるテキスト正規化手順も定義されています。これは、同等の文字列を置き換えて、同等の 2 つのテキストを、元のテキストの正規化形式または正規形と呼ばれる同じコード ポイントのシーケンスに縮小するものです。2 つの同等性の概念のそれぞれに対して、Unicode は 2 つの正規形を定義します。1 つは完全に構成された正規形(複数のコード ポイントが可能な限り単一のポイントに置き換えられる)、もう 1 つは完全に分解された正規形(単一のポイントが複数に分割される) です。

互換性などの理由から、Unicode では、本質的に同じ文字であるエンティティに 2 つの異なるコード ポイントを割り当てることがあります。たとえば、文字「上にリング ダイアクリティカル マークが付いた A 」は、U+00C5 Å LATIN CAPITAL LETTER A WITH RING ABOVE (スウェーデン語および他のいくつかの言語のアルファベットの文字) またはU+212B Å ANGSTROM SIGNとしてエンコードされます。ただし、オングストロームの記号はスウェーデン語の文字として定義されており、文字である他のほとんどの記号 (ボルトの⟨V⟩など) には、用途ごとに別のコード ポイントがありません。一般に、完全に同一の文字のコード ポイントは、正規に同等であると定義されています。

いくつかの古い標準との一貫性を保つため、Unicode では、他の文字の変形として表示できる文字 (「ñ」の U+00F1 や「Å」の U+00C5 など) や、2 つ以上の文字の組み合わせとして表示できる文字 (合字「ff」の U+FB00 やオランダ語の文字「IJ」の U+0132 など) の多くに対して単一のコード ポイントを提供しています。

他の標準との一貫性と柔軟性を高めるために、Unicode では、単独では使用されず、先行する基本文字を変更または組み合わせることを目的とした多くの要素のコードも提供しています。これらの結合文字の例には、結合チルダや日本語の発音区別符号の濁点("◌゛"、U+3099) などがあります。

Unicode の文脈では、文字合成とは、基本文字のコード ポイントに 1 つ以上の合成文字を置き換えて、単一の合成済み文字にするプロセスであり、文字分解とは、その逆のプロセスです。

一般に、合成済み文字は、どのような順序で出現しても、基本文字とそれに続く結合用発音区別記号のシーケンスと標準的に同等であると定義されます。

一部のスクリプトでは、複数の結合マークが定期的に使用されますが、これらのマークは一般に印刷上相互作用せず、組み合わせ用の合成文字も用意されていません。このような相互作用しないマークのペアは、どちらの順序でも保存できます。これらの代替シーケンスは、一般に標準的に同等です。標準形式でのシーケンスを定義する規則によって、それらが相互作用すると見なされるかどうかも定義されます。

Unicode は、美観上の理由 (合字、半角カタカナ、日本語テキストで使用する全角ラテン文字など) のみで変更される文字または文字グループ、または元の意味を失わずに新しい意味を追加する文字 (下付きまたは上付きの位置にある数字、一部の日本語フォントから継承された丸で囲まれた数字 (「①」など) など) に対してコード ポイントを提供します。このようなシーケンスは、外観と追加された意味が関係のないアプリケーションのために、元の (個々の変更されていない) 文字のシーケンスと互換性があると見なされます。ただし、この 2 つのシーケンスは正規に同等であるとは宣言されていません。違いには意味上の価値があり、テキストのレンダリングに影響するためです。

UTF-8とUTF-16 (および他の Unicode エンコード) では、コード単位のすべてのシーケンスが許可されるわけではありません。ソフトウェアによって、無効なシーケンスが Unicode 文字に変換される際のルールが異なりますが、その一部は非常に非可逆的です (たとえば、無効なシーケンスをすべて同じ文字に変換するなど)。これは正規化の一形態と見なすことができ、他の形式と同じ問題を引き起こす可能性があります。

Unicode 文字列の検索および比較機能を実装するテキスト処理ソフトウェアは、同等のコード ポイントの存在を考慮する必要があります。この機能がなければ、特定のコード ポイント シーケンスを検索するユーザーは、異なるが標準的には同等のコード ポイント表現を持つ、視覚的に区別できない他のグリフを見つけることができません。

Unicode は、同等なすべてのシーケンスに対して一意の (通常の) コード ポイント シーケンスを生成する標準的な正規化アルゴリズムを提供します。同等性の基準は、標準 (NF) または互換性 (NFK) のいずれかです。同等クラスの代表要素は任意に選択できるため、各同等性の基準に対して複数の標準形式が可能です。Unicode は、2 つの互換性基準のそれぞれに対して意味的に意味のある 2 つの正規形式を提供します。合成形式 NFC と NFKC、および分解形式 NFD と NFKD です。合成形式と分解形式はどちらも、コード ポイント シーケンスに標準順序を課します。これは、正規形式が一意であるために必要です。

Unicode 文字列を比較または検索するために、ソフトウェアは合成形式または分解形式のいずれかを使用できます。検索、比較などに関係するすべての文字列で同じである限り、この選択は重要ではありません。一方、同等性の基準の選択は検索結果に影響を与える可能性があります。たとえば、U+FB03 ( ffi )などの一部の印刷合字、 U+2168 ( Ⅸ )などのローマ数字、さらにはU+2075 ( ⁵ ) などの下付き文字や上付き文字には、独自の Unicode コード ポイントがあります。標準正規化 (NF) はこれらのいずれにも影響しませんが、互換性正規化 (NFK) は ffi 合字を構成文字に分解します。そのため、U+0066 ( f )を部分文字列として検索すると、U+FB03 の NFKC 正規化では成功しますが、U+FB03 の NFC 正規化では成功しません。合成済みのローマ数字Ⅸ (U+2168) でラテン文字I (U+0049) を検索する場合も同様です。同様に、上付き文字⁵ (U+2075) は互換性マッピングによって5 (U+0035)に変換されます。

ただし、上付き文字をベースラインの同等文字に変換することは、リッチテキストソフトウェアには適していない可能性があります。これは、処理中に上付き文字の情報が失われるためです。この区別を可能にするために、Unicode 文字データベースには互換性の変換に関する追加の詳細を提供する互換性書式タグが含まれています。 ^[1]活版合字の場合、このタグは単に ですが<compat>、上付き文字の場合は です<super>。HTML などのリッチテキスト標準では、互換性タグが考慮されています。たとえば、 HTMLは独自のマークアップを使用して、U+0035 を上付き文字の位置に配置します。^[2]

4 つの Unicode 正規化形式と、それらを取得するためのアルゴリズム (変換) を次の表に示します。

これらのアルゴリズムはすべてべき等変換です。つまり、すでにこれらの正規化された形式のいずれかになっている文字列は、同じアルゴリズムで再度処理されても変更されません。

正規形は文字列連結の下で閉じられていない。^[3]ハングルの母音または末尾の結合字母で始まる欠陥のあるUnicode文字列の場合、連結によって構成が壊れる可能性がある。

ただし、これらは単射的ではなく(異なる元のグリフとシーケンスを同じ正規化されたシーケンスにマッピングする)、したがって単射でもありません(復元できません)。たとえば、異なる Unicode 文字列 "U+212B" (オングストローム記号 "Å") と "U+00C5" (スウェーデン語の文字 "Å") は、どちらも NFD (または NFKD) によってシーケンス "U+0041 U+030A" (ラテン文字 "A" と上の結合環"°") に拡張され、その後 NFC (または NFKC) によって "U+00C5" (スウェーデン語の文字 "Å") に縮小されます。

正規化によって別の文字に置き換えられる単一の文字 (ハングル音節ブロック以外) は、Unicode テーブルで、空でない互換性フィールドを持ち、互換性タグがないことで識別できます。

正規の順序付けは、主に結合文字のシーケンスの順序付けに関係します。このセクションの例では、これらの文字を分音記号であると想定していますが、一般に、一部の分音記号は結合文字ではなく、一部の結合文字は分音記号ではありません。

Unicode は各文字に結合クラスを割り当てます。これは数値で識別されます。非結合文字のクラス番号は 0 ですが、結合文字の結合クラス値は正です。正規の順序付けを行うには、結合クラス値が 0 以外の文字のすべての部分文字列を、安定したソートアルゴリズムを使用して結合クラス値でソートする必要があります。安定したソートが必要なのは、同じクラス値を持つ結合文字は印刷上相互作用すると想定されるため、2 つの可能な順序は同等とは見なされないためです。

たとえば、ベトナム語で使用される文字 U+1EBF (ế)には、鋭アクセントと曲折アクセントの両方があります。その標準的な分解は、3 つの文字シーケンス U+0065 (e) U+0302 (曲折アクセント) U+0301 (鋭アクセント) です。2 つのアクセントの結合クラスは両方とも 230 であるため、U+1EBF は U+0065 U+0301 U+0302 と同等ではありません。

すべての結合シーケンスに事前合成された同等の文字があるわけではないため (前の例の最後の文字は U+00E9 U+0302 にしか短縮できません)、標準形式の NFC であっても結合文字の動作の影響を受けます。

2 つのアプリケーションが Unicode データを共有しているが、正規化方法が異なっている場合、エラーやデータ損失が発生する可能性があります。ある特定の例では、OS X はNetatalkおよびSambaファイルおよびプリンタ共有ソフトウェアから送信された Unicode ファイル名を正規化しました。Netatalk と Samba は変更されたファイル名を元のファイル名と同等と認識しなかったため、データが失われました。^{[4] [5]}正規化はロスレスで逆変換できないため、このような問題を解決するのは簡単ではありません。

• 複雑なテキストレイアウト
• 発音区別符号
• IDN同形異義語攻撃
• 国際標準化機構(ISO) 14651
• 合字（タイポグラフィ）
• 合成文字
• uconvツールは、NFC および NFD Unicode 正規化形式間の変換を行うことができます。
• ユニコード
• Unicode互換文字

• Unicode 標準付録 #15: Unicode 正規化形式

• Unicode.org FAQ - 正規化
• Charlint - Perl で書かれた文字正規化ツール