Loading article…
 GB 18030 エンコーディング レイアウト。「ハーフ コード」は、4 バイト コードとしてペアで使用されるコードを示します。 | |
| MIME / IANA | GB18030 |
|---|---|
| 別名 | コードページ 54936 |
| 言語 | 国際的だが主に中国人向け |
| 標準 | GB 18030-2022、GB 18030-2005、GB 18030-2000 |
| 分類 | Unicode変換形式、拡張ASCII、[a] 可変幅エンコーディング、CJKエンコーディング |
| 拡張 | EUC-CN、GBK |
| 変換/エンコード | ISO 10646 (ユニコード) |
| 先行 | GBK、GB2312 |
| |
GB 18030は中国政府の標準規格で、情報技術 - 中国語コード化文字セットと説明されており、中国のソフトウェアに必要な言語と文字のサポートを定義しています。GB18030は、 GB2312に代わる中華人民共和国(PRC)の公式文字セットの登録インターネット名です。[1] Unicode 変換形式[a] (つまり、すべてのUnicodeコード ポイントのエンコード)として、GB18030 は簡体字と繁体字の両方の中国語文字をサポートしています。また、 GB/T 2312、CP936、[b]、GBK 1.0 などのレガシー エンコードとも互換性があります。
ユニコードコンソーシアムは、この中国規格の最新バージョンであるGB 18030-2022では、以前のバージョンであるGB 18030-2005から「33の異なる文字と55のコード位置を含む」破壊的な変更が導入されていると実装者に警告した。[2] GB 18030-2022は2023年8月1日から施行された。[3]これはICU 73.2およびJava 21で実装されており、[4]古いJava 8、11、17（LTSリリース）および20.0.2にバックポートされている。 [5]
この規格には、エンコード方法に加えて、どの追加の文字と言語を表現するべきか、またこの規格が誰に適用されるかについての要件が含まれています。[6]ただし、この規格では中国語の文字の正式な文字形式は定義されていません。これは、よく使用される標準中国語文字の一覧で標準化されています。
歴史
GB18030 文字セットは正式には「中国国家標準 GB 18030-2005: 情報技術 - 中国語コード化文字セット」と呼ばれます。GBは、中国語で国家標準を意味する Guójiā Biāozhǔn (国家标標準) の略です。この標準は、2005 年 11 月 8 日に北京の中国標準出版局によって発行されました。この標準の一部のみが必須です。[6] 2006 年 5 月 1 日以降、必須サブセットのサポートは、中国で販売されるすべてのソフトウェア製品で正式に義務付けられています。
この規格の旧バージョンは、「中国国家標準 GB 18030-2000: 情報技術 - 情報交換用中国語表意文字コード化文字セット - 基本セットの拡張」として 2000 年 3 月 17 日に発行されました。エンコード スキームは新しいバージョンでも同じままで、GB から Unicode へのマッピングにおける唯一の違いは、GB 18030-2000 では文字 ( A8 BCḿ) が私用コード ポイント U+E7C7 にマッピングされ、文字81 35 F4 37(グリフを指定しない) が U+1E3F (ḿ) にマッピングされていたのに対し、GB 18030-2005 ではこれら 2 つのマッピング割り当てが入れ替わっていることです。[7] : 534 Unicodeの更新、特にCJK統合漢字拡張Bの登場により、文字に関連付けられるコードポイントが増えました。モンゴル文字やチベット文字（GB 16959-1997およびGB/T 20542-2006）など、中国の少数民族が使用する文字も追加され、これが標準の名前変更の理由です。
GB 18030 の Unicode へのマッピングは、その祖先と比較して、 GBK 1.0 で暫定的に Unicode私的使用領域コードポイント (U+E000–F8FF)に割り当てられ、後に Unicode でエンコードされた 81 文字に合わせて変更されています。 [8]これは GB 18030 の付録 E で指定されています。 [7] : 534 [9] : 499 GB 18030-2005 には、依然として Unicode 私的使用領域にマッピングされている文字が 24 文字あります。[10]
GB 18030-2022 の更新では、文字を PUA にマッピングする要件が完全に撤廃され、すべての文字が標準の Unicode コードポイントにマッピングされるようになりました。このうち 18 のマッピングは、GBK と GB 18030 の間で行われたのと同様に、位置のスワップによって更新されました。残りの 6 つは 2 バイトの PUA マッピングを維持したため、非 PUA の優先順位に従うには 4 バイトのシーケンスを変更する必要があります。[11]
国家基準として
GB 18030 の最初のバージョンは、 GB 18030-2000情報技術 - 情報交換用中国語符号化文字セット - 基本セットの拡張 と指定され、1 バイトおよび 2 バイトのエンコードと、Unicode 3.0 のものと一致するCJK 統合漢字拡張 A の 4 バイトエンコードで構成されています。暫定的なプライベート割り当てを含むこのサブセットの対応する Unicode コードポイントは、すべてBMPにあります。これらの部分は、GB 18030-2000 で完全に必須です。[6] : 2 大手コンピューター企業のほとんどは、バイナリ形式と OS 呼び出しで使用する主要形式として、何らかのバージョンの Unicode を既に標準化していました。ただし、ほとんどの場合、サポートされていたのは元々 Unicode 1.0 で定義されたBMPのコードポイントのみで、これは 65,536 個のコードポイントのみをサポートし、多くの場合UCS-2として 16 ビットでエンコードされていました。この規格は基本的に、CJK 統合表意文字拡張 A の文字を追加した GBK に基づく拡張です。
2 番目のバージョンである GB 18030-2005情報技術 - 中国語コード化文字セットには、 GB 18030-2000 と同じ 1、2、4 バイトのエンコードの必須サブセットがあります。[7] : 3 このバージョンには、BMP [10] の外側にある 4 バイトエンコードセクションに、提案サポート要件として完全な CJK 統合漢字拡張 B も含まれています。[14]ただし、情報処理中に 4 バイト領域に CJK 統合漢字拡張 B を含めることが維持される必要があるため、ソフトウェアは文字を 16 ビット固定幅エンティティ ( UCS-2 )として扱うことができなくなりました。したがって、最も一般的な選択肢である可変幅形式( UTF-8またはUTF-16など)としてデータを処理するか、より大きな固定幅形式 (つまりUTF-32 ) に移行する必要があります。 Microsoft は、Windows 2000 で UCS-2 から UTF-16 に変更しました。このバージョンは Unicode 3.1 と一致しており、ハングル(韓国語)、モンゴル語(満州語、清書体、シベ・ヘルゲン、ガリク語を含む)、タイ・ヌア語、チベット語、ウイグル語/カザフ語/キルギス語、イ語のサポートも提供されています。
3 番目で最新のバージョンである GB 18030-2022情報技術 - 中国語コード化文字セットでは、GB 18030-2005 の CJK 統合表意文字拡張 B の提案サポート部分が義務付けられており、康熙部首と CJK 統合表意文字URO 、拡張 C、D、E、Fを含む Unicode 11.0 までの更新も義務付けられています。GB 18030-2022 では、アラビア語の一部、タイ・レー、新タイ・ルー、タイ・タム、リス、ミャオなどの追加言語も認識されています。GB 18030-2022 では、3 つの実装レベルも導入されており、「この標準を使用するすべての製品は、実装レベル 1 を実装する必要がある」という要件があり、これには Unicode 3.1 から Unicode 11.0 の間に追加された 4 バイト エンコーディング領域の 66 個の新しい BMP 文字が含まれています。実装レベル2では、標準中国語文字リストのサポートが必須であり、実装レベル3では、標準で指定された他のすべての地域が必須である。[11]
2022年後半から2023年にかけて、GB 18030-2022の更なる改正案が公の協議にかけられる予定である。現在の案は、表意文字記述文字、CJK統合表意文字URO、拡張A、B、C、G、H、IについてUnicode 15.1まで更新している。 [15] [16] [17]当初、2022年後半には、中国の国民実名認証用に、まだタイトルのないアストラルUnicodeプレーンであるプレーン10（16進数：0A）に897個の新しい漢字を配置する予定だったが、最終的にレパートリー（専門家のレビュー後に622文字に削減）は、 CJK統合表意文字拡張Iブロックとして、2023年9月にUnicode 15.1に迅速に組み込まれた。[18]これに続いて、改正案は拡張Iコードポイントを使用するように変更された。[17]
マッピング
GB 18030 は、1 バイト (ASCII)、2 バイト (拡張 GBK)、または 4 バイト (UTF) のエンコードを定義します。2 バイト コードはルックアップ テーブルで定義され、4 バイト コードはUCS内のエンコードされていない部分を埋めるために順番に (つまりアルゴリズム的に) 定義されます。GB 18030 はGBKの悪い面を継承しており、最も顕著なのは、GB18030 シーケンス内の ASCII 文字を安全に見つけるために特別なコードが必要になることです。
1 バイトおよび 2 バイトのコード ポイントは、基本的にユーロ記号、未割り当て/ユーザー定義のポイントの PUA マッピング、および垂直句読点が付いたGBKです。4 バイトのスキームは、それぞれ 2 バイトの 2 つのユニットで構成されていると考えることができます。各ユニットは、GBK の 2 バイト文字に似た形式ですが、2 番目のバイトの値の範囲は 0x30～0x39 ( 10 進数のASCIIコード) です。最初のバイトの範囲は、以前と同様に 0x81 ～ 0xFE です。つまり、GBK に対して安全な文字列検索ルーチンは、GB18030 に対してもかなり[説明が必要]安全であるはずです (基本的なバイト指向の検索ルーチンがEUCに対してかなり安全であるのと同じように)。
これにより、合計 1,587,600 (126×10×126×10) 個の 4 バイト シーケンスが可能になり、これはUnicodeの 1,112,064 (17×65536 − 2048 サロゲート) 個の割り当て済み、予約済み、および非文字コード ポイントをカバーするのに十分です。
残念ながら、さらに問題を複雑にしているのは、4 バイトのシーケンスとそれに対応するコード ポイントを変換する簡単なルールがないことです。代わりに、コードは、他の方法でマッピングされていない Unicode コード ポイントにのみ順番に割り当てられます (最初のバイトに最も重要な部分が含まれ、最後のバイトに最も重要な部分が含まれ) 。 [h]たとえば、 次のようになります。
U+00DE (Þ) → 81 30 89 37 U+00DF (ß) → 81 30 89 38 U+00E0 (à) → A8 A4 U+00E1 (á) → A8 A2 U+00E2 (â) → 81 30 89 39 U+00E3 (ã) → 81 30 8A 30
WHATWGとW3C版のGB 18030では、コードポイントを効率的に変換するためにオフセットテーブルが使用されています。 [20] ICU [19]とglibcは、大きな連続ブロックのスペースを無駄にしないように、同様の範囲定義を使用しています。
サポート
エンコーディング
GB 18030は、 Windows 95 のリリース以来、コードページ54936としてWindowsでサポートされています。 [21] Windows 2000とXPはGB18030サポートパッケージを提供しています。[22]オープンソースのPostgreSQLデータベースは、UTF-8を完全にサポートしているため、UTF-8との間で変換することでGB18030をサポートしています。同様に、Microsoft SQL Serverは、UTF-16との間で変換することでGB18030をサポートしています。
より具体的には、Windows で GB18030 エンコーディングをサポートするということは、コード ページ 54936MultiByteToWideCharがおよびでサポートされることを意味しますWideCharToMultiByte。マッピングの下位互換性により、コード ページ 54936 がサポートされていない場合でも、GB18030 の多くのファイルは、実際には従来のコード ページ 936、つまり GBK として正常に開くことができます。ただし、これは問題のファイルに GBK 文字のみが含まれている場合にのみ当てはまります。ファイルに GBK に存在しない文字が含まれている場合、読み込みは失敗するか、結果が破損します (例については、§ 技術的な詳細を参照してください)。
GNU glibcのgconvは、ほとんどのLinuxディストリビューションで使用されている文字コーデックライブラリで、バージョン2.2以降でGB 18030-2000をサポートし、[23]バージョン2.14以降でGB 18030-2005をサポートしています。 [24] glibcには、往復変換を実現するために、GB 18030-2005用の非PUAマッピングが含まれています。[25] GNU libiconvは、Cygwinなどのglibc以外のUNIX系環境でよく使用される代替iconv実装であり、バージョン1.4以降でGB 18030をサポートしています。[26]
2022年現在、「中国語以外の文字のサポートは引き続きオプションです」[27]（おそらく表示/フォントのサポートのみ、および中国ではエンコーディングが完全なUTFであるため）。この標準は英語/ASCIIをサポートしていることが知られており、「GB 18030-2022では、アラビア語、チベット語、モンゴル語、タイ・レー語、新タイ・ルー語、タイ・タム語、イー語、リス語、ハングル（韓国語）、ミャオ語が認識されています。」[27]
フォント
Windows 用 GB18030 サポート パッケージには、SimSun18030.ttc という、2 つの中国語フォント SimSun-18030 と NSimSun-18030 を組み合わせた TrueType フォント コレクション ファイルが含まれています。SimSun 18030フォントには、Unicode 2.1 のすべての文字[明確化が必要]と、Unicode CJK 統合表意文字拡張 A ブロックにある新しい文字が含まれていますが、その名前にもかかわらず、GB 18030 でエンコードされたすべての文字のグリフが含まれているわけではありません。U+10FFFF までのすべての (約 100 万) Unicode コード ポイントは GB 18030 としてエンコードできます。GB 18030 準拠の認証では、必須の (2 バイト、CJK 拡張 A) 中国語部分のグリフを正しく処理および認識することのみが求められます。[6] : 4 ただし、標準の PUA 文字の要件により、この実装は妨げられています。[28]
マイクロソフトが提供するMicrosoft YaHeiとDengXianは、2023年にGB 18030-2022実装レベル2に合わせて更新され、SimSunは実装レベル3に合わせて更新されました。[29]
2022年11月にGB 18030の標準アップデートが発表された時点で、Source Han Sans[アップデート] （およびその対応するNoto Sans CJK）はすでにGB 18030-2022実装レベル2に準拠しています。ただし、 Source Han Serif（およびその対応するNoto Serif CJK）は現時点では準拠しておらず、フォントが実装レベル2に準拠していることを保証するためのアップデートが提供されています。同様に、Microsoft YaHeiとPingFang（Apple）は、GB 18030-2022実装レベル2に準拠するために、実装レベル1に関連する少数のURO追加を必要とします。[27]
HAN NOM [30]や花園明朝[31]などの他のCJKフォントファミリは、 SimSun-18030やSimSun（Founder Extended）よりも広いUnicode CJK拡張ブロックをカバーしていますが、GB 18030で定義されているすべてのコードポイントをサポートしているわけではありません。
参照
注記
- ^ GB18030 ではサロゲートが省略されることに注意してください。#マッピングを参照してください。
- ^ ユーロ記号は例外であり、Microsoft の CP936/GBK の後のバージョンでは 0x80 の 1 バイト コードが割り当てられ、GB18030 では A2 E3 の 2 バイト コードが割り当てられています。
- ^ コード ポイントには 66 個の Unicode 非文字が含まれます。
- ^ ICU は、このコード ポイントを誤って有効と見なしているようですが、これは公開されている標準のどちらのバージョンにも存在しません。WHATWGは、ユニバーサル gb2312-gbk-gb18030 デコーダーでこのバイトを U+20AC (GBKユーロ記号) に割り当てています。
- ^ この範囲のより細かい区分については、GBK (文字エンコーディング) § エンコーディングを参照してください。
- ^ 一部のコード ポイントは 2 バイト (上段) でエンコードされ、その他のコード ポイントは 4 バイト (下段) でエンコードされます。U+FFFF は
84 31 A4 392005 年標準の 239 ページに記載されているとおりエンコードされますが、標準では84 39 FE 39BMP マッピングまでしか規定されていません。 - ^これらは サロゲート コード ポイントです。UTF -16エンコーディング以外では意味を持ちません。
- ^ さらに、U+E7C7 と U+1E3F のエンコーディングが入れ替わったため、U+E7C7 は 2005 年版の標準では 81 35 F4 37 としてエンコードされ、U+1E3E (81 35 F4 36) と U+1E40 (81 35 F4 38) の間にあります。したがって、2000 年版だけが、4 バイト コードをそれ以外のマッピングされていないコード ポイントに割り当てる際に完全に連続しています。
参考文献
- ^ Anthony Fok (2002-03-15). 「GB18030 への IANA 文字セット登録の適用」。IANA 文字セット登録。2016年 12 月 5 日閲覧。
- ^ 「GB 18030-2022 における破壊的な変更」(PDF) . www.unicode.org . 2024 年 2 月 12 日閲覧。
- ^ "[JDK-8301119] GB18030-2022 のサポート - Java Bug System". bugs.openjdk.org . 2023年8月14日閲覧。
- ^ 「JDK 21 リリースノート」。jdk.java.net 。 2023年8月14日閲覧。
- ^ 「[JDK-8307340] リリースノート: GB18030-2022 のサポート - Java Bug System」。bugs.openjdk.org 。2023年8月30日閲覧。
- ^ abcd CESI (2009-07-08)。 「GB18030 符合性问与答」 [GB18030 準拠 FAQ]。CESI 認証センター。 2016 年 9 月 28 日にオリジナルからアーカイブされました。2016 年 10 月 12 日に取得。
ページ 4 は、
GB 18030-2005 規定部分の以下の 2 つの要求された製品を同時に達成しました。①製品は GB 18030-2005 規定部分のすべての文字を正しく認証できます。②製品は GB 18030-2005 規定部分を正しく認証できます。 18030 [GB 18030 の必須部分に準拠した製品は、a) 必須セットで定義されているすべての漢字を正しく入力、出力、および処理できなければなりません。 b) 必須セット内の文字のエンコーディングを認識します。]
代替URL
- ^ abcde 中国標準化管理局 (SAC) (2005-11-18). GB 18030-2005: 情報技術 - 中国語コード化文字セット。
- ^ 「Unicode FAQ on GB 18030」ICU プロジェクト。 2016年9月10日閲覧。
- ^ ab GB 18030-2000: 情報技術 - 情報交換のための中国語表意文字コード化文字セット - 基本セットの拡張。2000-03-17。
{{cite book}}:|work=無視されました (ヘルプ) - ^ abc Lunde, Ken (2006). 「L2/06-394 Update on GB 18030:2005」. Unicode Technical Committee Document Registry . 2016年9月28日閲覧。
- ^ abc Lunde, Ken (2022年8月4日). 「GB 18030-2022規格」. Medium . 2022年8月7日閲覧。
- ^ 「Group:GBK外字」. GlyphWiki . 2016年9月11日閲覧。
- ^ ab ルンデ、ケン（2008年12月）。CJKV情報処理。O'Reilly Media, Inc. ISBN 978-0-596-51447-1. 2016年9月11日閲覧。
- ^ CESI (2009-07-08)。 「GB18030 符合性问与答」 [GB18030 準拠 FAQ]。CESI 認証センター。 2016 年 9 月 28 日にオリジナルからアーカイブされました。2016 年 10 月 12 日に取得。
ページ 4 は、
GB 18030-2005 規定部分の以下の 2 つの要求された製品を同時に達成しました。①製品は GB 18030-2005 規定部分のすべての文字を正しく認証できます。②製品は GB 18030-2005 規定部分を正しく認証できます。 18030 [GB 18030 の必須部分に準拠した製品は、a) 必須セットで定義されているすべての漢字を正しく入力、出力、および処理できなければなりません。 b) 必須セット内の文字のエンコーディングを認識します。]
- ^ Lunde, Dr Ken (2023-11-12). 「憲法修正第一条」. Medium . 2024-09-09閲覧。
- ^ 中国国家体 (2023-04-26). 「GB 18030—2022《信息技术 中文编码字符集》国家标準第１号修改单（征求意见稿）」(PDF)。UTC L2/23-113。
- ^ ab 中国国家機関 (2023-10-13). 「IRG #61 活動報告書」(PDF)。ISO /IEC JTC1/SC2 /WG2/ IRG N2623; UTC L2/23-240。
- ^ 米国国家機関 (2023 年 5 月 1 日)。「USNB の GB 18030-2022 修正 1 の草案 2 および ISO/IEC 10646:2020 修正 2 の推奨事項に関するコメント」(PDF)。ISO /IEC JTC1/SC2 N4852、WG2 N5222、UTC L2/23-115。
- ^ ab GB18030-2000 と Unicode 間の正式なマッピング表。ICU – International Components for Unicode。2001-02-21。2016-09-04 にアクセス。
- ^ 「Encoding Standard # gb18030-index」。WHATWG 。 2016年9月24日閲覧。
- ^ Bridge, Karl (2021 年 10 月 13 日). 「MultiByteToWideChar 関数 (stringapiset.h) - Win32 アプリ」. learn.microsoft.com . 2022 年 11 月 1 日閲覧。
- ^ Microsoft. 「GB18030 サポートパッケージ」。Microsoft。2012年 6 月 5 日時点のオリジナルよりアーカイブ。
- ^ Drepper, Ulrich. 「GB18030 iconv module for glibc」. glibc git . 2016年11月29日閲覧。
- ^ Drepper, Ulrich. 「GB18030 を 2005 バージョンに更新」. glibc git . 2016 年11 月 29 日閲覧。
- ^ Weimer, Florian; O'Donell, Carlos. 「GB18030 テーブルのステータス (#19575)」。Sourceware Bugzilla。2016年11 月 29 日閲覧。
- ^ 「NEWS - libiconv.git - libiconv」. git.savannah.gnu.org . 2016年10月13日閲覧。
- ^ abc Lunde, Ken (2022-08-16). 「GB 18030-2022 規格」. Medium . 2022-11-01閲覧。
- ^ Lunde, Ken. 「gb18030 が改訂された場合、エンコード標準の調整を検討してください · Issue #27 · whatwg/encoding」。GitHub。
さらに、Noto CJK フォントと Source Han フォントのコンテキストで PUA コード ポイントをサポートすることは、主に Pan-CJK 書体であるため、まったくの無駄であり、そのようなコンテキストで PUA を使用することは非常に危険です。[...] 数日前、CESI の友人の 1 人が最終ドラフトのテキストを共有してくれました。これにより、24 文字の PUA 要件が解除されることが確認されました。
- ^ 「2023 年 7 月 11 日 - KB5028171 (OS ビルド 20348.1850) - Microsoft サポート」。support.microsoft.com。Microsoft。2024年3月 25日閲覧。
- ^ VietUnicode. "/hannom". sourceforge.net . 2016年10月13日閲覧。
- ^ “Hanazono fonts”. fonts.jp . 2010年4月12日時点のオリジナルよりアーカイブ。2016年10月13日閲覧。
外部リンク
- GB18030 の IANA 文字セット登録
- 「2000 年の英語要約」(PDF)。2001 年 2 月 16 日。2017 年 2 月 2 日時点のオリジナル(PDF)からアーカイブ。
- GB2312 および GBK からの進化を含む GB18030 の紹介 (Sun/Internet Archive)
- ICUデータ
- GB18030: メガ コード ページ (IBM DeveloperWorks)
- GB18030-2000とUnicode間の公式マッピング表
- ICU コンバータ エクスプローラ: GB18030
- ユニコードチャート
- Unicode CJK 統合表意文字拡張 A (PDF、1.5 MB)
- Unicode CJK 統合表意文字拡張 B (PDF、13 MB)
- Windows 2000/XP 用 GB18030 サポート パッケージ (Microsoft による中国語、チベット語、イ語、モンゴル語、タイ語のフォントを含む) (インターネット アーカイブ)
- SIL のフリーウェアフォント、エディター、ドキュメント