charsetsのヘルプ・マニュアル／リナックスコマンド

charsetsのヘルプ・マニュアル

help
man

charsets --help

man charsets

CHARSETS(7) Linux Programmer’s Manual CHARSETS(7) 名前 charsets - プログラマの視点から見た文字セットと国際化説明 Linux は国際化されたオペレーティングシステムである。 Linux の様々なユーティリティや、 console ドライバなどのデバイスドライバは、非ラテンアルファベットなどのマルチリンガル文字セット (multilingual character sets) をサポートしている。これらにはラテンアルファベット文字・ギリシャ文字・キリル文字・アラビア文字・ヘブライ文字などが含まれ、発音区別符号 (dia- critical marks)・アクセント・合字 (ligatures) なども使うことができる。このマニュアルページでは、プログラマの視点からみた異なる文字集合規格 (character-set standards) と、それらを Linux にどう適合させるかということについて述べる。ここでは、ASCII, ISO 8859, KOI8-R, Unicode, ISO 2022, ISO 4873 の各規格について議論する。ここでは実際にロケール文字セットとして使われている文字セットに注目し、その他のシステムで使われている無数のものは重視しない。 glibc 2.2.3 で公式に対応しているロケールで用いられている文字セットの完全なリストは以下の通り: ISO-8859-{1,2,3,5,6,7,8,9,13,15}, CP1251, UTF-8, EUC-{KR,JP,TW}, KOI8-{R,U}, GB2312, GB18030, GBK, BIG5, BIG5-HKSCS, TIS-620 (順不同) (ルーマニア語は ISO-8859-16 に切り替わっているかもしれない) ASCII ASCII (American Standard Code For Information Interchange) は 7 ビット文字集合の元となったものであり、もともとは米語(American English) のためにデザインされた。現在は、ECMA-6 標準の中で説明されている。ドイツ語、フランス語、スペイン語などに 7 ビットで対応するため、 ASCII のドル記号を他の通貨記号に置き換え、句読点を非英語文字のものに置き換えた様々な変種が存在する。これらは全て使うべきではない。 glibc は ASCII の完全なスーパーセットでない文字セットのロケールに対応していない。 ( これらの文字セットは ISO-646 として知られる。これは ASCII と近い関係にあり、これらの文字を置き換えることを認めている) Linux は米国で設計されたハードウェアのために書かれたので、はじめから ASCII をサポートしている。 ISO 8859 ISO 8859 は 15 組の一連の 8 ビット文字集合である。それらは全て下位 (7 ビット) に US ASCII を含み、 128 から 159 には制御文字が配置され、 160 から 255 には 96 個の固定幅図形文字が配置されている。これらのうちで、もっとも重要なのは ISO 8859-1 (Latin-1) である。これは Linux コンソールドライバにおいてネイティブにサポートされており、 X11R6 においても同様にサポートされている。さらに、 HTML の基本文字集合である。コンソールにおける、その他の 8859 文字集合のサポートは (setfont(8)) のようなユーザモード・ユーティリティを利用する事で可能になる。このようなユーティリティを利用することにより、コンソールドライバにおけるキーボードと EGA グラフィックテーブルの割り当てを変更し、"ユーザ割り当て(user mapping)"フォントテーブルを使用することができる。以下は、それぞれの集合の簡単な説明である。 8859-1 (Latin-1) Latin-1 はアルバニア語(Albanian)、カタロニア語(Catalan)、デンマーク語 (Danish) 、オランダ語(Dutch)、英語(English)、フェロー語(Faroese)、フィンランド語(Finnish)、フランス語(French)、ドイツ語(German) 、ガリシア語(Galician)、アイルランド語(Irish)、アイスランド語(Icelandic) 、イタリア語(Italian) 、ノルウェー語(Norwegian)、ポルトガル語(Portuguese)、スペイン語(Spanish)、スウェーデン語(Swedish)といったほとんどの西ヨーロッパ言語をカバーする。ドイツ語の ij やフランス語の oe の合字、および古いスタイルの ,,ドイツ語‘‘ 引用符はないが、許容範囲と考えられている。 8859-2 (Latin-2) Latin-2 はスラヴ語(Slavic)、クロアチア語(Croatian) 、チェコ語(Czech)、ドイツ語(German)、ハンガリー語(Hungarian)、ポーランド語 (Polish)、ルーマニア語(Rumanian)、スロヴァキア語(Slovak)、スロベニア語(Slovene)といった、書き文字としてラテン文字を使用する、スラブ系言語と中央ヨーロッパの言語のほとんどをサポートする。 8859-3 (Latin-3) Latin-3 はエスペラント(Esperanto)、ガリシア語(Galician)、マルタ語 (Maltese) などの書き手の間で良く用いられる。 (トルコ語(Turkish)はこれの代わりに 8859-9 で書かれるようになっている) 8859-4 (Latin-4) Latin-4 はエストニア語(Estonian)、ラトビア語(Latvian)、リトアニア語 (Lithuanian)の文字を提供する。Latain-4 は、本質的には廃止されている(obsolate である) 。 8859-10 (Latin-6) と 8859-13 (Latin-7) を参照のこと。 8859-5 ブルガリア語(Bulgarian)、ベラルーシ語(Byelorussian)、マケドニア語 (Macedonian)、ロシア語(Russian)、セルビア語(Serbian)、ウクライナ語 (Ukrainian) をサポートするキリル文字集合である。ウクライナ語では downstroke をつけた "ghe" という文字を "heh" と読み、 ghe を正しく書くには ghe に upstroke をつけなければならない。この点については、下の KOI8-R に関する議論を参照のこと。 8859-6 アラビア語(Arabic)をサポートする。8859-6 のグリフテーブル(glyph table) は文字の形態を分割した固定幅フォントである。そのため、適切なディスプレイエンジンが正しい initial, medial, final フォームに結合しなければならない。 8859-7 現代ギリシャ語(Modern Greek)をサポートする。 8859-8 niqud( 句読点記号) のない近代ヘブライ語(Hebrew)をサポートする。 niqud と完全な聖書風ヘブライ語(Biblical Hebrew)はこの文字セットの対象外である。 Linux では、これらのためには UTF-8 が好ましいエンコーディングである。 8859-9 (Latin-5) これは、Latin-1 の変種で、アイスランド語の文字をトルコ語(Turkish)文字に置き換えたものである。 8859-10 (Latin-6) Latin-6 は北欧(Nordic)地域をカバーするために Latin-4 には含まれていないイヌイット語(Inuit)(グリーンランド語(Greenlandic)) とサーメ語(Sami)(ラップ語(Lappish)) を加えてある。 RFC 1345 には、この前段階の、異なった "latin6" が載せられている。スコルト・サーメ語(Skolt Sami)では、さらにいくつかのアクセント記号が必要とする。 8859-11 これは拒絶された草案標準のためだけに存在する。この草案標準は Linux でタイ語のために用いられる TIS-620 と同じものである。 8859-12 この文字セットは存在しない。ベトナム語がこの場所を使うように提案したが、 ISO 8859 が提案する(合成でない) 96 文字に収まらなかった。 Linux ではベトナム語を扱う場合は UTF-8 が好ましい文字セットである。 8859-13 (Latin-7) バルト海諸国の言語をサポートする。特に、Latin-4 に存在しないラトビア語の文字を含む。 8859-14 (Latin-8) これはケルト語の文字セットであり、ゲール語(Gaelic)とウェールズ語(Welsh)に対応する。この文字セットは古代アイルランド語で用いられる付点付き文字も含む。 8859-15 (Latin-9) これはユーロ記号と Latin-1 に入っていないフランス語とフィンランド語の文字が追加されている。 8859-16 (Latin-10) この文字セットは 8859-2 で対応する多くの言語に対応し、さらにルーマニア語にはより完全に対応する。 KOI8-R KOI8-R はロシアにおいて良く用いられる、ISO でない文字集合である。下位半分は US ASCII である。上位半分は ISO 8859-5 より幾分良くデザインされたキリル文字集合である。 KOI8-U は KOI8-R を元にした共通文字セットであり、ウクライナ語(Ukrainian) によりよく対応する。これらのどちらも ISO-8859 シリーズのように ISO-2022 互換ではない。 Linux での KOI8-R のコンソールサポートは、ユーザモードのユーティリティで実現されている。これはキーボードの割り当てと EGA グラフィックテーブルを変更し、コンソールドライバのフォントテーブルに "ユーザ割り当て" を行う。 JIS X 0208 JIS X 0208 は日本語の国定標準文字セットである。他にもいくつか日本語の国定標準文字セットはある (JIS X 0201, JIS X 0212, JIS X 0213 など)が、これが最も重要である。文字は 94x94 の 2 バイトマトリックスに配置される。各バイトは 0x21-0x7e の値を持つ。 JIS X 0208 は文字セットであり、エンコーディングではないことに注意すること。これは、 JIS X 0208 自身はテキストデータの表現には使われない、ということである。 JIS X 0208 は、 EUC- JP, Shift_JIS, ISO-2022-JP といったエンコーディングを構成する部品として用いられる。 EUC-JP が Linux において最も重要なエンコーディングであり、 US ASCII と JIS X 0208 を含んでいる。 EUC-JP では、JIS X 0208 文字は 2 バイトで表現され、各バイトは JIS X 0208 コードに 0x80 を加えたものである。 KS X 1001 KS X 1001 は韓国の国定標準文字セットである。 JIS X 0208 と同様に、文字は 94x94 の 2 バイトマトリックスに配置される。 KS X 1001 は JIS X 0208 と同様に、 EUC-KR, Johab, ISO-2022-KR といったエンコーディングの部品として用いられる。 EUC-KR は Linux において最も重要なエンコーディングであり、 US ASCII と KS X 1001 を含んでいる。 KS C 5601 は KS X 1001 の古い名前である。 GB 2312 GB 2312 は、簡体文字を表現するための中国の国定標準文字セットである。 JIS X 0208 と同様に、文字は 94x94 の 2 バイトマトリックスに配置され、 EUC-CN に用いられる。 EUC-CN は Linux において最も重要なエンコーディングであり、 US ASCII と GB 2312 を含んでいる。 EUC-CN はしばしば GB, GB 2312, CN-GN などと呼ばれる。 Big5 Big5 は台湾で繁体文字を記述するのに一般的に使われる文字セットである。 (Big5 は文字セットとエンコーディングの両方である。) これは US ASCII の上位集合である。非 ASCII 文字は 2 バイトで表現する。 0xa1-0xfe のバイトは 2 バイト文字の 1 文字目として用いる。 Big5 とその拡張は台湾と香港で広く用いられている。これは ISO 2022 準拠ではない。 TIS 620 TIS 620 はタイの国定標準文字セットで、US ASCII の上位集合である。 ISO 8859 シリーズと同様に、タイ文字は 0xa1-0xfe に配置される。 TIS 620 は Linux でのみ一般的に用いられている文字セットであり、また、UTF-8 は合成文字も持っている。 UNICODE Unicode (ISO10646) は、人間が用いる全ての言語の全ての文字を、明確にあらわすことを目的とした規格である。 Unicode の構造は各文字のエンコードに 20.1 ビットを与えている。ほとんどのコンピューターは 20.1 ビットの整数を扱えないので、 Unicode は普通内部データとして 32 ビット整数にエンコードされ、 16 ビット整数の列 (UTF-16)(ある種の珍しい文字をエンコードする場合にだけ 2 つの 16 ビット整数が必要となる)か、 8 ビットバイトの列 (UTF-8)として扱われる。 Unicode についての情報は、から得られる。 Linux は 8-bit Unicode Transformation Form(UTF-8) を用いて Unicode をあらわす。 UTF-8 は Unicode の可変長表現である。UTF-8 は 7 ビットを符号化するのに 1 バイトを、 11 ビットでは 2 バイトを、 16 ビットでは 3 バイトを、 21 ビットでは 4 バイトを、 26 ビットでは 5 バイトを、 31 ビットでは 6 バイトを用いる。 0,1,x をゼロ、１、任意のビットとすると、あるバイト 0xxxxxxx は Unicode では 00000000 0xxxxxxx とあらわされる。これは、ASCII の 0xxxxxxx と同じシンボルのコードである。このように、ASCII は変更なしに UTF-8 に変換でき、 ASCII のみを使う場合は、コードにおいてもファイルサイズにおいても、変更に関して何も気にしなくてよい。 110xxxxx というバイトは 2 バイトコードの始まりである、そして、110xxxxx 10yyyyyy は 00000xxx xxyyyyyy というように組み立てられる。また、 1110xxxx は 3 バイトコードの始まりであり、1110xxxx 10yyyyyy 10zzzzzz は xxxxyyyy yyzzzzzz というように組み立てられる(UTF-8 が 31 ビット ISO 10646 コードを利用するときは、この工程は 6 バイトコードまで発展させられる)。 ISO-8859-1 文字セットを使うほとんどのユーザにとって、この事実は、ASCII の範囲外を使った文字は二つのバイトに符号化されるということを意味する。このことから (UTF-8 を使うと、ISO-8859-1を使用している)元々のテキストファイルのサイズから 1 〜 2 パーセント大きくなってしまうことになる。ロシア語やギリシャ語を利用するユーザーにとっては、これによって元のテキストは 2 倍の大きさになることになる。なぜならこれらの言語はほとんどが ASCII の範囲外だからである。現在 16-bit コードを広く利用している日本語を利用するユーザには 3 バイト必要となる。 Unicode への変換にアルゴリズム的変換をすればよい文字セットがある (特に ISO-8859-1)一方、一般的には変換テーブルが必要であり、 16 ビットコードの場合はこのテーブルはかなり大きなものとなる。 UTF-8 は自己同期的である。10xxxxxx は終端であり、ほかのバイトはコードの先頭である。UTF-8 の文字列における ASCII のバイトは、常にその文字自身を表現することに注目してほしい。特に、幾つかの大きなコードのパートを形成するために、NUL ('\0')) や '/' を埋め込む必要はない。 ASCII と NUL と '/' は変更されないため、カーネルは UTF-8 を使用していることを特に意識しなくても良い。カーネルはバイトが何をあらわしているかに注意する必要がない。 Unicode データ列のレンダリングは典型的には Unicode のサブセットからグリフへのマップである"サブフォント(subfont)"テーブルを利用して行われる。カーネル内部では、Unicode をビデオ RAM 内部にロードされたサブフォントとして記述する。これは、UTF-8 モードでは 512 の異なったシンボルを持った文字集合を利用可能であることを意味する。これは、日本語、中国語、韓国語では十分ではない、しかし、その他の利用では十分である。現在のところ、コンソールドライバは合成文字を扱えない。従って、タイ語、スー語やその他の合成文字が必要な文章はコンソールでは扱えない。 ISO 2022 と ISO 4873 ISO 2022 と ISO 4873 標準では、 VT100 の動作に基づいたフォントコントロールモデルを述べられている。このモデルは Linux カーネルや xterm(1) において(部分的に)サポートされている。この標準は日本や韓国においてよく用いられる。 G0, G1, G2, G3 と呼ばれる 4 つの図形文字集合がある。これらのうちのひとつは、最上位ビットが 0 であるコードのための現在の文字集合 (初期値は G0) 、またひとつは最上位ビットが 1 であるコードのための現在の文字集合(初期値は G1)である。それぞれの図形文字集合は 94 か 96 の文字を持ち、基本的に 7-bitの文字集合であり、040-0177 (041-0176) か 0240-0377 (0241-0376) のコードを使う。 G0 は常に 94 文字で 041-0176 のコードを使用する。文字集合の切り替えはシフトファンクション ^N (SO または LS1), ^O (SI または LS0), ESC n (LS2), ESC o (LS3), ESC N (SS2), ESC O (SS3), ESC ~ (LS1R), ESC } (LS2R), ESC | (LS3R) を使って行われる。ファンクション LSn は最上位ビットが 0 であるコードのための文字集合を Gn に設定する。ファンクション LSnR は最上位ビットが 1 であるコードのための文字セットを Gn に設定する。ファンクション SSn は(最上位ビットの値にかかわらず)次の文字のみ文字集合を Gn (n=2 または 3)に設定する。 94 文字集合では、エスケープシーケンス ESC ( xx (G0 用), ESC ) xx (G1 用), ESC * xx (G2 用), ESC + xx (G3 用) によって、Gn 文字集合を用いるように指示される。 xx は "ISO 2375 International Register of Coded Character Sets" で決められている一文字、または二文字である。たとえば ESC ( @ は ISO 646 文字集合を G0 として選び、ESC ( A は(ナンバーサイン( ＃)の代わりに、ポンド(£)を持つ) UK スタンダード文字集合を選択する。ESC ( B は(通貨記号のかわりにダラー(＄)を持つ) ASCIIを選択する。 ESC ( M はアフリカ言語(African languages) を選択し、ESC ( ! A はキューバ語(Cuban)文字集合を選択する。などなど… 96- 文字集合では、エスケープシーケンス ESC - xx (G1 用), ESC . xx (G2 用), ECS / xx (G3 用)を用いることで、 Gn 文字集合を使用するように指示される。例えば、ESC - G はヘブライアルファベット(Hebrew alphabet) を G1 として選択する。マルチバイト文字集合ではエスケープシーケンス E $ xx または ESC $ ( xx (G0 用), ESC $ ) xx (G1 用), ESC $ * xx (G2 用), ESC$ + xx (G3 用) を用いることで、 Gn 文字集合を使用するように指示される。例えば、ESC $ ( C は韓国語(Korean)文字集合を G0 として選択する。 ESC $ B によって選択される日本語文字セットは、より最近のバージョンでは ESC & @ ESC $ B によって選択されるようになった。 ISO 4873 はより制限された文字集合の利用を規定する、その規定では、G0 は( 常に ASCIIに)固定される。従って、G1, G2, G3 は最上位ビットがセットされたコードとしてのみ呼び出すことができる。特に、^N と ^O は用いられず、ESC ( xx は xx=B としてのみ用いることができ、 ESC ) xx, ESC * xx, ESC + xx はそれぞれ ESC - xx, ESC . xx, ESC / xx と等価になる。関連項目 console(4), console_codes(4), console_ioctl(4), ascii(7), iso_8859-1(7), unicode(7), utf-8(7) Linux 2008-06-03 CHARSETS(7)

CHARSETS(7) Linux Programmer’s Manual CHARSETS(7) NAME charsets - programmer’s view of character sets and internationalization DESCRIPTION Linux is an international operating system. Various of its utilities and device drivers (including the console driver) support multilingual character sets including Latin-alphabet letters with diacritical marks, accents, ligatures, and entire non-Latin alphabets including Greek, Cyrillic, Arabic, and Hebrew. This manual page presents a programmer’s-eye view of different charac- ter-set standards and how they fit together on Linux. Standards dis- cussed include ASCII, ISO 8859, KOI8-R, Unicode, ISO 2022 and ISO 4873. The primary emphasis is on character sets actually used as locale char- acter sets, not the myriad others that can be found in data from other systems. A complete list of charsets used in an officially supported locale in glibc 2.2.3 is: ISO-8859-{1,2,3,5,6,7,8,9,13,15}, CP1251, UTF-8, EUC-{KR,JP,TW}, KOI8-{R,U}, GB2312, GB18030, GBK, BIG5, BIG5-HKSCS and TIS-620 (in no particular order.) (Romanian may be switching to ISO-8859-16.) The recommended encoding in all settings and locales is UTF-8. ASCII ASCII (American Standard Code For Information Interchange) is the orig- inal 7-bit character set, originally designed for American English. It is currently described by the ECMA-6 standard. Various ASCII variants replacing the dollar sign with other currency symbols and replacing punctuation with non-English alphabetic charac- ters to cover German, French, Spanish and others in 7 bits exist. All are deprecated; glibc doesn’t support locales whose character sets aren’t true supersets of ASCII. (These sets are also known as ISO-646, a close relative of ASCII that permitted replacing these characters.) As Linux was written for hardware designed in the US, it natively sup- ports ASCII. ISO 8859 ISO 8859 is a series of 15 8-bit character sets all of which have US ASCII in their low (7-bit) half, invisible control characters in posi- tions 128 to 159, and 96 fixed-width graphics in positions 160-255. Of these, the most important is ISO 8859-1 (Latin-1). It is natively supported in the Linux console driver, fairly well supported in X11R6, and is the base character set of HTML. Console support for the other 8859 character sets is available under Linux through user-mode utilities (such as setfont(8)) that modify key- board bindings and the EGA graphics table and employ the "user mapping" font table in the console driver. Here are brief descriptions of each set: 8859-1 (Latin-1) Latin-1 covers most Western European languages such as Albanian, Catalan, Danish, Dutch, English, Faroese, Finnish, French, Ger- man, Galician, Irish, Icelandic, Italian, Norwegian, Portuguese, Spanish, and Swedish. The lack of the ligatures Dutch ij, French oe and old-style ,,German‘‘ quotation marks is considered tolerable. 8859-2 (Latin-2) Latin-2 supports most Latin-written Slavic and Central European languages: Croatian, Czech, German, Hungarian, Polish, Rumanian, Slovak, and Slovene. 8859-3 (Latin-3) Latin-3 is popular with authors of Esperanto, Galician, and Mal- tese. (Turkish is now written with 8859-9 instead.) 8859-4 (Latin-4) Latin-4 introduced letters for Estonian, Latvian, and Lithua- nian. It is essentially obsolete; see 8859-10 (Latin-6) and 8859-13 (Latin-7). 8859-5 Cyrillic letters supporting Bulgarian, Byelorussian, Macedonian, Russian, Serbian and Ukrainian. Ukrainians read the letter "ghe" with downstroke as "heh" and would need a ghe with upstroke to write a correct ghe. See the discussion of KOI8-R below. 8859-6 Supports Arabic. The 8859-6 glyph table is a fixed font of sep- arate letter forms, but a proper display engine should combine these using the proper initial, medial, and final forms. 8859-7 Supports Modern Greek. 8859-8 Supports modern Hebrew without niqud (punctuation signs). Niqud and full-fledged Biblical Hebrew are outside the scope of this character set; under Linux, UTF-8 is the preferred encoding for these. 8859-9 (Latin-5) This is a variant of Latin-1 that replaces Icelandic letters with Turkish ones. 8859-10 (Latin-6) Latin 6 adds the last Inuit (Greenlandic) and Sami (Lappish) letters that were missing in Latin 4 to cover the entire Nordic area. RFC 1345 listed a preliminary and different "latin6". Skolt Sami still needs a few more accents than these. 8859-11 This only exists as a rejected draft standard. The draft stan- dard was identical to TIS-620, which is used under Linux for Thai. 8859-12 This set does not exist. While Vietnamese has been suggested for this space, it does not fit within the 96 (non-combining) characters ISO 8859 offers. UTF-8 is the preferred character set for Vietnamese use under Linux. 8859-13 (Latin-7) Supports the Baltic Rim languages; in particular, it includes Latvian characters not found in Latin-4. 8859-14 (Latin-8) This is the Celtic character set, covering Gaelic and Welsh. This charset also contains the dotted characters needed for Old Irish. 8859-15 (Latin-9) This adds the Euro sign and French and Finnish letters that were missing in Latin-1. 8859-16 (Latin-10) This set covers many of the languages covered by 8859-2, and supports Romanian more completely then that set does. KOI8-R KOI8-R is a non-ISO character set popular in Russia. The lower half is US ASCII; the upper is a Cyrillic character set somewhat better designed than ISO 8859-5. KOI8-U is a common character set, based off KOI8-R, that has better support for Ukrainian. Neither of these sets are ISO-2022 compatible, unlike the ISO-8859 series. Console support for KOI8-R is available under Linux through user-mode utilities that modify keyboard bindings and the EGA graphics table, and employ the "user mapping" font table in the console driver. JIS X 0208 JIS X 0208 is a Japanese national standard character set. Though there are some more Japanese national standard character sets (like JIS X 0201, JIS X 0212, and JIS X 0213), this is the most important one. Characters are mapped into a 94x94 two-byte matrix, whose each byte is in the range 0x21-0x7e. Note that JIS X 0208 is a character set, not an encoding. This means that JIS X 0208 itself is not used for expressing text data. JIS X 0208 is used as a component to construct encodings such as EUC-JP, Shift_JIS, and ISO-2022-JP. EUC-JP is the most important encoding for Linux and includes US ASCII and JIS X 0208. In EUC-JP, JIS X 0208 characters are expressed in two bytes, each of which is the JIS X 0208 code plus 0x80. KS X 1001 KS X 1001 is a Korean national standard character set. Just as JIS X 0208, characters are mapped into a 94x94 two-byte matrix. KS X 1001 is used like JIS X 0208, as a component to construct encodings such as EUC-KR, Johab, and ISO-2022-KR. EUC-KR is the most important encoding for Linux and includes US ASCII and KS X 1001. KS C 5601 is an older name for KS X 1001. GB 2312 GB 2312 is a mainland Chinese national standard character set used to express simplified Chinese. Just like JIS X 0208, characters are mapped into a 94x94 two-byte matrix used to construct EUC-CN. EUC-CN is the most important encoding for Linux and includes US ASCII and GB 2312. Note that EUC-CN is often called as GB, GB 2312, or CN-GB. Big5 Big5 is a popular character set in Taiwan to express traditional Chi- nese. (Big5 is both a character set and an encoding.) It is a super- set of US ASCII. Non-ASCII characters are expressed in two bytes. Bytes 0xa1-0xfe are used as leading bytes for two-byte characters. Big5 and its extension is widely used in Taiwan and Hong Kong. It is not ISO 2022-compliant. TIS 620 TIS 620 is a Thai national standard character set and a superset of US ASCII. Like ISO 8859 series, Thai characters are mapped into 0xa1-0xfe. TIS 620 is the only commonly used character set under Linux besides UTF-8 to have combining characters. UNICODE Unicode (ISO 10646) is a standard which aims to unambiguously represent every character in every human language. Unicode’s structure permits 20.1 bits to encode every character. Since most computers don’t include 20.1-bit integers, Unicode is usually encoded as 32-bit inte- gers internally and either a series of 16-bit integers (UTF-16) (need- ing two 16-bit integers only when encoding certain rare characters) or a series of 8-bit bytes (UTF-8). Information on Unicode is available at . Linux represents Unicode using the 8-bit Unicode Transformation Format (UTF-8). UTF-8 is a variable length encoding of Unicode. It uses 1 byte to code 7 bits, 2 bytes for 11 bits, 3 bytes for 16 bits, 4 bytes for 21 bits, 5 bytes for 26 bits, 6 bytes for 31 bits. Let 0,1,x stand for a zero, one, or arbitrary bit. A byte 0xxxxxxx stands for the Unicode 00000000 0xxxxxxx which codes the same symbol as the ASCII 0xxxxxxx. Thus, ASCII goes unchanged into UTF-8, and people using only ASCII do not notice any change: not in code, and not in file size. A byte 110xxxxx is the start of a 2-byte code, and 110xxxxx 10yyyyyy is assembled into 00000xxx xxyyyyyy. A byte 1110xxxx is the start of a 3-byte code, and 1110xxxx 10yyyyyy 10zzzzzz is assembled into xxxxyyyy yyzzzzzz. (When UTF-8 is used to code the 31-bit ISO 10646 then this progression continues up to 6-byte codes.) For most people who use ISO-8859 character sets, this means that the characters outside of ASCII are now coded with two bytes. This tends to expand ordinary text files by only one or two percent. For Russian or Greek users, this expands ordinary text files by 100%, since text in those languages is mostly outside of ASCII. For Japanese users this means that the 16-bit codes now in common use will take three bytes. While there are algorithmic conversions from some character sets (esp. ISO-8859-1) to Unicode, general conversion requires carrying around conversion tables, which can be quite large for 16-bit codes. Note that UTF-8 is self-synchronizing: 10xxxxxx is a tail, any other byte is the head of a code. Note that the only way ASCII bytes occur in a UTF-8 stream, is as themselves. In particular, there are no embedded NULs ('\0') or '/'s that form part of some larger code. Since ASCII, and, in particular, NUL and '/', are unchanged, the kernel does not notice that UTF-8 is being used. It does not care at all what the bytes it is handling stand for. Rendering of Unicode data streams is typically handled through "sub- font" tables which map a subset of Unicode to glyphs. Internally the kernel uses Unicode to describe the subfont loaded in video RAM. This means that in UTF-8 mode one can use a character set with 512 different symbols. This is not enough for Japanese, Chinese and Korean, but it is enough for most other purposes. At the current time, the console driver does not handle combining char- acters. So Thai, Sioux and any other script needing combining charac- ters can’t be handled on the console. ISO 2022 and ISO 4873 The ISO 2022 and 4873 standards describe a font-control model based on VT100 practice. This model is (partially) supported by the Linux ker- nel and by xterm(1). It is popular in Japan and Korea. There are 4 graphic character sets, called G0, G1, G2 and G3, and one of them is the current character set for codes with high bit zero (ini- tially G0), and one of them is the current character set for codes with high bit one (initially G1). Each graphic character set has 94 or 96 characters, and is essentially a 7-bit character set. It uses codes either 040-0177 (041-0176) or 0240-0377 (0241-0376). G0 always has size 94 and uses codes 041-0176. Switching between character sets is done using the shift functions ^N (SO or LS1), ^O (SI or LS0), ESC n (LS2), ESC o (LS3), ESC N (SS2), ESC O (SS3), ESC ~ (LS1R), ESC } (LS2R), ESC | (LS3R). The function LSn makes character set Gn the current one for codes with high bit zero. The function LSnR makes character set Gn the current one for codes with high bit one. The function SSn makes character set Gn (n=2 or 3) the current one for the next character only (regardless of the value of its high order bit). A 94-character set is designated as Gn character set by an escape sequence ESC ( xx (for G0), ESC ) xx (for G1), ESC * xx (for G2), ESC + xx (for G3), where xx is a symbol or a pair of symbols found in the ISO 2375 International Register of Coded Character Sets. For example, ESC ( @ selects the ISO 646 character set as G0, ESC ( A selects the UK standard character set (with pound instead of number sign), ESC ( B selects ASCII (with dollar instead of currency sign), ESC ( M selects a character set for African languages, ESC ( ! A selects the Cuban char- acter set, etc. etc. A 96-character set is designated as Gn character set by an escape sequence ESC - xx (for G1), ESC . xx (for G2) or ESC / xx (for G3). For example, ESC - G selects the Hebrew alphabet as G1. A multibyte character set is designated as Gn character set by an escape sequence ESC $ xx or ESC $ ( xx (for G0), ESC $ ) xx (for G1), ESC $ * xx (for G2), ESC $ + xx (for G3). For example, ESC $ ( C selects the Korean character set for G0. The Japanese character set selected by ESC $ B has a more recent version selected by ESC & @ ESC $ B. ISO 4873 stipulates a narrower use of character sets, where G0 is fixed (always ASCII), so that G1, G2 and G3 can only be invoked for codes with the high order bit set. In particular, ^N and ^O are not used anymore, ESC ( xx can be used only with xx=B, and ESC ) xx, ESC * xx, ESC + xx are equivalent to ESC - xx, ESC . xx, ESC / xx, respectively. SEE ALSO console(4), console_codes(4), console_ioctl(4), ascii(7), iso_8859-1(7), unicode(7), utf-8(7) COLOPHON This page is part of release 3.22 of the Linux man-pages project. A description of the project, and information about reporting bugs, can be found at http://www.kernel.org/doc/man-pages/. Linux 2008-06-03 CHARSETS(7)

リナックスコマンド