UTF-8（8-bit Unicode Transformation Format）是一種針對Unicode的可變長度字元編碼，又稱萬國碼，由Ken Thompson於1992年創建。現在已經標準化為RFC 3629。UTF-8用1到6個位元組編碼Unicode字元。用在網頁上可以統一頁面顯示中文簡體繁體及其它語言（如英文，日文，韓文）。
基本介紹
- 中文名：UTF-8
- 外文名：8-bit Unicode Transformation Format
- 別稱：萬國碼
- 作者：Ken Thompson
- 創建時間：1992年
- 針對：Unicode
發展歷程,字元集,優缺點,優點,缺點,修正更新,
發展歷程
在所有字元集中，最知名的可能要數被稱為ASCII的7位字元集了。它是美國標準信息交換代碼（American Standard Code for Information Interchange）的縮寫, 為美國英語通信所設計。它由128個字元組成，包括大小寫字母、數字0-9、標點符號、非列印字元（換行符、制表符等4個）以及控制字元（退格、響鈴等）組成。
但是，由於它是針對英語設計的，當處理帶有音調標號（形如漢語的拼音）的亞洲文字時就會出現問題。因此，創建出了一些包括255個字元的由ASCII擴展的字元集。其中有一種通常被稱為IBM字元集，它把值為128-255之間的字元用於畫圖和畫線，以及一些特殊的歐洲字元。另一種8位字元集是ISO 8859-1Latin 1，也簡稱為ISOLatin-1。它把位於128-255之間的字元用於拉丁字母表中特殊語言字元的編碼，也因此而得名。歐洲語言不是地球上的唯一語言，因此亞洲和非洲語言並不能被8位字元集所支持。僅漢語字母表（或pictograms）就有80000以上個字元。但是把漢語、日語和越南語的一些相似的字元結合起來，在不同的語言裡，使不同的字元代表不同的字，這樣只用2個位元組就可以編碼地球上幾乎所有地區的文字。因此，創建了UNICODE編碼。它通過增加一個高位元組對ISO Latin-1字元集進行擴展，當這些高位元組位為0時，低位元組就是ISO Latin-1字元。UNICODE支持歐洲、非洲、中東、亞洲（包括統一標準的東亞象形漢字和韓國表音文字）。但是，UNICODE並沒有提供對諸如Braille(盲文),Cherokee, Ethiopic(衣索比亞語), Khmer(高棉語), Mongolian(蒙古語), Hmong(苗語), Tai Lu, Tai Mau文字的支持。同時它也不支持如Ahom(阿霍姆語), Akkadian(阿卡德語), Aramaic(阿拉米語), Babylonian Cuneiform(古巴比倫楔形文字), Balti(巴爾蒂語), Brahmi(婆羅米文), Etruscan(伊特拉斯坎語), Hittite(西臺語/西台語), Javanese(爪哇語), Numidian(努米底亞語), Old Persian Cuneiform(古波斯楔形文字), Syrian(敘利亞語)之類的古老文字。
字元集
如果UNICODE字元由2個位元組表示，則編碼成UTF-8很可能需要3個位元組。而如果UNICODE字元由4個位元組表示，則編碼成UTF-8可能需要6個位元組。用4個或6個位元組去編碼一個UNICODE字元可能太多了，但很少會遇到那樣的UNICODE字元。
UTF-8編碼規則：如果只有一個位元組則其最高二進制位為0；如果是多位元組，其第一個位元組從最高位開始，連續的二進制位值為1的個數決定了其編碼的位元組數，其餘各位元組均以10開頭。UTF-8轉換表表示如下：
Unicode/UCS-4 | bit數 | UTF-8 | byte數 | 備註 |
0000 ~ 007F | 0~7 | 0XXX XXXX | 1 | |
0080 ~ 07FF | 8~11 | 110X XXXX 10XX XXXX | 2 | |
0800 ~ FFFF | 12~16 | 1110XXXX 10XX XXXX 10XX XXXX | 3 | 基本定義範圍：0~FFFF |
1 0000 ~ 1F FFFF | 17~21 | 1111 0XXX 10XX XXXX 10XX XXXX 10XX XXXX | 4 | Unicode6.1定義範圍：0~10 FFFF |
20 0000 ~ 3FF FFFF | 22~26 | 1111 10XX 10XX XXXX 10XX XXXX 10XX XXXX 10XX XXXX | 5 | 說明：此非unicode編碼範圍，屬於UCS-4 編碼 早期的規範UTF-8可以到達6位元組序列，可以覆蓋到31位元（通用字元集原來的極限）。儘管如此，2003年11月UTF-8 被 RFC 3629 重新規範，只能使用原來Unicode定義的區域， U+0000到U+10FFFF。根據規範，這些位元組值將無法出現在合法 UTF-8序列中 |
400 0000 ~ 7FFF FFFF | 27~31 | 1111 110X 10XX XXXX 10XX XXXX 10XX XXXX 10XX XXXX 10XX XXXX | 6 |
實際表示ASCII字元的UNICODE字元，將會編碼成1個位元組，並且UTF-8表示與ASCII字元表示是一樣的。所有其他的UNICODE字元轉化成UTF-8將需要至少2個位元組。每個位元組由一個換碼序列開始。第一個位元組由唯一的換碼序列，由n位連續的1加一位0組成, 首位元組連續的1的個數表示字元編碼所需的位元組數。
Unicode轉換為UTF-8時，可以將Unicode二進制從低位往高位取出二進制數字，每次取6位，如上述的二進制就可以分別取出為如下示例所示的格式，前面按格式填補，不足8位用0填補。
註：Unicode轉換為UTF-8需要的位元組數可以根據這個規則計算：如果Unicode小於0X80（Ascii字元），則轉換後為1個位元組。否則轉換後的位元組數為Unicode二進制位數+3再除以5。
示例
UNICODE uCA(1100 1010) 編碼成UTF-8將需要2個位元組：
uCA -> C3 8A， 過程如下：
uCA(1100 1010)處於0080 ~07FF之間，從上文中的轉換表可知對其編碼需要2bytes，即兩個位元組，其對 應 UTF-8格式為： 110X XXXX10XX XXXX。從此格式中可以看到，對其編碼還需要11位，而uCA(1100 1010)僅有8位，這時需要在其二進制數前補0湊成11位: 000 1100 1010, 依次填入110X XXXX 10XX XXXX的空位中， 即得 1100 0011 1000 1010（C38A）。
同理，UNICODE uF03F (1111 0000 0011 1111) 編碼成UTF-8將需要3個位元組:
u F03F -> EF 80 BF，對應格式為：1110XXXX10XX XXXX10XX XXXX，編碼還需要16位，將1111 0000 0011 1111(F03F)依次填入，可得 1110 1111 1000 0000 1011 1111（EF 80 BF）。
Unicode 16進制 | Unicode 2進制 | bit數 | UTF-8 2進制 | UTF-8 16進制 |
CA | 1100 1010 | 8 | 1100 00111000 1010 | C3 8A |
F0 3F | 11110000 0011 1111 | 16 | 111011111000 00001011 1111 | EF 80 BF |
優缺點
優點
UTF-8編碼可以通過禁止位和移位操作快速讀寫。字元串比較時strcmp()和wcscmp()的返回結果相同，因此使排序變得更加容易。位元組FF和FE在UTF-8編碼中永遠不會出現，因此他們可以用來表明UTF-16或UTF-32文本（見BOM） UTF-8 是位元組順序無關的。它的位元組順序在所有系統中都是一樣的，因此它實際上並不需要BOM。
缺點
你無法從UNICODE字元數判斷出UTF-8文本的位元組數，因為UTF-8是一種變長編碼它需要用2個位元組編碼那些用擴展ASCII字元集只需1個位元組的字元 ISO Latin-1 是UNICODE的子集，但不是UTF-8的子集 8位字元的UTF-8編碼會被email網關過濾，因為internet信息最初設計為7位ASCII碼。因此產生了UTF-7編碼。 UTF-8 在它的表示中使用值100xxxxx的幾率超過50%， 而現存的實現如ISO 2022， 4873， 6429， 和8859系統，會把它錯認為是C1 控制碼。因此產生了UTF-7.5編碼。
UTF-8保存使用