Unicode的消息介绍（图）

基本知识
字节和字符的区别
big endian和little endian
ucs-2和ucs-4
utf-16和utf-32
utf-16
utf-32
utf-8

基本知识
介绍unicode之前，首先要讲解一些基础知识。虽然跟unicode没有直接的关系，但想弄明白unicode，没这些还真不行。
字节和字符的区别
咦，字节和字符能有什么区别啊？不都是一样的吗？完全正确，但只是在古老的dos时代。当unicode出现后，字节和字符就不一样了。
字节（octet）是一个八位的存储单元，取值范围一定是0～255。而字符（character，或者word）为语言意义上的符号，范围就不一定了。例如在ucs-2中定义的字符范围为0～65535，它的一个字符占用两个字节。
big endian和little endian
上面提到了一个字符可能占用多个字节，那么这多个字节在计算机中如何存储呢？比如字符0xabcd，它的存储格式到底是 ab cd，还是 cd ab 呢？
实际上两者都有可能，并分别有不同的名字。如果存储为 ab cd，则称为big endian；如果存储为 cd ab，则称为little endian。
具体来说，以下这种存储格式为big endian，因为值(0xabcd)的高位(0xab)存储在前面：
地址
值
0x00000000
ab
0x00000001
cd
相反，以下这种存储格式为little endian：
地址
值
0x00000000
cd
0x00000001
ab
ucs-2和ucs-4
unicode是为整合全世界的所有语言文字而诞生的。任何文字在unicode中都对应一个值，这个值称为代码点（code point）。代码点的值通常写成 u abcd 的格式。而文字和代码点之间的对应关系就是ucs-2（universal character set coded in 2 octets）。顾名思义，ucs-2是用两个字节来表示代码点，其取值范围为 u 0000～u ffff。
为了能表示更多的文字，人们又提出了ucs-4，即用四个字节表示代码点。它的范围为 u 00000000～u 7fffffff，其中 u 00000000～u 0000ffff和ucs-2是一样的。
要注意，ucs-2和ucs-4只规定了代码点和文字之间的对应关系，并没有规定代码点在计算机中如何存储。规定存储方式的称为utf（unicode transformation format），其中应用较多的就是utf-16和utf-8了。
utf-16和utf-32
utf-16
utf-16由rfc2781规定，它使用两个字节来表示一个代码点。
不难猜到，utf-16是完全对应于ucs-2的，即把ucs-2规定的代码点通过big endian或little endian方式直接保存下来。utf-16包括三种：utf-16，utf-16be（big endian），utf-16le（little endian）。
utf-16be和utf-16le不难理解，而utf-16就需要通过在文件开头以名为bom（byte order mark）的字符来表明文件是big endian还是little endian。bom为u feff这个字符。
其实bom是个小聪明的想法。由于ucs-2没有定义u fffe，因此只要出现 ff fe 或者 fe ff 这样的字节序列，就可以认为它是u feff，并且可以判断出是big endian还是little endian。
举个例子。“abc”这三个字符用各种方式编码后的结果如下：
utf-16be
00 41 00 42 00 43
utf-16le
41 00 42 00 43 00
utf-16(big endian)
fe ff 00 41 00 42 00 43
utf-16(little endian)
ff fe 41 00 42 00 43 00
utf-16(不带bom)
00 41 00 42 00 43
windows平台下默认的unicode编码为little endian的utf-16（即上述的 ff fe 41 00 42 00 43 00）。你可以打开记事本，写上abc，然后保存，再用二进制编辑器看看它的编码结果。

另外，utf-16还能表示一部分的ucs-4代码点——u 10000～u 10ffff。表示算法比较复杂，简单说明如下：
从代码点u中减去0x10000，得到u'。这样u 10000～u 10ffff就变成了 0x00000～0xfffff。
用20位二进制数表示u'。 u'=yyyyyyyyyyxxxxxxxxxx
将前10位和后10位用w1和w2表示，w1=110110yyyyyyyyyy，w2=110111xxxxxxxxxx，则 w1 = d800～dbff，w2 = dc00～dfff。
例如，u 12345表示为 d8 08 df 45（utf-16be），或者08 d8 45 df（utf-16le）。
但是由于这种算法的存在，造成ucs-2中的 u d800～u dfff 变成了无定义的字符。
utf-32
utf-32用四个字节表示代码点，这样就可以完全表示ucs-4的所有代码点，而无需像utf-16那样使用复杂的算法。与utf-16类似，utf-32也包括utf-32、utf-32be、utf-32le三种编码，utf-32也同样需要bom字符。仅用'abc'举例：
utf-32be
00 00 00 41 00 00 00 42 00 00 00 43
utf-32le
41 00 00 00 42 00 00 00 43 00 00 00
utf-32(big endian)
00 00 fe ff 00 00 00 41 00 00 00 42 00 00 00 43
utf-32(little endian)
ff fe 00 00 41 00 00 00 42 00 00 00 43 00 00 00
utf-32(不带bom)
00 00 00 41 00 00 00 42 00 00 00 43
utf-8
utf-16和utf-32的一个缺点就是它们固定使用两个或四个字节，这样在表示纯ascii文件时会有很多00字节，造成浪费。而rfc3629定义的utf-8则解决了这个问题。
utf-8用1～4个字节来表示代码点。表示方式如下：
ucs-2 (ucs-4)
位序列
第一字节
第二字节
第三字节
第四字节
u 0000 .. u 007f
00000000-0xxxxxxx
0xxxxxxx
u 0080 .. u 07ff
00000xxx-xxyyyyyy
110xxxxx
10yyyyyy
u 0800 .. u ffff
xxxxyyyy-yyzzzzzz
1110xxxx
10yyyyyy
10zzzzzz
u 10000..u 1fffff
00000000-000wwwxx-
xxxxyyyy-yyzzzzzzz
11110www
10xxxxxx
10yyyyyy
10zzzzzz
可见，ascii字符（u 0000～u 007f）部分完全使用一个字节，避免了存储空间的浪费。而且utf-8不再需要bom字节。
另外，从上表中可以看出，单字节编码的第一字节为[00-7f]，双字节编码的第一字节为[c2-df]，三字节编码的第一字节为[e0-ef]。这样只要看到第一个字节的范围就可以知道编码的字节数。这样也可以大大简化算法。