ASCII、Unicode和UTF-8编码的区别
程序员文章站
2022-03-31 10:39:15
ASCII、Unicode和UTF 8编码的区别 摘要总结: ASCII的编码是128个字符 GB2312编码用来把中文编进去的,日本把日文编进Shift_JIS里... Unicode是为了解决各国乱码的,但浪费存储空间 UTF 8编码把一个Unicode字符根据不同的数字大小编码成1 6字节,英 ......
ASCII、Unicode和UTF-8编码的区别
摘要总结:
ASCII的编码是128个字符 GB2312编码用来把中文编进去的,日本把日文编进Shift_JIS里... Unicode是为了解决各国乱码的,但浪费存储空间 UTF-8编码把一个Unicode字符根据不同的数字大小编码成1-6字节,英文字符是1个字节,汉字通常是3个字节,生僻字符是4-6个字节
常用编码介绍一览表:
编码 | 作用 | 所占字节数 |
---|---|---|
ASCII | 表示英语及西欧语言 | 1bytes |
GB2312 | 国家简体中文字符集,兼容ASCII | 2bytes |
Unicode | 国家标准组织统一标准字符集 | 2bytes |
GBK | GB2312的扩展字符集,支持繁体字,兼容GB2312 | 2bytes |
UTF-8 | 不定长编码 | 1-3bytes |
具体解释127个字母被编码到计算机中,也就是大小写英文字母、数字和一些符号,这个编码表被成为ASCII编码,比如大小字母A代表65,小写字母a代表97。
但是要处理中文显然一个字节是不够的,至少需要两个字节,而且还不能和ASCII编码冲突,所以,中国制定了GB2312编码,用来把中文编进去。
你可以想到的是,全世界有上百种语言,日本把日本编到Shift_JIS里,韩国把韩文编到Euc-kr里,各国有各国的标准,就不可避免的出现了冲突,结果就是:在多语混合的文本中,显示出来会乱码。
因此,Unicode应运而生,Unicode把所有语言都统一到一套编码里,这样就不会出现问题了。
Unicode标准也在不断发展,但最常用的是用两个字节表示一个字符(如果要用到非常偏僻的字符,就需要4个字节)。现代操作系统和大多数编程语言都直接支持Unicode。
新的问题又出现了:如果统一换成Unicode编码,乱码的问题就消失了,但是,如果写的文章里都是英文的话,Unicode编码比ASCII编码需要多一倍的存储空间,在存储和传输上就不划算了。
所以,本着节约的精神,又出现了把Unicode编码转化为“可变长编码”的UTF-8编码。
UTF-8编码把一个Unicode字符根据不同的数字大小编码成1-6个字节,常用的英文占用1个字节,汉字通常是3个字节,只有很生僻的字符才会被编码成4-6个字节。如果你要传输的文本包含大量英文字符,用UTF-8编码就能节省空间。
UTF-8编码有一个额外的好处,就是ASCII编码实际上可以被看成是UTF-8编码的一部分,所以大量只支持ASCII编码的历史遗留软件可以在UTF-8编码下继续工作。