彻底弄懂python编码

  在编写python程序的过程中，中英文混用经常会出现编码问题。围绕此问题，本文首先介绍编码的含义及常用编码，随后列举几个python经常遇到的编码异常及解决方法，接着列举笔者在实践中遇到的异常出现的情景及原因，最后针对编码问题提出最佳实践。

一 常见编码

1.1 unicode编码

  在文本文件中，看到的所有字符，包括中文，都需要在计算机中存储，而计算机只能存储0和1这样的二进制位，所以需要一种方法，将字符映射成数字，然后将数字转化为二进制位存储在计算机中。针对字符和数字的映射的问题，产生了unicode编码，unicode将世界上的所有字符映射为唯一的数字。unicode数字并不是直接就可以转化为二进制存储，比如假设中文字符‘中’映射为数字1（00000001），‘国’映射为数字2（00000010），由于汉字很多，单字节并不能表示完所有的汉字，故可能会有汉字的unicode数字为258（00000001 00000010），假设为‘京’，现在在字符串中碰到存储为00000001 00000010的二进制串，不能区分出其实际代表的是“中国”还是“京”。

  针对unicode数字和二进制的映射问题，有两种解决方法：一种是每个unicode数字用固定宽度的二进制位表示，比如都用两字节，由此产生了ascii、gb2312、gbk编码；另一种是存储的二进制位除了表示数字之外，还表示每个unicode数字的长度，由此产生了utf-8编码。

1.2 ascii编码

ascii编码用单字节表示字符，最高位固定为0，故最多只能表示128个字符，当编程只涉及到英文字符或数字时，不涉及中文字符时，可以使用ascii编码。

1.3 gb2312编码、gbk

  gb(guobiao)为国标，gbk(guobiao kuozhan)表示国标扩展。gb2312兼容ascii编码，对于ascii可以表示的字符，如英文字符‘a’、‘b’等，在gb2312中的编码和ascii编码一致，占一个字节，对于ascii不能表示的字符，gb2312用两个字节表示，且最高位不为0，以防和ascii字符冲突。例如：‘a’在gb2312中存储的字节十六进制为41，在ascii中也是65，中文字符‘中’在gb2312中存储的两个字节十六进制为d6d0，最高位为1不为0。

  gb2312只有6763个汉字，而汉字特别多。gbk属于gb2312的扩展，增加了很多汉字，同时兼容gb2312，同样用两个字节表示非ascii字符。

1.4 utf-8编码

  和gb系列不同，utf-8可以将全世界所有的unicode数字表示出来。utf-8兼容ascii编码，不兼容gb系列编码，因此，若文本中utf-8和gb系列编码混用，会出现乱码问题。utf-8对于每个字符的存储，用最高二进制位开始连续1的个数表示字的长度，最高位为0表示单字节，用来兼容ascii字符，为110表示双字节，非字符首字节的字节都以10开始，如下表格所示。例如：字符‘中’的unicode编码为2d4e(00101101 01001110),用utf-8存储的二进制为e4b8ad(11100100 10111000 10101101 )，存储在计算机中的首字节为1110开头，表示此字符占三个字节，去掉开始字节表示长度的1110和其余字节开头的10，可以得到01001110 00101101(4e2d)，可以看到和unicode数字刚好相反，是因为是大端存储方式，高字节存储在内存中的低地址端，反过来即为unicode编码。

 

字节数	二进制编码格式
单字节	0xxxxxxx
双字节	110xxxxx 10xxxxxx
三字节	1110xxxx 10xxxxxx 10xxxxxx
四字节	11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
五字节	111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
六字节	1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

二 python字符序列及编码问题

  上一节对几种常见的编码原理做出了介绍，以便理解python由于编码引起的异常，本节将对python中的字符串作出介绍，并在此基础上提出几种常见的编码异常，并提供解决方案。

2.1 python2和python3字符序列

   python2中字符序列有两种类型：unicode和str。unicode字符序列存储的元素为unicode字符。如图2.1所示，unicode_string代表unicode字符序列“中国”，其长度为2，恰好表示两个unicode字符。

   图2.1 unicode字符序列

  python2中的另一种字符序列是str类型，str类型的字符序列其实是unicode字符序列encode之后的值，用不同的编码类型encode，得出的值不一样。str字符序列的元素为字节，如图2.2所示，“中国” 的str字符序列长度为6，为utf-8编码后所占字节长度。

图2.2 str字符序列

  与unicode字符串转化为str类型用encode相反，str类型的字符序列转化为unicode字符串，可以通过decode方法，如图2.3所示：

图2.3 str转化为unicode

   python3中的字符序列也有两种类型：bytes和str。python3中的bytes和python2中的str相似，str和python2中的unicode相似。这里要注意,str类型在python3和python2中都有，但含义完全变了。

图2.4 python3的str和bytes字符序列

2.2常见编码问题

2.2.1 unicodeencodererror

  将文本转化为字节序列时，若有字符在目标编码中没有定义，则会出现unicodeencodererror。如图2.5所示，由于中文字符在ascii编码中无定义，则会报出编码错误。对于此类问题，需选择合适的编码类型，比如含有中文字符，一般用utf-8编码类型对unicode字符串编码。

图2.5 unicodeencodeerror示例

 

2.2.2 unicodedecodeerror

  把二进制序列转化为文本时，遇到无法转换的字节序列，则会发生此异常。比如用utf-8编码后的二进制序列，用gb2312解码，由于两种编码不兼容，用gb2312不能识别字节序列，则会出现异常，如图2.6所示。

图2.6 unicodedecodeerror示例

  碰到这种异常，是由于decode使用的编码和字节序列的编码不一致，可以用字符编码侦测包chardet检测字节序列的编码，然后再用此编码解码。如图2.7所示:

 

图2.7 编码检测

三 实践中常见编码异常场景

3.1 字符串连接

python代码

1 # -*- coding: utf-8 -*-
2 unicode_string=u'中国'
3 str_string='中国'
4 merge_string= str_string+unicode_string #unicodedecodeerror: 'ascii' codec can't decode byte 0xe4 in position 0: ordinal not in range(128)

python代码

1 # -*- coding: utf-8 -*-
2 unicode_string=u'中国'
3 str_string='中国'
4 "中国：%s" % str_string
5 #两种字符序列混用，相当于"中国：%s".decode('ascii')%unicode_string
6 "中国：%s" % unicode_string #unicodedecodeerror: 'ascii' codec can't decode byte 0xe4 in position 0: ordinal not in range(128)
7 u"中国：%s"%unicode_string
8 #两种字符序列混用，相当于u"中国：%s"%str_string.decode('ascii')
9 u"中国：%s"%str_string #unicodedecodeerror: 'ascii' codec can't decode byte 0xe4 in position 0: ordinal not in range(128)

  当str类型字符串和unicode类型字符串混合运算时，python默认会将str类型字符串转化为unicode字符串，由于不知道str类型字符串的编码格式，会使用 sys.getdefaultencoding() ,而默认的defaultencoding一般是ascii，故会出错。

3.2 print中文问题

 如图3.1，python打印变量时，操作系统会对变量进行相应的处理，若变量是str类型，则操作系统直接发送到终端显示，若变量是unicode类型，则操作系统会对变量用sys.stdout.encoding编码对变量encode，若变量中含有sys.stdout.encoding未定义字符，则会出现unicodeencodeerror。编码后字节序列被发送给终端，假若终端设置的编码和str编码不一致，终端就会显示出乱码。

图3.1 print过程

四 最佳实践

  编写python程序时，为避免不同类型字符串混用出现编解码异常，要把编码和解码操作放在程序的最外围来做，程序的核心逻辑统一使用unicode字符类型。下面分别对python2和python3编写了外围编码转换工具类。

  

 1 #python2,unicode和utf-8类型的str互相转换
 2 #file:python2_endecode_helper.py
 3 
 4 # -*- coding: utf-8 -*-
 5 def to_unicode(unicode_or_str):
 6     if isinstance(unicode_or_str, str):
 7         value = unicode_or_str.decode('utf-8')
 8     else:
 9         value = unicode_or_str
10     return value
11 
12 def to_str(unicode_or_str):
13     if isinstance(unicode_or_str, unicode):
14         value = unicode_or_str.encode('utf-8')
15     else:
16         value = unicode_or_str
17     return value
18 
19 if __name__=='__main__':
20     unicode_string = u'中国'
21     value = to_str(unicode_string)
22     print type(value) #<type 'str'>
23     value = to_unicode(value)
24     print type(value) #<type 'unicode'>

 

#python3,str和bytes类型相互转换工具类
#file:python3_endecode_helper.py
def to_str(bytes_or_str):
    if isinstance(bytes_or_str,bytes):
        value = bytes_or_str.decode('utf-8')
    else:
        value = bytes_or_str
    return value

def to_bytes(bytes_or_str):
    if isinstance(bytes_or_str,str):
        value = bytes_or_str.encode('utf-8')
    else:
        value = bytes_or_str
    return value

if __name__=='__main__':
    str_string = u'中国'
    value = to_bytes(str_string)
    print(type(value)) #<class 'bytes'>
    value = to_str(value)
    print(type(value)) #<class 'str'>

 

参考文献 

[1] brett slatkin. effective python[m]. 北京: 机械工业出版社, 2016: 5-7
[2] luciano ramalho. fluent python[m]. 北京: 人民邮电出版社, 2017: 89- 91
[3] jinhaolin. python2编码总结. https://www.cnblogs.com/jinhaolin/p/5128973.html
[4] in355hz. 也谈 python 的中文编码处理. http://in355hz.iteye.com/blog/1860787
[5] 董公子. python中文编码问题：print打印中文异常及显示乱码问题分析与解决. https://blog.csdn.net/qq_26580757/article/details/79922043