python编码问题

    unicode字符编码由国际Unicode协会编制，收录了全世界所有语言文字中的字符，是一种跨平台的字符编码，有16位和32位编码两种方案。
    java语言的字符集采用16位Unicode字符编码，其前128个字符与ASCII字符集相同，之后是其他语言文字，如拉丁语、希腊语、汉字等。
    java的字符类型采用的是 Unicode 编码方案，每个 Unicode 码占用16个bit位。char型采用Unicode编码方案，每个Unicode码占 用 2字节内存空间，这样，无论是中文字符还是英文字符，都是占 用 2 字节内存空间，所占字节与具体硬件环境无关。

在python中，在处理字符过程中，经常遇到这种报错 UnicodeEncodeError: 'ascii' codec can't encode characters in position 。

对于python编码，python2与python3采用的方案是不一样的。

python2	python3
unicode	byte
str	str

python2

mac pro上

$ python 
Python 2.7.14 (default, Mar  1 2018, 19:24:37) 
[GCC 4.2.1 Compatible Apple LLVM 9.0.0 (clang-900.0.39.2)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import sys
>>> sys.stdout.encoding
'UTF-8'
>>> 

ubuntu服务器上

[email protected]:/home/pythonTest# python
Python 2.7.12 (default, Dec  4 2017, 14:50:18)
[GCC 5.4.0 20160609] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import sys
>>> sys.stdout.encoding
'ANSI_X3.4-1968'
>>>

test.py

#coding=utf-8
import sys
print sys.getdefaultencoding()
a="测试"
b=u"测试"
print a
print b

在mac中执行，ok。
ubuntu中执行

$ python test.py
ascii
测试
Traceback (most recent call last):
  File "test.py", line 7, in <module>
    print b
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)

解决办法：
第一种办法：PYTHONIOENCODING=utf-8 python test.py
第二种办法：

#coding=utf-8
import sys
print sys.getdefaultencoding()
a="测试"
b=u"测试"
print a
print b.encode('utf-8')

另外还看到一种解决办法，亲自尝试过，没行通，可能是因为是服务器，我重新ssh，没有奏效。
在linux，编辑 ~/.bashrc文件（'~'指的是用户登录后的默认目录），添加一行：
export LANG="en_US.UTF-8"
然后在命令行控制台中执行source ～/.bashrc
保存退出后重新打开命令行控制台

还有这种办法，在开头加上也没有奏效

# -*- coding: utf-8 -*-
import sys
reload(sys)
sys.setdefaultencoding( "utf-8" )

综合所述

coding=utf-8

encode('utf-8')
即可

python3

python3默认使用的是UTF-8编码。最终的print输出，还跟系统环境编码有关。
如我的笔记本，mac pro上

$ python3
Python 3.6.4 (default, Mar  9 2018, 23:15:03) 
[GCC 4.2.1 Compatible Apple LLVM 9.0.0 (clang-900.0.39.2)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import sys
>>> sys.stdout.encoding
'UTF-8'
>>> 

在另外的一台ubuntu服务器上

[email protected]:/home/pythonTest# python3
Python 3.5.2 (default, Nov 23 2017, 16:37:01)
[GCC 5.4.0 20160609] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import sys
>>> sys.stdout.encoding
'ANSI_X3.4-1968'
>>>

test_python3.py

#coding=utf-8
import sys
import codecs
print(sys.getdefaultencoding())
a="测试"
b=u"测试"
print(a)
print(b)

在mac中执行，ok。
ubuntu中执行

$ python3 test_python3.py
utf-8
Traceback (most recent call last):
  File "test_python3.py", line 8, in <module>
    print(a)
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)

解决办法
第一种办法：重新定义标准输出

#coding=utf-8
import sys
import codecs
sys.stdout = codecs.getwriter("utf-8")(sys.stdout.detach())

第二种办法：
或使用此命令运行PYTHONIOENCODING=utf-8 python3 test_python3.py

对于文件读写，经常一个文件中会同时出现中文、英文等，推荐使用codecs包。

#!/usr/bin/python3
#coding:utf-8
import codecs
fw = codecs.open('test1.txt','w','utf-8')
fw.write(string_content)
fw.close()

在测试时候，仅仅在pycharm中测试输出，往往是不可靠的，还需要在控制台、测试环境中执行测试。

参考文章
1.https://www.cnblogs.com/litaozijin/p/6416133.html
2.https://www.cnblogs.com/qhlblog/p/8622109.html