ghost
参考
Alex-金角大王在知乎上关于python编码的回答，链接：https://www.zhihu.com/question/31833164/answer/381137073
这一篇总结的标题之所以是「ghost」鬼魂，是因为这个问题就像「ghost」一样，随时会出现在我的代码，我的程序中，时不时会冒出来，然后需要解决。
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 0: invalid start byte
UnicodeDecodeError: 'gbk' codec can't decode byte 0x80 in position 205: illegal multibyte sequence"
首先编码有很多种例如：
- ASCII 占1个字节，只支持英文
- GB2312 占2个字节，支持6700+汉字
- GBK GB2312的升级版，支持21000+汉字
- Shift-JIS 日本字符
- ks_c_5601-1987 韩国编码
- TIS-620 泰国编码
虽然每个国家都有自己的编码，但是这种编码会有局限性！！！！就是无法对应其他国家的字符。
Unicode编码出现，Unicode 2-4字节 已经收录136690个字符，并还在一直不断扩张中...
Unicode 起到了2个作用：
- 直接支持全球所有语言，每个国家都可以不用再使用自己之前的旧编码了，用unicode就可以了。(就跟英语是全球统一语言一样)
- unicode包含了跟全球所有国家编码的映射关系（这个很关键，就如unicode 知道gbk 编码是0100101010对应unicode 里面的啥编码）
虽然Unicode解决了字符和二进制的对应关系，但是使用unicode表示一个字符，太浪费空间！！！！例如：利用unicode表示“Python”需要12个字节才能表示，比原来ASCII表示增加了1倍。
为了解决存储和网络传输的问题，出现了Unicode Transformation Format，学术名UTF，即：对unicode中的进行转换，以便于在存储和网络传输时可以节省空间!
UTF-8： 使用1、2、3、4个字节表示所有字符；优先使用1个字符、无法满足则使增加一个字节，最多4个字节。英文占1个字节、欧洲语系占2个、东亚占3个，其它及特殊字符占4个
UTF-16： 使用2、4个字节表示所有字符；优先使用2个字节，否则使用4个字节表示。
UTF-32： 使用4个字节表示所有字符；
总结：UTF 是为unicode编码 设计 的一种 在存储 和传输时节省空间的编码方案。
字符在硬盘上的存储
无论以什么编码在内存里显示字符，存到硬盘上都是2进制。
ascii编码(美国)：
l 0b1101100
o 0b1101111
v 0b1110110
e 0b1100101
GBK编码(中国)：
老 0b11000000 0b11001111
男 0b11000100 0b11010000
孩 0b10111010 0b10100010
Shift_JIS编码(日本)：
私 0b10001110 0b10000100
は 0b10000010 0b11001101
ks_c_5601-1987编码(韩国)：
나 0b10110011 0b10101010
는 0b10110100 0b11000010
TIS-620编码(泰国)：
ฉัน 0b10101001 0b11010001 0b10111001
要注意的是，存到硬盘上时是以何种编码存的，再从硬盘上读出来时，就必须以何种编码读
编码的转换
请问：中国的电脑上有一个文件用的GBK 编码，而不是UTF-8，要放在歪果仁的电脑上（没有GBK编码）怎么办？
两个对策：
- 让歪果仁的电脑上都装上gbk编码
- 把你的文件编码转成以utf-8编码
反正这两种办法都很费劲
unicode其中一个功能是其包含了跟全球所有国家编码的映射关系，意思就是，你写的是gbk的“路飞学城”,但是unicode能自动知道它在unicode中的“路飞学城”的编码是什么
Python3的执行过程
python3 执行代码的过程
- 解释器找到代码文件，把代码字符串按文件头定义的编码加载到内存，转成unicode
- 把代码字符串按照语法规则进行解释，
- 所有的变量字符都会以unicode编码声明
UTF-8 --> decode 解码 --> Unicode
Unicode --> encode 编码 --> GBK / UTF-8
#在python2中
#_*_coding:utf-8_*_
s = '路飞学城'
print s
s2 = s.decode('utf-8')
print s2
print type(s2)
输出：
乱码
路飞学城
unicode
# 在python2中
#_*_coding:utf-8_*_
s = '路飞学城'
print s
s2 = s.decode('utf-8')
s3 = s2.encode('GBK')
print s3
print type(s3)
输出：
乱码
路飞学城
str
所以
- utf-8可以 decode 解码成unicode
- unicode 也可以 encode 编码成 gbk
