Categories
程式開發

Python中的bytes、str以及unicode区别


从Python发展历史谈起

Python3和Python2表示字符序列的方式有所不同。

Python3字符序列的两种表示为byte和str。前者的实例包含原始的8位值,即原始的字节;后者的实例包括Unicode字符。Python2字符序列的两种表示为str和unicode。与Python3不同的是,str实例包含原始的8位值;而unicode的实例,则包含Unicode字符。

类型转换

把Unicode字符表示为二进制数据有许多方法。做常见的编码方式是UTF-8。但是python3的str实例和Python2的unicode实例都没有和特定的二进制编码形式相关联。要想把Unicode字符转换为二进制数据,就必须使用encode方法。要想把二进制数据转换成Unicode字符,则必须使用decode方法。

因此,在编写大型复杂的Python程序的时候,一般把编码和解码的相关操作放到最外层来做。程序核心部分使用Unicode字符类型,也就是Python3的str以及Python2的unicode,而且不要对字符编码做任何假设。这种办法既可以让程序接受多种类型的文本编码,又可以保证输出的文本信息只采用一种编码形式(最好是UTF-8),灵活性很高。

所以,可以编写两个辅助函数,以便对序列进行转换,使得转换后的输入数据符合开发者预期。

对于Python3

在Python3中,我们需要编写一个接收str或bytes,并总是返回str的方法:

def to_str(bytes_or_str):
if isinstance(bytes_or_str, bytes):
return bytes_or_str.decode('utf-8')
return bytes_or_str # instance of str

以及一个总是返回bytes的方法:

def to_bytes(bytes_or_str):
if isinstance(bytes_or_str, str):
return bytes_or_str.encode('utf-8')
return bytes_or_str # instance of bytes

对于Python2

在Python2中,我们需要编写一个接收str或unicode,并总是返回unicode的方法:

def to_unicode(unicode_or_str):
if isinstance(unicode_or_str, str):
return unicode_or_str.decode('utf-8')
return unicode_or_str # instance of unicode

以及一个总是返回str的方法:

def to_str(unicode_or_str):
if isinstance(unicode_or_str, unicode):
return unicode_or_str.encode('utf-8')
return unicode_or_str # instance of str

面临的问题

在Python中使用原始8位值与Unicode字符时,通常有两个问题需要注意。

第一个问题

第一个问题通常出现在Python2中,如果你用的是Python3,可以暂且忽略这个问题。

如果str只包含7位的ASCII字符,那么unicode和str实例似乎就成了同一种类型。

可以用+操作符把str与unicode连接起来可以进行比较操作比如, ==、!=、

这些行为一位着,只处理7位的ASCII的情况下,如果某个函数接受str,那么可以给它传入unicode;如果某个函数接收unicode,也可以传入str。而在Python3中,bytes和str实例绝对不会等价,更不能进行比较,即使是空字符串也不可以,因为这是完全不同的两个类型。所以,在传入字符序列的时候必须留意其类型。

第二个问题

第二个问题可能会出现在Python3上,也是经常遇到的一些问题。

如果通过内置的open函数获取讴歌文件句柄,那么需要注意的是,该句柄默认会采用UTF-8编码格式来操作文件。而在Python2中,文件操作的默认格式是二进制的,这可能会导致程序出现奇怪的错误。

例如,现在要向文件中随机写入二进制数据,下面这个写法在Python2中不会有什么问题,但在Python3中会有异常,提示TypeError: write() argument must be str, not bytes

with open('./random.bin', 'w') as f:
f.write(os.urandom(10))

>>> TypeError: write() argument must be str, not bytes

发生上述问题的原因是Python3给open函数添加了encode参数,而这个新参数的默认值是UTF-8。这样一来,系统就会要求开发者必须传入包含Unicode字符的str实例,而不是包含二进制数据的bytes实例。

为了解决这个问题,我们必须用二进制写入模式,即将原来的’w’修改为’wb’,这样一来就可以同时适配Python2和Python3。从文件中读取数据的时候也会有类似的问题,解决方法与写入类似,使用’rb’模式打开文件,而不是’r’模式。

总结

在Python3中,bytes是一种包含8位值的序列,str是一种包含Unicode字符的序列。开发者不用比较操作来混合处理。在Python2中,str是一种包含8位值的序列,unicode是一种包含Unicode字符的序列。如果str只有7位ASCII字符,那么可以进行比较运算以及连接操作。在对输入的数据操作之前,使用辅助函数来保证字符序列的类型与开发者的期望一致。从文件中读取二进制数据,或向其中写入二进制数据时,总应该以’rb’或’wb’等二进制模式来开启文件。

参考阅读:

《Effective Python》