Python編解碼問題及文本文件處理方法詳解

編解碼器

在字符與字節(jié)之間的轉(zhuǎn)換過程稱為編解碼，Python自帶了超過100種編解碼器，比如：

• ascii（英文體系）
• gb2312（中文體系）
• utf-8（全球通用）
• latin1
• utf-16
  

編解碼器一般有多個(gè)別名，比如utf8、utf-8、U8。

這些編解碼器可以傳給open()、str.encode()、bytes.decode()等函數(shù)的encoding參數(shù)。

UnicodeEncodeError

多數(shù)非UTF編解碼器（比如cp437）只能處理Unicode字符的一小部分子集。把字符轉(zhuǎn)換成字節(jié)時(shí)，如果目標(biāo)編碼中沒有定義這個(gè)字符，那么就會(huì)拋出UnicodeEncodeError異常。

處理方式一：使用utf8編碼。

處理方式二：添加errors參數(shù)：

# 忽略 如b'So Paulo'
city.encode("cp437", errors="ignore")
# 替換為? 如b'S?o Paulo'
city.encode("cp437", errors="replace")
# 替換為XML實(shí)體 如b'S#227;o Paulo'
city.encode("cp437", errors="xmlcharrefreplace")

UnicodeDecodeError

把字節(jié)轉(zhuǎn)換為字符時(shí)，遇到無(wú)法轉(zhuǎn)換的字節(jié)時(shí)會(huì)拋出UnicodeDecodeError異常。這是因?yàn)椴皇敲總€(gè)字節(jié)都包含有效的ASCII字符，也不是每個(gè)字符都是有效的UTF-8。

處理方式也有兩種，跟上面一樣。

SyntaxError

Python3默認(rèn)使用UTF-8編碼源碼。如果加載的.py模塊中包含UTF-8之外的數(shù)據(jù)，而且沒有聲明編碼，就會(huì)拋出SyntaxError異常。

處理方式是在文件頂部添加coding注釋：

# coding: cp1252

但是這個(gè)辦法并不好，最好還是找到這些報(bào)錯(cuò)字符，把它們轉(zhuǎn)換為UTF-8。

從網(wǎng)上直接復(fù)制代碼到IDE中執(zhí)行經(jīng)常會(huì)報(bào)這個(gè)錯(cuò)。

處理文本文件

Unicode三明治：

在程序中盡量少接觸二進(jìn)制，把字節(jié)解碼為字符，只處理字符串對(duì)象。比如在Django中，view應(yīng)該輸出Unicode字符串，Django會(huì)負(fù)責(zé)把響應(yīng)數(shù)據(jù)編碼成字節(jié)序列，而且默認(rèn)使用UTF-8編碼。

Python內(nèi)置的open函數(shù)就是采用了這個(gè)原則，在讀取文件時(shí)會(huì)做必要的解碼，以文本模式寫入文件時(shí)會(huì)做必要的編碼。

文件亂碼

Windows更容易遇到這個(gè)問題，因?yàn)閃indows并不是統(tǒng)一的UTF-8編碼，比如在Windows10中：

>>> open("cafe.txt", "w", encoding="utf8").write("café")
4
>>> open("cafe.txt").read()
'caf茅'

寫入文件時(shí)指定了utf8，但是讀取文件沒有指定，Python就會(huì)使用系統(tǒng)默認(rèn)編碼：

>>> import locale
# 打開文件用這個(gè)
# 如果沒有設(shè)置PYTHONENCODING環(huán)境變量，sys.stdout/stdin/stderr也用這個(gè)
>>> locale.getpreferredencoding()
'cp936'

cp936把最后一個(gè)字節(jié)解碼成了茅而不是é。

>>> import sys
# 二進(jìn)制數(shù)據(jù)和字符串之間轉(zhuǎn)換用這個(gè)
>>> sys.getdefaultencoding()
'utf-8'

>>> import sys
# 文件名（不是文件內(nèi)容）用這個(gè)
>>> sys.getfilesystemencoding()
'utf-8'

GNU/Linux或Mac OS X不會(huì)遇到這個(gè)問題，因?yàn)槎嗄陙?lái)它們的默認(rèn)編碼都是UTF-8。

解決辦法是一定不能依賴系統(tǒng)默認(rèn)編碼，打開文件時(shí)始終應(yīng)該明確傳入encoding=參數(shù)，因?yàn)椴煌脑O(shè)備使用的默認(rèn)編碼可能不同，有時(shí)隔一天也會(huì)發(fā)生變化。

小結(jié)

本文介紹了Python的編解碼器，以及可能出現(xiàn)的UnicodeEncodeError、UnicodeDecodeError、SyntaxError問題，然后給出了Python的open函數(shù)處理文本文件的原則，最后對(duì)Windows容易出現(xiàn)的文件亂碼問題進(jìn)行了說明。

到此這篇關(guān)于Python編解碼問題及文本文件處理方法的文章就介紹到這了,更多相關(guān)Python編解碼及文本處理內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

參考資料：

《流暢的Python》