正則表達(dá)式re.sub替換不完整的問(wèn)題及完整解決方案

title: 正則表達(dá)式re.sub替換不完整的問(wèn)題現(xiàn)象及其根本原因

toc: true
comment: true
date: 2018-08-27 21:48:22
tags: ["Python", "正則表達(dá)式"]
category: ["Python"]
---

問(wèn)題描述

問(wèn)題的起因來(lái)自于一段正則替換。為了從一段HTML代碼里面提取出正文，去掉所有的HTML標(biāo)簽和屬性，可以寫(xiě)一個(gè)Python函數(shù)：

import re
def remove_tag(html):
 text = re.sub('.*?>', '', html, re.S)
 return text

這段代碼的使用了正則表達(dá)式的替換功能re.sub。這個(gè)函數(shù)的第一個(gè)參數(shù)表示需要被替換的內(nèi)容的正則表達(dá)式，由于HTML標(biāo)簽都是使用尖括號(hào)包起來(lái)的，因此使用.*?>就可以匹配所有xxx yyy="zzz">和/xxx>。

第二個(gè)參數(shù)表示被匹配到的內(nèi)容將要被替換成什么內(nèi)容。由于我需要提取正文，那么只要把所有HTML標(biāo)簽都替換為空字符串即可。第三個(gè)參數(shù)就是需要被替換的文本，在這個(gè)例子中是HTML源代碼段。

至于re.S，在4年前的一篇文章中我講到了它的用法：https://www.jb51.net/article/146384.htm

現(xiàn)在使用一段HTML代碼來(lái)測(cè)試一下：

import re
def remove_tag(html):
 text = re.sub('.*?>', '', html, re.S)
 return text
source_1 = '''
div class="content">今天的主角是a href="xxx">kingname/a>，我們掌聲歡迎！/div>
'''
text = remove_tag(source_1)
print(text)

運(yùn)行效果如下圖所示，功能完全符合預(yù)期

再來(lái)測(cè)試一下代碼中有換行符的情況：

import re
def remove_tag(html):
 text = re.sub('.*?>', '', html, re.S)
 return text
source_2 = '''
div class="content">
 今天的主角是
 a href="xxx">kingname/a>
 ，我們掌聲歡迎！
/div>
'''
text = remove_tag(source_2)
print(text)

運(yùn)行效果如下圖所示，完全符合預(yù)期。

經(jīng)過(guò)測(cè)試，在絕大多數(shù)情況下，能夠從的HTML代碼段中提取出正文。但也有例外。

例外情況

有一段HTML代碼段比較長(zhǎng)，內(nèi)容如下：

img>
/span>span>遇見(jiàn)kingname/span>/a >a >span class='url-icon'> img '>/span>span >溫柔/span>/a >a >span >#青南#/span>/a > br />就在這里…br />我的小侯爺呢？？？

運(yùn)行效果如下圖所示，最后兩個(gè)HTML標(biāo)簽替換失敗。

一開(kāi)始我以為是HTML里面的空格或者引號(hào)引起的問(wèn)題，于是我把HTML代碼進(jìn)行簡(jiǎn)化：

img>/span>span>遇見(jiàn)kingname/span>/a>a>span>img>/span>span>溫柔/span>/a>a>span>#青南#/span>/a>br/>就在這里…br/>我的小侯爺呢

問(wèn)題依然存在，如下圖所示。

而且更令人驚訝的是，如果把第一個(gè)標(biāo)簽img>刪了，那么替換結(jié)果里面就少了一個(gè)標(biāo)簽，如下圖所示。

實(shí)際上，不僅僅是刪除第一個(gè)標(biāo)簽，前面任意一個(gè)標(biāo)簽刪了都可以減少結(jié)果里面的一個(gè)標(biāo)簽。如果刪除前面兩個(gè)或以上標(biāo)簽，那么結(jié)果就正常了。

答疑解惑

這個(gè)看起來(lái)很奇怪的問(wèn)題，根本原因在re.sub的第4個(gè)參數(shù)。從函數(shù)原型可以看到：

def sub(pattern, repl, string, count=0, flags=0)

第四個(gè)參數(shù)是count表示替換個(gè)數(shù)，re.S如果要用，應(yīng)該作為第五個(gè)參數(shù)。所以如果把remove_tag函數(shù)做一些修改，那么結(jié)果就正確了:

def remove_tag(html):
 text = re.sub('.*?>', '', html, flags=re.S)
 return text

那么問(wèn)題來(lái)了，把re.S放在count的位置，為什么代碼沒(méi)有報(bào)錯(cuò)？難道re.S是數(shù)字？實(shí)際上，如果打印一下就會(huì)發(fā)現(xiàn)，re.S確實(shí)可以作為數(shù)字：

>>> import re
>>> print(int(re.S))
16

現(xiàn)在回頭數(shù)一數(shù)出問(wèn)題的HTML代碼，發(fā)現(xiàn)最后多出來(lái)的兩個(gè)br>標(biāo)簽，剛剛好是第17和18個(gè)標(biāo)簽，而由于count填寫(xiě)的re.S可以當(dāng)做16來(lái)處理，那么Python就會(huì)把前16個(gè)標(biāo)簽替換為空字符串，從而留下最后兩個(gè)。

至此問(wèn)題的原因搞清楚了。

這個(gè)問(wèn)題沒(méi)有被及早發(fā)現(xiàn)，有以下幾個(gè)原因：

被替換的HTML代碼是代碼段，大多數(shù)情況下HTML標(biāo)簽不足16個(gè)，所以問(wèn)題被隱藏。re.S是一個(gè)對(duì)象，但也是數(shù)字，count接收的參數(shù)剛好也是數(shù)字。在很多編程語(yǔ)言里面，常量都會(huì)使用數(shù)字，然后用一個(gè)有意義的大寫(xiě)字母來(lái)表示。re.S 處理的情況是div \n> 而不是div>\n/div>但測(cè)試的代碼段標(biāo)簽都是第二種情況，所以在代碼段里面實(shí)際上加不加re.S效果是一樣的。

補(bǔ)充：下面在給大家介紹下正則表達(dá)式 re.sub()替換功能

re.sub()替換功能

re.sub是個(gè)正則表達(dá)式方面的函數(shù)，用來(lái)實(shí)現(xiàn)通過(guò)正則表達(dá)式，實(shí)現(xiàn)比普通字符串的replace更加強(qiáng)大的替換功能。簡(jiǎn)單的替換功能可以使用replace()實(shí)現(xiàn)。

def main():
 text = '123, word!'
 text1 = text.replace('123', 'Hello')
 print(text1)
if __name__ == '__main__':
 main()
# Hello, wold!

如果通過(guò)re.sub(0函數(shù)則可以匹配任意的數(shù)字，并將其替換：

import re
def main():
 content = 'abc124hello46goodbye67shit'
 list1 = re.findall(r'\d+', content)
 print(list1)
 mylist = list(map(int, list1))
 print(mylist)
 print(sum(mylist))
 print(re.sub(r'\d+[hg]', 'foo1', content))
 print()
 print(re.sub(r'\d+', '456654', content))
if __name__ == '__main__':
 main()
# ['124', '46', '67']
# [124, 46, 67]
# 237
# abcfoo1ellofoo1oodbye67shit
# abc456654hello456654goodbye456654shit

總結(jié)

以上所述是小編給大家介紹的正則表達(dá)式re.sub替換不完整的問(wèn)題及完整解決方案，希望對(duì)大家有所幫助，如果大家有任何疑問(wèn)請(qǐng)給我留言，小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)腳本之家網(wǎng)站的支持！