主頁(yè) > 知識(shí)庫(kù) > python使用XPath解析數(shù)據(jù)爬取起點(diǎn)小說網(wǎng)數(shù)據(jù)

python使用XPath解析數(shù)據(jù)爬取起點(diǎn)小說網(wǎng)數(shù)據(jù)

熱門標(biāo)簽:地圖標(biāo)注的意義點(diǎn) 房產(chǎn)電銷外呼系統(tǒng) 地圖制圖標(biāo)注位置改變是移位嗎 地圖標(biāo)注微信發(fā)送位置不顯示 315電話機(jī)器人廣告 南京銷售外呼系統(tǒng)軟件 上海機(jī)器人外呼系統(tǒng)哪家好 浙江電銷卡外呼系統(tǒng)好用嗎 蓋州市地圖標(biāo)注

1. xpath 的介紹

xpath是一門在XML文檔中查找信息的語(yǔ)言

優(yōu)點(diǎn):

  • 可以在xml中找信息
  • 支持HTML的查找
  • 可以通過元素和屬性進(jìn)行導(dǎo)航

但是Xpath需要依賴xml的庫(kù),所以我們需要去安裝lxml的庫(kù)。

安裝lxml庫(kù)

我們先要安裝lxml的庫(kù),直接在pycharm里安裝即可:

XML的樹形結(jié)構(gòu):

元素-元素-屬性-文本

使用XPath選取節(jié)點(diǎn):

  • nodename: 選取此節(jié)點(diǎn)的所有節(jié)點(diǎn)
  • /從根節(jié)點(diǎn)選擇
  • // 從匹配選擇的當(dāng)前節(jié)點(diǎn)選擇文檔中的節(jié)點(diǎn),而不考慮他們的位置
  • . 選擇當(dāng)前節(jié)點(diǎn)
  • .. 選擇當(dāng)前節(jié)點(diǎn)的父節(jié)點(diǎn)(此處是兩個(gè)點(diǎn),瀏覽器默認(rèn)顯示3個(gè)..)
  • /text() 獲取當(dāng)前路徑下的文本內(nèi)容
  • /@xxx 提取當(dāng)前路徑下標(biāo)簽的屬性值

選取節(jié)點(diǎn)的表達(dá)式舉例:

2. 爬取起點(diǎn)小說網(wǎng)

在瀏覽器中獲取書名和作者測(cè)試

在谷歌里安裝一個(gè)xpath的插件

在html中查找book-mid-info

我們要獲取小說的名稱: 也就是 //div[@class='book-mid-info']/h4/a/txt()

再加一個(gè)獲取作者:

使用xpath獲取起點(diǎn)小說網(wǎng)的數(shù)據(jù)

# 作者:互聯(lián)網(wǎng)老辛
# 開發(fā)時(shí)間:2021/4/8/0008 8:24

import requests
from lxml import etree
url="https://www.qidian.com/rank/yuepiao"
headers={'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400'}
#發(fā)送請(qǐng)求
resp=requests.get(url,headers)
e=etree.HTML(resp.text) #類型轉(zhuǎn)換,把str轉(zhuǎn)變?yōu)閏lass 'lxml.etree._ELement
print(type(e))
names=e.xpath('//div[@class="book-mid-info"]/h4/a/text()')
authors=e.xpath('//p[@class="author"]/a[1]/text()')
print(names)
print(authors)
#名稱和作者對(duì)應(yīng)
for name,authors in zip(names,authors):
    print(name,":",authors)

以上就是python使用XPath解析數(shù)據(jù)爬取起點(diǎn)小說網(wǎng)數(shù)據(jù)的詳細(xì)內(nèi)容,更多關(guān)于python XPath解析數(shù)據(jù)爬取起點(diǎn)小說網(wǎng)的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!

您可能感興趣的文章:
  • Python爬蟲之用Xpath獲取關(guān)鍵標(biāo)簽實(shí)現(xiàn)自動(dòng)評(píng)論蓋樓抽獎(jiǎng)(二)
  • python利用xpath爬取網(wǎng)上數(shù)據(jù)并存儲(chǔ)到django模型中
  • selenium與xpath之獲取指定位置的元素的實(shí)現(xiàn)
  • python Xpath語(yǔ)法的使用
  • Python自動(dòng)化xpath實(shí)現(xiàn)自動(dòng)搶票搶貨
  • python selenium xpath定位操作
  • Python爬蟲必備之XPath解析庫(kù)

標(biāo)簽:陽(yáng)泉 臨汾 貴州 雙鴨山 日照 克拉瑪依 赤峰 金華

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《python使用XPath解析數(shù)據(jù)爬取起點(diǎn)小說網(wǎng)數(shù)據(jù)》,本文關(guān)鍵詞  python,使用,XPath,解析,數(shù)據(jù),;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題,煩請(qǐng)?zhí)峁┫嚓P(guān)信息告之我們,我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無(wú)關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《python使用XPath解析數(shù)據(jù)爬取起點(diǎn)小說網(wǎng)數(shù)據(jù)》相關(guān)的同類信息!
  • 本頁(yè)收集關(guān)于python使用XPath解析數(shù)據(jù)爬取起點(diǎn)小說網(wǎng)數(shù)據(jù)的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章