在通過scrapy框架進(jìn)行某些網(wǎng)站數(shù)據(jù)爬取的時(shí)候，往往會(huì)碰到頁面動(dòng)態(tài)數(shù)據(jù)加載的情況發(fā)生，如果直接使用scrapy對(duì)其url發(fā)請(qǐng)求，是絕對(duì)獲取不到那部分動(dòng)態(tài)加載出來的數(shù)據(jù)值。但是通過觀察我們會(huì)發(fā)現(xiàn)，通過瀏覽器進(jìn)行url請(qǐng)求發(fā)送則會(huì)加載出對(duì)應(yīng)的動(dòng)態(tài)加載出的數(shù)據(jù)。那么如果我們想要在scrapy也獲取動(dòng)態(tài)加載出的數(shù)據(jù)，則必須使用selenium創(chuàng)建瀏覽器對(duì)象，然后通過該瀏覽器對(duì)象進(jìn)行請(qǐng)求發(fā)送，獲取動(dòng)態(tài)加載的數(shù)據(jù)值。本文重點(diǎn)給大家介紹selenium在scrapy中的使用，具體內(nèi)容如下所示：
使用目的
爬取網(wǎng)易新聞國(guó)內(nèi)、國(guó)際、軍事、航空4個(gè)版塊的新聞。在測(cè)試中發(fā)現(xiàn)各版塊的新聞是動(dòng)態(tài)加載的，如果直接爬取無法獲取，使用selenium幫助獲取此部分?jǐn)?shù)據(jù)。
代碼
spider
import scrapy
from selenium import webdriver
from wangyiPro.items import WangyiproItem
class WangyiSpider(scrapy.Spider):
name = 'wangyi'
# allowed_domains = ['www.xxx.com']
start_urls = ['https://news.163.com/']
model_url = []
hro = webdriver.Chrome()
def parse(self, response):
# 從所有版塊中篩選出所需要下載的4個(gè)版塊
li_list = response.xpath('/html/body/div[1]/div[1]/div[2]/div[2]/div[2]/div[2]/div/ul/li')
indexs = [3,4,6,7]
for index in indexs:
model_li = li_list[index]
model_list = model_li.xpath('./a/@href').extract_first()
self.model_url.append(model_list)
for url in self.model_url:
yield scrapy.Request(url=url,callback=self.parse_model)
# 數(shù)據(jù)解析：新聞標(biāo)題+新聞詳情頁的url（動(dòng)態(tài)加載數(shù)據(jù)）
def parse_model(self,response):
# 直接對(duì)response解析無法獲取該數(shù)據(jù)（動(dòng)態(tài)加載數(shù)據(jù)）
# 無法拿到動(dòng)態(tài)加載數(shù)據(jù)返回的響應(yīng)數(shù)據(jù)就不足
# 使用中間件修改不滿足需求的響應(yīng)對(duì)象中的響應(yīng)數(shù)據(jù)，將其改為包含動(dòng)態(tài)加載數(shù)據(jù)的響應(yīng)數(shù)據(jù)
div_list = response.xpath('/html/body/div/div[3]/div[4]/div[1]/div[1]/div/ul/li/div/div')
for div in div_list:
title = div.xpath('./div/div[1]/h3/a/text()').extract_first()
new_url_detail = div.xpath('./div/div[1]/h3/a/@href').extract_first()
if new_url_detail:
item = WangyiproItem()
item['title'] = title
yield scrapy.Request(url=new_url_detail,callback=self.parse_detail,meta={'item':item})
def parse_detail(self,response):
# 返回的列表，需要將其轉(zhuǎn)換為字符串
content = response.xpath('/html/body/div[3]/div[1]/div[3]/div[2]/p/text()').extract()
content = ''.join(content)
item = response.meta['item']
item['content'] = content
yield item
# 重寫爬蟲類父類方法，該方法在爬蟲程序執(zhí)行結(jié)束后立即執(zhí)行
def closed(self,spider):
# 打開selenium需要關(guān)閉
self.hro.quit()
middlewares
from time import sleep
from scrapy.http import HtmlResponse#scrapy封裝好的響應(yīng)類
class WangyiproDownloaderMiddleware:
def process_request(self, request, spider):
return None
# 攔截所有的響應(yīng)對(duì)象
# 整個(gè)工程發(fā)起的請(qǐng)求：1+4+n 對(duì)應(yīng)相同的響應(yīng)
def process_response(self, request, response, spider):
# 從所有攔截對(duì)象中找到4個(gè)需修改的響應(yīng)對(duì)象
if request.url in spider.model_url:
hro = spider.hro
hro.get(request.url)
sleep(2)
# 網(wǎng)頁下拉到底，獲取更多動(dòng)態(tài)加載數(shù)據(jù)
hro.execute_script('window.scrollTo(0,document.body.scrollHeight)')
sleep(1)
page_text = hro.page_source
# response.text = page_text
# 返回一個(gè)新的響應(yīng)對(duì)象
return HtmlResponse(url=request.url,body=page_text,encoding='utf-8',request=request)
# 如果不是需要修改的響應(yīng)數(shù)據(jù)，不做修改
else:
return response
def process_exception(self, request, exception, spider):
pass
效果
總結(jié)
-
hro = webdriver.Chrome() 我是直接將Chromedriver寫入配置文件，所以直接實(shí)例化對(duì)象即可，如果沒有寫入配置文件，寫為hro = webdriver.Chrome(executable_path='絕對(duì)路徑')。嘗試過將Chromedriver放到pycharm的文件下寫入相對(duì)路徑，沒有成功。
- 使用selenium在結(jié)束后需要關(guān)閉，可以改寫爬蟲類父類方法closed()
- settings里修改三件套并且打開下載中間件和items
以上就是selenium如何在scrapy中的使用的詳細(xì)內(nèi)容，更多關(guān)于scrapy中使用selenium的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！
您可能感興趣的文章:- Scrapy+Selenium自動(dòng)獲取cookie爬取網(wǎng)易云音樂個(gè)人喜愛歌單
- 如何在scrapy中集成selenium爬取網(wǎng)頁的方法
- scrapy與selenium結(jié)合爬取數(shù)據(jù)(爬取動(dòng)態(tài)網(wǎng)站)的示例代碼
- scrapy結(jié)合selenium解析動(dòng)態(tài)頁面的實(shí)現(xiàn)
- scrapy利用selenium爬取豆瓣閱讀的全步驟
- python網(wǎng)絡(luò)爬蟲 Scrapy中selenium用法詳解
- Scrapy基于selenium結(jié)合爬取淘寶的實(shí)例講解
