主頁 > 知識庫 > 快速一鍵生成Python爬蟲請求頭

快速一鍵生成Python爬蟲請求頭

熱門標簽:400電話申請資格 地圖地圖標注有嘆號 阿里電話機器人對話 正安縣地圖標注app 舉辦過冬奧會的城市地圖標注 電銷機器人系統(tǒng)廠家鄭州 遼寧智能外呼系統(tǒng)需要多少錢 qt百度地圖標注 螳螂科技外呼系統(tǒng)怎么用

今天介紹個神奇的網(wǎng)站!堪稱爬蟲偷懶的神器!

我們在寫爬蟲,構(gòu)建網(wǎng)絡請求的時候,不可避免地要添加請求頭( headers ),以 mdn 學習區(qū)為例,我們的請求頭是這樣的:

一般來說,我們只要添加 user-agent 就能滿足絕大部分需求了,Python 代碼如下:

import requests

headers = {
 #'authority': 'developer.mozilla.org',
 #'pragma': 'no-cache',
 #'cache-control': 'no-cache',
 #'upgrade-insecure-requests': '1',
 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 YaBrowser/19.7.0.1635 Yowser/2.5 Safari/537.36',
 #'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3',
 #'accept-encoding': 'gzip, deflate, br',
 #'accept-language': 'zh-CN,zh-TW;q=0.9,zh;q=0.8,en-US;q=0.7,en;q=0.6',
 #'cookie': 你的cookie,
}

response = requests.get('https://developer.mozilla.org/zh-CN/docs/learn', headers=headers)

但是有些請求,我們要把特定的 headers 參數(shù)添加上才能獲得正確的網(wǎng)絡響應,不知道哪個參數(shù)是必要的情況下,就要先把所有參數(shù)都添加上,再逐個排除。

但是手動復制粘貼 headers 字典里的每一個鍵值對太費事了

一個不那么方便的解決方案:

用正則表達式或者直接字符串替換,把 headers 字符串直接轉(zhuǎn)化為字典,封裝成函數(shù)方便以后反復調(diào)用。

有的人喜歡用這種方法,每次復制headers信息,然后調(diào)用自己封裝好的函數(shù),但我覺得還是挺麻煩的。

那么還有沒有快速一鍵生成 Python 爬蟲請求頭的方法呢?
這里給大家介紹兩個:

  • 網(wǎng)站在線轉(zhuǎn)換
  • Postman

實戰(zhàn)演練

抓取網(wǎng)站:https://developer.mozilla.org...

網(wǎng)站在線轉(zhuǎn)換

1,Chrome 打開開發(fā)者選項( f12 )---> network 選項卡 ---> 刷新頁面,獲取請求 ---> 找到頁面信息對應的請求 (通過請求的名稱、后綴和 response 內(nèi)容來判斷)

2,右鍵,copy ---> copy as cURL (bash),注意不是【copy as cURL (cmd)】

3,打開網(wǎng)站,https://curl.trillworks.com/,粘貼 cURL (bash) 到左邊 curl command,右邊會自動出 Python 代碼

4,生成代碼如下圖

5,print ( response.text ) 就可以直接打印網(wǎng)頁源代碼啦!

Postman

1,下載 postman ( Chrome 也有個 postman 的插件,操作應該差不多)

2,打開 postman,彈出的界面可以直接關(guān)掉

3,import --> paste raw text,在 Chrome 里復制 curl (bash),粘貼到下面的對話框里,點擊 import 按鈕

4,點擊 send,模擬網(wǎng)絡請求,下方可查看源代碼

5,確保源代碼正常后,點擊 code

6,左上角可以選擇編程語言,右上角復制到剪貼板

大功告成!

其實我本人平時都是用第一種,網(wǎng)站比較穩(wěn)定,基本沒出現(xiàn)過異常;有了這個神器就不用自己再構(gòu)造請求頭了,先一鍵生成,然后再根據(jù)需求調(diào)一調(diào)就好了,幾秒鐘就搞定了。

以上就是快速一鍵生成Python爬蟲請求頭的詳細內(nèi)容,更多關(guān)于快速一鍵生成Python爬蟲請求頭的資料請關(guān)注腳本之家其它相關(guān)文章!

您可能感興趣的文章:
  • 使用Python制作一個數(shù)據(jù)預處理小工具(多種操作一鍵完成)
  • 如何打包Python Web項目實現(xiàn)免安裝一鍵啟動的方法
  • 利用Python代碼實現(xiàn)一鍵摳背景功能
  • Ubuntu18.04 一鍵升級Python所有第三方包 及安裝python包的方法
  • Python一鍵安裝全部依賴包的方法
  • Python一鍵查找iOS項目中未使用的圖片、音頻、視頻資源
  • Python 一鍵獲取百度網(wǎng)盤提取碼的方法
  • Python 一鍵制作微信好友圖片墻的方法
  • Python字典循環(huán)添加一鍵多值的用法實例
  • Python趣味爬蟲之用Python實現(xiàn)智慧校園一鍵評教

標簽:昭通 信陽 阜新 濟源 隨州 合肥 興安盟 淘寶好評回訪

巨人網(wǎng)絡通訊聲明:本文標題《快速一鍵生成Python爬蟲請求頭》,本文關(guān)鍵詞  快速,一鍵,生成,Python,爬蟲,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題,煩請?zhí)峁┫嚓P(guān)信息告之我們,我們將及時溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡,涉及言論、版權(quán)與本站無關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《快速一鍵生成Python爬蟲請求頭》相關(guān)的同類信息!
  • 本頁收集關(guān)于快速一鍵生成Python爬蟲請求頭的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章