我們講了requests的用法以及利用requests簡單爬取、保存網(wǎng)頁的方法,這節(jié)課我們主要講urllib和requests的區(qū)別。
1、獲取網(wǎng)頁數(shù)據(jù)
第一步,引入模塊。
兩者引入的模塊是不一樣的,這一點顯而易見。
第二步,簡單網(wǎng)頁發(fā)起的請求。
urllib是通過urlopen方法獲取數(shù)據(jù)。
requests需要通過網(wǎng)頁的響應(yīng)類型獲取數(shù)據(jù)。
第三步,數(shù)據(jù)封裝。
對于復(fù)雜的數(shù)據(jù)請求,我們只是簡單的通過urlopen方法肯定是不行的。最后,如果你的時間不是很緊張,并且又想快速的提高,最重要的是不怕吃苦,建議你可以聯(lián)系維:762459510 ,那個真的很不錯,很多人進(jìn)步都很快,需要你不怕吃苦哦!大家可以去添加上看一下~
urllib中,我們知道對于有反爬蟲機制的網(wǎng)站,我們需要對URL進(jìn)行封裝,以獲取到數(shù)據(jù)。我們可以回顧下前幾節(jié)課的內(nèi)容:
requests模塊中,就不需要這么復(fù)雜的操作,直接在第二步中,加入?yún)?shù)headers即可:
2、解析網(wǎng)頁數(shù)據(jù)
urllib和requests都可以通過bs4和re進(jìn)行數(shù)據(jù)的解析,requests還可以通過xpath進(jìn)行解析。具體解析方法之后會詳解
3.保存數(shù)據(jù)
urllib需要引入xlwt模塊進(jìn)行新建表格、sheet表格寫入數(shù)據(jù).最后,如果你的時間不是很緊張,并且又想快速的提高,最重要的是不怕吃苦,建議你可以聯(lián)系維:762459510 ,那個真的很不錯,很多人進(jìn)步都很快,需要你不怕吃苦哦!大家可以去添加上看一下~
requests通過with…as直接虛入數(shù)據(jù):
到此這篇關(guān)于Python爬蟲urllib和requests的區(qū)別詳解的文章就介紹到這了,更多相關(guān)Python爬蟲urllib和requests的區(qū)別內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
您可能感興趣的文章:- python中urllib.request和requests的使用及區(qū)別詳解
- python爬蟲開發(fā)之使用python爬蟲庫requests,urllib與今日頭條搜索功能爬取搜索內(nèi)容實例
- Python接口自動化之淺析requests模塊get請求
- 詳解Python requests模塊