先看看結(jié)果吧,去bilibili上拿到的圖片=-=
第一步,導(dǎo)入模塊
import requests
from bs4 import BeautifulSoup
requests用來(lái)請(qǐng)求html頁(yè)面,BeautifulSoup用來(lái)解析html
第二步,獲取目標(biāo)html頁(yè)面
hd = {'user-agent': 'chrome/10'} # 偽裝自己是個(gè)(chrome)瀏覽器=-=
def download_all_html():
try:
url = 'https://www.bilibili.com/' # 將要爬取網(wǎng)站的地址
request = requests.get(url, timeout=30, headers=hd) # 獲取改網(wǎng)站的信息
request.raise_for_status() # 判斷狀態(tài)碼是否為200,!=200顯然爬取失敗
request.encoding = request.apparent_encoding # 設(shè)置編碼格式
return request.text # 返回html頁(yè)面
except:
return ''
第三步,分析網(wǎng)站html構(gòu)造
1、顯示網(wǎng)站html代碼
2、找到圖片位置
3、分析
第四步,直接上代碼注釋夠詳細(xì)=-=
def parse_single_html(html):
soup = BeautifulSoup(html, 'html.parser') # 解析html,可以單獨(dú)去了解一下他的使用
divs = soup.find_all('div', class_='card-pic') # 獲取滿(mǎn)足條件的div,find_all(所有)
for div in divs: # 瞞住條件的div有多個(gè),我們單獨(dú)獲取
p = div.find('p') # 有源代碼可知,每個(gè)div下都有一個(gè)p標(biāo)簽,存儲(chǔ)圖片的title,獲取p標(biāo)簽
if p == None:
continue
title = p['title'] # 獲取p標(biāo)簽中的title屬性,用來(lái)做圖片的名稱(chēng)
img = div.find('img')['src'] # 獲取圖片的地址
if img[0:6] != 'https:': # 根據(jù)源代碼發(fā)現(xiàn),有的地址缺少"https:"前綴
img = 'https:' + img # 如果缺少,我們給他添上就行啦,都據(jù)情況而定
response = requests.get(img) # get方法得到圖片地址(有的是post、put)基本是get
with open('./Img/{}.png'.format(title), 'wb') as f: # 創(chuàng)建用來(lái)保存圖片的.png文件
f.write(response.content) # 注意,'wb'中的b 必不可少??!
parse_single_html(download_all_html()) # 最后調(diào)用我們寫(xiě)的兩個(gè)函數(shù)就行啦,
查看結(jié)果
到此這篇關(guān)于Python爬取網(wǎng)站圖片并保存的實(shí)現(xiàn)示例的文章就介紹到這了,更多相關(guān)Python爬取圖片保存內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
您可能感興趣的文章:- Python爬蟲(chóng)實(shí)戰(zhàn)之使用Scrapy爬取豆瓣圖片
- Python爬蟲(chóng)之教你利用Scrapy爬取圖片
- python制作微博圖片爬取工具
- python繞過(guò)圖片滑動(dòng)驗(yàn)證碼實(shí)現(xiàn)爬取PTA所有題目功能 附源碼
- 利用python批量爬取百度任意類(lèi)別的圖片的實(shí)現(xiàn)方法
- Python使用xpath實(shí)現(xiàn)圖片爬取
- Python Scrapy圖片爬取原理及代碼實(shí)例
- Python3直接爬取圖片URL并保存示例
- python爬取某網(wǎng)站原圖作為壁紙
- 用Python做一個(gè)嗶站小姐姐詞云跳舞視頻