主頁 > 知識(shí)庫 > Python爬蟲之m3u8文件里提取小視頻的正確姿勢(shì)

Python爬蟲之m3u8文件里提取小視頻的正確姿勢(shì)

熱門標(biāo)簽:唐山智能外呼系統(tǒng)一般多少錢 騰訊外呼線路 陜西金融外呼系統(tǒng) 哈爾濱ai外呼系統(tǒng)定制 白銀外呼系統(tǒng) 激戰(zhàn)2地圖標(biāo)注 廣告地圖標(biāo)注app 公司電話機(jī)器人 海南400電話如何申請(qǐng)

前言

  在網(wǎng)上爬取的小視頻(.ts格式)打不開怎么搞?使用IDM下載有時(shí)候還會(huì)出現(xiàn)數(shù)據(jù)受法律保護(hù),IDM無法下載該內(nèi)容,如何解決?這篇博客就來聊聊如何正確提取m3u8文件里的.ts視頻,并合成完整的.mp4格式視頻。


1. HLS協(xié)議與m3u8文件

  HLS,即 H T T P   L i v e   S t r e a m i n g HTTP\ Live\ Streaming HTTP Live Streaming的縮寫,是由蘋果公司提出基于HTTP的流媒體網(wǎng)絡(luò)傳輸協(xié)議。是蘋果公司QuickTime X和iPhone軟件系統(tǒng)的一部分。它的工作原理是把整個(gè)流分成一個(gè)個(gè)小的基于HTTP的文件來下載,每次只下載一些。當(dāng)媒體流正在播放時(shí),客戶端可以選擇從許多不同的備用源中以不同的速率下載同樣的資源,允許流媒體會(huì)話適應(yīng)不同的數(shù)據(jù)速率。在開始一個(gè)流媒體會(huì)話時(shí),客戶端會(huì)下載一個(gè)包含元數(shù)據(jù)的擴(kuò)展 M3U (m3u8) 播放列表文件,用于尋找可用的媒體流。
  M3U8是 U n i c o d e Unicode Unicode 版本的 M3U,用 UTF-8 編碼。"M3U"和"M3U8"文件都是蘋果公司使用的 H T T P   L i v e   S t r e a m i n g HTTP\ Live\ Streaming HTTP Live Streaming 格式的基礎(chǔ),這種格式可以在 iPhone 和 Macbook 等設(shè)備播放。是一種播放多媒體列表的文件格式,文本內(nèi)容是一系列媒體片段資源,順序播放該片段資源,即可完整展示多媒體資源。其格式大致如下:

# 未加密
	#EXTM3U
	#EXT-X-VERSION:3
	#EXT-X-TARGETDURATION:8
	#EXT-X-MEDIA-SEQUENCE:0
	#EXTINF:4.000000,
	1af12fece7a000000.ts
	#EXTINF:4.320000,
	1af12fece7a000001.ts
	...
	#EXTINF:3.800000,
	1af12fece7a001155.ts
	#EXT-X-ENDLIST
	
	# 加密
	#EXTM3U
	#EXT-X-VERSION:3
	#EXT-X-TARGETDURATION:6
	#EXT-X-PLAYLIST-TYPE:VOD
	#EXT-X-MEDIA-SEQUENCE:0
	#EXT-X-KEY:METHOD=AES-128,URI="https://ts1.yuyuangewh.com:9999/20200808/1XdSSbTb/2000kb/hls/key.key"
	#EXTINF:3,
	https://ts1.yuyuangewh.com:9999/20200808/1XdSSbTb/2000kb/hls/EUtRrqJU.ts
	#EXTINF:4.72,
	https://ts1.yuyuangewh.com:9999/20200808/1XdSSbTb/2000kb/hls/HF90vrrN.ts
	...
	#EXTINF:0.24,
	https://ts1.yuyuangewh.com:9999/20200808/1XdSSbTb/2000kb/hls/b7ZLcRqT.ts
	#EXT-X-ENDLIST

  中文維基百科----HTTP Live Streaming
  中文維基百科----M3U

  下面介紹幾個(gè)m3u8文件中常見的標(biāo)簽:

標(biāo)簽 格式 作用
EXTM3U #EXTM3U 表明該文件是一個(gè)m3u8文件,每個(gè)m3u8文件必須將該標(biāo)簽放置在第一行
EXT-X-VERSION EXT-X-VERSION:number> 表明該文件是一個(gè)m3u8文件,每個(gè)m3u8文件必須將該標(biāo)簽放置在第一行
EXT-X-TARGETDURATION #EXT-X-TARGETDURATION:s> 表示每個(gè)視頻分段最大的時(shí)長(單位秒)
EXT-X-PLAYLIST-TYPE #EXT-X-PLAYLIST-TYPE:type-enum> 表明流媒體類型,VOD 表示該視屏流為點(diǎn)播源,因此服務(wù)器不能更改該m3u8文件;EVENT表示該視頻流為直播源,因此服務(wù)器不能更改或刪除該文件任意部分內(nèi)容,但是可以在文件末尾添加新內(nèi)容
EXT-X-MEDIA-SEQUENCE #EXT-X-MEDIA-SEQUENCE:number> 表示播放列表第一個(gè)URL片段文件的序列號(hào),每個(gè)媒體片段URL都擁有一個(gè)唯一的整型序列號(hào),每個(gè)媒體片段序列號(hào)按出現(xiàn)順序依次加 1,如果該標(biāo)簽未指定,則默認(rèn)序列號(hào)從0開始
EXT-X-KEY #EXT-X-KEY:METHOD=AES-128,URI="http:xxxx",IV="xxxx" 表明視頻流文件的加解密方法,METHOD表示加密方式,URI表示密鑰路徑,該密鑰是一個(gè) 16 字節(jié)的數(shù)據(jù),IV是一個(gè)128位的十六進(jìn)制數(shù)值
EXTINF #EXTINF:duration>,[title>] 表示其后 URL 指定的媒體片段時(shí)長(單位為秒),duration可以為十進(jìn)制的整型或者浮點(diǎn)型,其值必須小于或等于EXT-X-TARGETDURATION指定的值
EXT-X-ENDLIST #EXT-X-ENDLIST 表明m3u8文件的結(jié)束

  簡(jiǎn)書:m3u8 文件格式詳解 作者:Whyn

2. 第三方庫----m3u8

  m3u8是一個(gè)專門用于解析m3u8文件的解析器,有關(guān)庫的詳細(xì)操作請(qǐng)參閱官方示例

# 安裝m3u8
	pip install m3u8
# 加載m3u8文件
	import m3u8

	# 返回一個(gè)M3U8對(duì)象
	playlist = m3u8.load(uri='http://videoserver.com/playlist.m3u8')	# url
	# playlist = m3u8.load(uri='playlist.m3u8')	# file
	print(playlist.segments)	# 打印EXT-X-KEY標(biāo)簽和所有的EXTINF標(biāo)簽:
	print(playlist.target_duration)	# 打印EXT-X-TARGETDURATION標(biāo)簽的值

	for key in playlist.keys:
		if key:
			# 如果視頻文件加密,可以查看加密參數(shù)
			print(key.uri, key.method, key.iv)

3. 合成mp4文件

 本次就以這個(gè)視頻為例,流程如下:
  1. 找到視頻對(duì)應(yīng)的.m3u8文件
  2. 解析.m3u8文件,從中提取.ts視頻的url
  3. 下載.ts格式的視頻
  4. 解密.ts格式的視頻(如果視頻流沒有加密,則該步不是必須的)
  5. 合成.mp4或其他格式的視頻

# 第1步,我載了m3u8文件,也可以直接使用m3u8文件對(duì)應(yīng)的url
	playlist = m3u8.load(uri='./data/index.m3u8')

	# 第2步,提取URL
	for seg in playlist.segments:
        print(seg.uri)
    
    # 第3步,下載ts視頻
    with open('xxxxx.ts', 'wb') as f:
        ts = get_ts(url)
        f.write(ts)
   
	# 第4步,解密
	cipher_text = pad(data_to_pad=cipher_text, block_size=AES.block_size)
    aes = AES.new(key=key, mode=AES.MODE_CBC, iv=iv)
    cipher_text = aes.decrypt(cipher_text)
    
	# 第5步,合成
	files = glob.glob(os.path.join('./video', '*.ts'))
    for file in files:
        with open(file, 'rb') as fr, open('./video_de/baitoushan.mp4', 'ab') as fw:
            content = fr.read()
            fw.write(content )

4. 完整代碼

# -*- coding: utf-8 -*-
# @Time    : 2021/5/10 20:11
# @Author  : XiaYouRan
# @Email   : youran.xia@foxmail.com
# @File    : video.py
# @Software: PyCharm


from Crypto.Cipher import AES
from Crypto.Util.Padding import pad
from concurrent.futures import ThreadPoolExecutor
import requests
import m3u8
import glob
import os
import time
import logging


logging.getLogger("urllib3").setLevel(logging.WARNING)


def AESDecrypt(cipher_text, key, iv):
    cipher_text = pad(data_to_pad=cipher_text, block_size=AES.block_size)
    aes = AES.new(key=key, mode=AES.MODE_CBC, iv=iv)
    cipher_text = aes.decrypt(cipher_text)
    # clear_text = unpad(padded_data=cipher_text, block_size=AES.block_size)
    return cipher_text


headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '
                         'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'}


def get_ts(url):
    try:
        response = requests.get(url, verify=False)
        response.raise_for_status()
        response.encoding = 'utf-8'
        return response.content
    except Exception as err:
        print(err)
        return b''


def save_ts(url, index):
    filename = os.path.join('./video', str(index).zfill(5) + '.ts')
    with open(filename, 'wb') as f:
        ts = get_ts(url)
        f.write(ts)
    print(filename + ' is ok!')


if __name__ == '__main__':
    playlist = m3u8.load(uri='./data/index.m3u8')

	# 線程池,引入index可以防止合成時(shí)視頻發(fā)生亂序
    with ThreadPoolExecutor(max_workers=10) as pool:
        for index, seg in enumerate(playlist.segments):
            pool.submit(save_ts, seg.uri, index)

    key = get_ts(playlist.keys[-1].uri)

    files = glob.glob(os.path.join('./video', '*.ts'))
    for file in files:
        with open(file, 'rb') as fr, open('./video_de/baitoushan.mp4', 'ab') as fw:
            content = fr.read()
            encontent = AESDecrypt(content, key=key, iv=key)
            fw.write(encontent)
        print(file + ' is ok!')

  下載.ts文件效果如下:

  合成.mp4文件效果如下:

5. 結(jié)束語

Musicer開源代碼倉庫


  Musicer音樂爬蟲已經(jīng)開源了哦,持續(xù)更新中,歡迎來踩來Star哦!ヾ(≧∇≦*)ヾ

以上就是Python爬蟲之m3u8文件里提取小視頻的正確姿勢(shì)的詳細(xì)內(nèi)容,更多關(guān)于Python提取m3u8文件小視頻的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!

您可能感興趣的文章:
  • python基礎(chǔ)之文件處理知識(shí)總結(jié)
  • Python關(guān)于OS文件目錄處理的實(shí)例分享
  • python引入其他文件夾下的py文件具體方法
  • 解決python中os.system調(diào)用exe文件的問題
  • python使用glob檢索文件的操作
  • 教你用Python代碼實(shí)現(xiàn)合并excel文件
  • python3 hdf5文件 遍歷代碼
  • Python基礎(chǔ)之元組與文件知識(shí)總結(jié)
  • python提取word文件中的所有圖片
  • python可視化hdf5文件的操作
  • Python 如何讀取.txt,.md等文本文件
  • 教你利用Python破解ZIP或RAR文件密碼
  • Python文件基本操作實(shí)用指南
  • python 如何把classification_report輸出到csv文件
  • 用python刪除文件夾中的重復(fù)圖片(圖片去重)
  • 將Python代碼打包成.exe可執(zhí)行文件的完整步驟
  • Python文件名的匹配之clob庫
  • python基礎(chǔ)學(xué)習(xí)之組織文件

標(biāo)簽:上海 益陽 黔西 黑龍江 惠州 四川 鷹潭 常德

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《Python爬蟲之m3u8文件里提取小視頻的正確姿勢(shì)》,本文關(guān)鍵詞  Python,爬蟲,之,m3u8,文件,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題,煩請(qǐng)?zhí)峁┫嚓P(guān)信息告之我們,我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《Python爬蟲之m3u8文件里提取小視頻的正確姿勢(shì)》相關(guān)的同類信息!
  • 本頁收集關(guān)于Python爬蟲之m3u8文件里提取小視頻的正確姿勢(shì)的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章