主頁 > 知識庫 > python 如何用map()函數(shù)創(chuàng)建多線程任務(wù)

python 如何用map()函數(shù)創(chuàng)建多線程任務(wù)

熱門標(biāo)簽:電話外呼系統(tǒng)招商代理 廣東旅游地圖標(biāo)注 京華圖書館地圖標(biāo)注 淮安呼叫中心外呼系統(tǒng)如何 蘇州人工外呼系統(tǒng)軟件 電話機器人貸款詐騙 佛山通用400電話申請 打印谷歌地圖標(biāo)注 看懂地圖標(biāo)注方法

對于多線程的使用,我們經(jīng)常是用thread來創(chuàng)建,比較繁瑣. 在Python中,可以使用map函數(shù)簡化代碼。map可以實現(xiàn)多任務(wù)的并發(fā)

簡單說明map()實現(xiàn)多線程原理:

task = [‘任務(wù)1', ‘任務(wù)2', ‘任務(wù)3', …]

map 函數(shù)一手包辦了序列操作、參數(shù)傳遞和結(jié)果保存等一系列的操作,map函數(shù)負(fù)責(zé)將線程分給不同的CPU。

在 Python 中有個兩個庫包含了 map 函數(shù): multiprocessing 和它鮮為人知的子庫 multiprocessing.dummy.dummy 是 multiprocessing 模塊的完整克隆,唯一的不同在于 multiprocessing 作用于進程,而 dummy 模塊作用于線程。

代碼如下:

from multiprocessing.dummy import Pool as ThreadPool
import os
import requests
import time
import numpy as np
# 文件夾位置
filepath = r'C:\Users\Administrator\Desktop\ceshi'
pool = ThreadPool(10)#開啟線程數(shù),即一次性拋出的請求數(shù)
time_list = []#用來計算時間
xml_list = []#數(shù)據(jù)集
pathDir = os.listdir(filepath)
for i, allDir in enumerate(pathDir):
 filename = os.path.join('%s%s' % (filepath + '\\', allDir))
 kk = open(filename, 'r', encoding='utf-8').read()
 data = kk.encode('utf-8')
 for k in range(10):
  xml_list.append(data)
def res(data):
 # 訪問目標(biāo)服務(wù)器地址
 url_host = 'https://mp.csdn.net/mdeditor#'
 start = time.clock()
 s = requests.post(url_host, data=data)
 end = time.clock()
 if s.status_code == 200:
  print(end-start)
  time_list.append(end-start)
 else:
  print('請求失敗')
# 傳入的參數(shù),1為函數(shù), 2為參數(shù)
result = pool.map(res, xml_list)
all_arr = np.array(time_list)
aver = np.mean(all_arr)
variance = np.var(all_arr)
mid = np.median(all_arr)
min_num = np.min(all_arr)
max_num = np.max(all_arr)
print('平均值 : '+ str(aver))
print('方差 : ' + str(variance))
print('中值 : ' + str(mid))
print('最小值 : ' + str(min_num))
print('最大值 : ' + str(max_num))

個人做的小測試,如果有錯誤的地方希望留言提出意見及建議。

補充:python多進程(multiprocessing)(map)

map的基本使用:

map函數(shù)一手包辦了序列操作,參數(shù)傳遞和結(jié)果保存等一系列的操作。

from multiprocessing.dummy import Pool
poop = Pool(4)  # 4代表電腦是多少核的
results = pool.map(爬取函數(shù),網(wǎng)址列表)

from multiprocessing.dummy import Pool as ThreadPool
import requests
import time
kv = {'user-agent':'Mozilla/5.0'}
def getsource(url):
 html = requests.get(url,headers=kv)
urls = []
for i in range(0,41):
 i = i*50
 newpage = 'https://tieba.baidu.com/f?kw=讀書ie=utf-8pn=' + str(i)
 urls.append(newpage)
# 單線程爬取
time1 = time.time()
for each in urls:
 print(each)
 getsource(each)
time2 = time.time()
print('單線程耗時: ' + str(time2-time1))
# 多線程爬取
pool = ThreadPool(8)
time3 = time.time()
results = pool.map(getsource, urls)
pool.close()
pool.join()
time4 = time.time()
print('多線程所消耗時間:' + str(time4 - time3))

以上為個人經(jīng)驗,希望能給大家一個參考,也希望大家多多支持腳本之家。如有錯誤或未考慮完全的地方,望不吝賜教。

您可能感興趣的文章:
  • python中的內(nèi)置函數(shù)max()和min()及mas()函數(shù)的高級用法
  • python print()函數(shù)的end參數(shù)和sep參數(shù)的用法說明
  • python處理emoji表情(兩個函數(shù)解決兩者之間的聯(lián)系)
  • 解決python2中unicode()函數(shù)在python3中報錯的問題
  • python繪圖subplots函數(shù)使用模板的示例代碼
  • python-opencv中的cv2.inRange函數(shù)用法說明
  • Python input()函數(shù)用法大全
  • python Pool常用函數(shù)用法總結(jié)
  • Python函數(shù)參數(shù)中的*與**運算符
  • 詳解python函數(shù)傳參傳遞dict/list/set等類型的問題
  • Python3去除頭尾指定字符的函數(shù)strip()、lstrip()、rstrip()用法詳解
  • Python進階之高級用法詳細(xì)總結(jié)

標(biāo)簽:湖州 股票 中山 駐馬店 江蘇 衡水 呼和浩特 畢節(jié)

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《python 如何用map()函數(shù)創(chuàng)建多線程任務(wù)》,本文關(guān)鍵詞  python,如,何用,map,函數(shù),創(chuàng)建,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題,煩請?zhí)峁┫嚓P(guān)信息告之我們,我們將及時溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《python 如何用map()函數(shù)創(chuàng)建多線程任務(wù)》相關(guān)的同類信息!
  • 本頁收集關(guān)于python 如何用map()函數(shù)創(chuàng)建多線程任務(wù)的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章