主頁 > 知識(shí)庫 > Golang 實(shí)現(xiàn)分片讀取http超大文件流和并發(fā)控制

Golang 實(shí)現(xiàn)分片讀取http超大文件流和并發(fā)控制

熱門標(biāo)簽:赤峰電銷 貴州電話智能外呼系統(tǒng) 谷歌美發(fā)店地圖標(biāo)注 利用地圖標(biāo)注位置 杭州人工智能電銷機(jī)器人費(fèi)用 地圖區(qū)域圖標(biāo)注后導(dǎo)出 江蘇呼叫中心外呼系統(tǒng)有效果嗎 400開頭電話怎樣申請(qǐng) 官渡電銷外呼管理系統(tǒng)怎么收費(fèi)

分片讀取http超大文件流

Golang中的HTTP發(fā)送get請(qǐng)求,在獲取內(nèi)容有兩種情況。

Golang發(fā)送http get請(qǐng)求方式

resp, err := http.Get(sendUrl)
if err != nil {
 fmt.Println("出錯(cuò)", err)
 return
}

第一種方式是直接全部讀取出來,這種方式在小數(shù)據(jù)量的時(shí)候很方便。

body變量直接全部接收resp響應(yīng)內(nèi)容

body, err2 := ioutil.ReadAll(resp.Body)

第二種方式,分片獲取。

首先頂一個(gè)切片buf := make([]byte, 4096) 容量和大小都是4096個(gè)char字符(切片就是Golang自己的動(dòng)態(tài)變長數(shù)組)

for無限循環(huán)讀取,讀取一塊內(nèi)容放入buf中。result 是一個(gè)string字符串,然后用 result 自動(dòng)拼接。

for {
  n, err:= resp.Body.Read(buf)
 if err != nil || n == 0{
 fmt.Println("出現(xiàn)錯(cuò)誤")
 break
 }
 result += string(buf[:n])
}

Golang中匹配正則

MustCompile內(nèi)容不是單引號(hào),而是 `

// 解析,編譯正則表達(dá)式
ret := regexp.MustCompile(`img width="100" alt="(?:(.*?))"`)
//提取需要信息
var fileName [][] string = ret.FindAllStringSubmatch(result, -1)

該方法可以進(jìn)一步推廣,可以推廣到下載超大文件,然后分片讀取和寫入硬盤。

然后再開啟另一個(gè)線程去將這些已經(jīng)寫入硬盤的分片合稱在一起。

Golang 并發(fā)控制

Java中的多線程,如果主線程開啟多個(gè)子線程后,在多個(gè)子線程全部完成后,主線程才會(huì)退出,程序終止。

而在Golang中不會(huì)出現(xiàn)此類情況,主Go程和子Go程需要人為控制主GO程和子GO程同步,否則主GO程瞬間結(jié)束。

在主GO程開始執(zhí)行子GO程地方創(chuàng)建一個(gè) channel。子GO程開始往 channel 中添加數(shù)據(jù),主GO程再消費(fèi)數(shù)據(jù)。

func toWork(start, end int) {
 //子Go程與主Go程完成同步,意思是子Go程沒有全部執(zhí)行完畢,主Go程不許退出。
 page := make(chan int) 

 for i:=start; i=end; i++ {
 //開啟子GO程
 go SpiderPage(i, page)
 }
 //主GO程開始消費(fèi)管道中的數(shù)據(jù)
 for i:=start; i=end; i++ {
 fmt.Println("爬取完成", - page)
 }
}

往主GO程的channel中添加數(shù)據(jù),提供給主GO程消費(fèi)從而達(dá)到同步

func SpiderPage(index int, page chan int) {
 page - index
}

讀取http二進(jìn)制碼寫入圖片

創(chuàng)建文件

獲取http流

分片逐步寫入

func saveImag(sendUrl string, index int, imageChannel chan int) {
 //創(chuàng)建文件
 path := "C:/img/" + strconv.Itoa(index) + ".jpg"
 f, err := os.Create(path)
 if err != nil {
 return
 }
 defer f.Close()
 //獲取http流
 resp, err :=http.Get(sendUrl)
 if err != nil {
 return
 }
 defer resp.Body.Close()
 //分片逐步寫入
 buf := make([]byte, 4096)
 for {
 n, err := resp.Body.Read(buf)
 if err != nil {
  break
 }
 f.Write(buf[:n])
 }
 imageChannel - index
}

補(bǔ)充:golang實(shí)現(xiàn)http表單大文件流式上傳服務(wù)端代碼

golang的http標(biāo)準(zhǔn)庫的上傳文件是一次性將文件全部讀到內(nèi)存中,這樣上傳小文件還可以,但是大文件就無能為力了。

一開始在網(wǎng)上找到一篇gin實(shí)現(xiàn)大文件流式上傳的文章。大體思路是手動(dòng)解析form表單的header和body,然后分片讀取上傳的文件內(nèi)容。但是代碼量有點(diǎn)多且復(fù)雜。有興趣的同學(xué)可以自行百度。

后來在github找到一個(gè)庫

github.com/albrow/forms

可以看到這個(gè)庫讀取上傳文件的方法

func (d Data) GetFileBytes(key string) ([]byte, error) {
 fileHeader, found := d.Files[key]
 if !found {
 return nil, nil
 } else {
 file, err := fileHeader.Open()
 if err != nil {
  return nil, err
 }
 return ioutil.ReadAll(file)
 }
}

最后使用的是ioutil.ReadAll,大文件上傳的話就會(huì)有問題,要實(shí)現(xiàn)流式上傳,可以在這個(gè)包里加一個(gè)方法。以下是我自己加的方法

func (d Data) GetFileReader(key string) (io.Reader, error) {
 fileHeader, found := d.Files[key]
 if !found {
 return nil, nil
 } else {
 file, err := fileHeader.Open()
 if err != nil {
  return nil, err
 }
 return file, nil
 }
}

得到reader后使用io.Copy即可將文件落盤

 userData, err := forms.Parse(c.Request)
  if err != nil {
  log.Printf("parse錯(cuò)誤:%v", err)
  return
  }
  header := userData.GetFile("file")
  fileReader, err := userData.GetFileReader("file")
  if err != nil {
  log.Printf("獲取reader錯(cuò)誤:%v", err)
  return
  }
  file, _ := os.Create(header.Filename)
  io.Copy(file, fileReader)

以上為個(gè)人經(jīng)驗(yàn),希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教。

您可能感興趣的文章:
  • 解決golang處理http response碰到的問題和需要注意的點(diǎn)
  • golang實(shí)現(xiàn)http server提供文件下載功能
  • Golang 發(fā)送http請(qǐng)求時(shí)設(shè)置header的實(shí)現(xiàn)
  • golang使用http client發(fā)起get和post請(qǐng)求示例
  • 一個(gè)簡單的Golang實(shí)現(xiàn)的HTTP Proxy方法
  • 在 Golang 中實(shí)現(xiàn)一個(gè)簡單的Http中間件過程詳解

標(biāo)簽:武漢 泰安 黔西 河池 宜春 保定 鷹潭 松原

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《Golang 實(shí)現(xiàn)分片讀取http超大文件流和并發(fā)控制》,本文關(guān)鍵詞  Golang,實(shí)現(xiàn),分片,讀取,http,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題,煩請(qǐng)?zhí)峁┫嚓P(guān)信息告之我們,我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《Golang 實(shí)現(xiàn)分片讀取http超大文件流和并發(fā)控制》相關(guān)的同類信息!
  • 本頁收集關(guān)于Golang 實(shí)現(xiàn)分片讀取http超大文件流和并發(fā)控制的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章