Laravel中的chunk組塊結(jié)果集處理與注意問(wèn)題

前言

如果你需要處理成千上萬(wàn)個(gè) Eloquent 結(jié)果，可以使用 chunk 命令。chunk 方法會(huì)獲取一個(gè)“組塊”的 Eloquent 模型，并將其填充到給定閉包進(jìn)行處理。使用 chunk 方法能夠在處理大量數(shù)據(jù)集合時(shí)能夠有效減少內(nèi)存消耗：

Flight::chunk(200, function ($flights) {
 foreach ($flights as $flight) {
  //
 }
});

$all_ark=Arkvolume::chunk(50000, function ($flights) {
 foreach ($flights as $flight) {
  $GLOBALS['something'][] = $flight['id'];
 }
});
 
var_dump($GLOBALS['something'] );exit;

這段代碼是執(zhí)行一個(gè)100條的數(shù)據(jù)進(jìn)行更新，當(dāng)執(zhí)行完成后繼續(xù)后面的另一百條數(shù)據(jù)……

也就是說(shuō)他每次操作的是一個(gè)數(shù)據(jù)塊而不是整個(gè)數(shù)據(jù)庫(kù)。

需要注意的是：當(dāng)使用帶篩選的條件的chunk時(shí)，如果是自更新，那么你會(huì)漏掉一些數(shù)據(jù)，接著看代碼：

User::where('approved', 0)->chunk(100, function ($users) {
 foreach ($users as $user) {
 $user->update(['approved' => 1]);
 }
});

如果要運(yùn)行上面的代碼，并不會(huì)有報(bào)錯(cuò)，但是where條件是篩選approved為0的user然后將approved的值跟新為1。
在這個(gè)過(guò)程中，檔第一數(shù)據(jù)庫(kù)的數(shù)據(jù)被修改后，下一個(gè)數(shù)據(jù)塊的數(shù)據(jù)將是在被修改后的數(shù)據(jù)中選出來(lái)的，這個(gè)時(shí)候數(shù)據(jù)變了，而page也加了1。所以執(zhí)行結(jié)束后，只對(duì)數(shù)據(jù)中一半的數(shù)據(jù)進(jìn)行了更新操作。

如果沒(méi)有明白的話，我們來(lái)看一下chunk的底層實(shí)現(xiàn)。還以上面的代碼為例，假如一共有400條數(shù)據(jù)，數(shù)據(jù)被按照100條進(jìn)行分塊處理。

page = 1: 最開(kāi)始的時(shí)候page為1，選取1-100條數(shù)據(jù)進(jìn)行處理;

page = 2: 這時(shí)候前一百數(shù)據(jù)的approved值全部為1，那么在次篩選的時(shí)候數(shù)據(jù)將從第101條開(kāi)始，而這個(gè)時(shí)候的page=2,那么處理的數(shù)據(jù)將是第200-300之前的數(shù)據(jù)

之后依舊。

public function chunk($count, callable $callback)
{
 $results = $this->forPage($page = 1, $count)->get();
 
 while (count($results) > 0) {
  // On each chunk result set, we will pass them to the callback and then let the
  // developer take care of everything within the callback, which allows us to
  // keep the memory low for spinning through large result sets for working.
  if (call_user_func($callback, $results) === false) {
   return false;
  }
 
  $page++;
 
  $results = $this->forPage($page, $count)->get();
 }
 
 return true;
}

Laravel chunk 使用注意的問(wèn)題

使用 Laravel 的 chunk 可以用來(lái)優(yōu)化大結(jié)果集的查詢，提供分塊處理數(shù)據(jù)的方法，但是如下的例子就會(huì)有問(wèn)題：

User::where('approved', 0)->chunk(100, function ($users) {
 foreach ($users as $user) {
 $user->update(['approved' => 1]);
 }
});

原因在于第一次查詢：

select * from users where approved = 0 limit 100 offset 0;

update 這一批數(shù)據(jù)的 approved 為 1 之后，

再看第二次查詢：

select * from users where approved = 0 limit 100 offset 100;

這個(gè)時(shí)候因?yàn)橛?where approved = 0 條件并且偏移量從 100 開(kāi)始，這樣其實(shí)就漏掉了 100 條 approved 為 0 的數(shù)據(jù)。

所以，我們要避免使用 chunk 的時(shí)候，更改和過(guò)濾條件的字段的值。

總結(jié)

以上就是這篇文章的全部?jī)?nèi)容了，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，如果有疑問(wèn)大家可以留言交流，謝謝大家對(duì)腳本之家的支持。