在Laravel中使用cursor來查詢并處理數(shù)據(jù) (輕松處理千萬級(jí)的數(shù)據(jù))
事發(fā)現(xiàn)場(chǎng)
最近在項(xiàng)目中遇到內(nèi)存不足的問題, 測(cè)試環(huán)境中的PHP內(nèi)存只有64M,在導(dǎo)出的時(shí)候, 數(shù)據(jù)量比較大,這個(gè)時(shí)候會(huì)出現(xiàn)內(nèi)存溢出的錯(cuò)誤;
如何解決
目前想到兩種方法:
- 調(diào)整php.ini文件中memory_limit配置項(xiàng); 或者在調(diào)用方法中調(diào)整內(nèi)存大小ini_set('memory_limit', "").
- 使用Laravel的Lazy Collection.
考慮到修改配置文件的影響范圍過大, 以及對(duì)導(dǎo)出的實(shí)時(shí)性要求不是很高, 所以我們選擇了第二種方法.
Lazy Collection
如何使用Lazy Collection? 很簡(jiǎn)單, 將查詢構(gòu)建器鏈末尾的get()更改為cursor()就好了 !
cursor ( )
cursor的原理
cursor的實(shí)現(xiàn)使用了 yield 關(guān)鍵字, yield關(guān)鍵字是生成器函數(shù)的核心, 它的調(diào)用形式跟return很像, 不同之處在于return會(huì)返回值并且終止函數(shù)執(zhí)行, 而yield會(huì)返回值給循環(huán)調(diào)用生成器的代碼并且只是暫停生成器函數(shù).
cursor()的代碼如下
/**
*
Get a generator for the given query.
*
* @return Generator
*/
public function cursor() {
foreach ($this->applyScopes()->query->cursor() as $record) {
yield $this->newModelInstance()->newFromBuilder($record);
}
}
由于使用了yield關(guān)鍵字, 在循環(huán)cursor生成器的時(shí)候,可以漸進(jìn)式的處理數(shù)據(jù),即使在內(nèi)存很小的情況下,也可以輕松處理千萬級(jí)的數(shù)據(jù)! 真的是非常方便哦!
到此這篇關(guān)于用Laravel輕松處理千萬級(jí)數(shù)據(jù)的方法實(shí)現(xiàn)的文章就介紹到這了,更多相關(guān)Laravel 處理千萬級(jí)數(shù)據(jù)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
您可能感興趣的文章:- Laravel框架數(shù)據(jù)庫CURD操作、連貫操作總結(jié)
- Laravel 5框架學(xué)習(xí)之?dāng)?shù)據(jù)庫遷移(Migrations)
- Laravel 5框架學(xué)習(xí)之向視圖傳送數(shù)據(jù)
- Laravel 批量更新多條數(shù)據(jù)的示例
- Laravel接收前端ajax傳來的數(shù)據(jù)的實(shí)例代碼
- Laravel 5框架學(xué)習(xí)之向視圖傳送數(shù)據(jù)(進(jìn)階篇)
- laravel框架查詢數(shù)據(jù)集轉(zhuǎn)為數(shù)組的兩種方法
- Laravel中數(shù)據(jù)遷移與數(shù)據(jù)填充的詳細(xì)步驟
- laravel框架之?dāng)?shù)據(jù)庫查出來的對(duì)象實(shí)現(xiàn)轉(zhuǎn)化為數(shù)組
- Laravel實(shí)現(xiàn)批量更新多條數(shù)據(jù)
