相信很多人做大批量數(shù)據(jù)導(dǎo)出和數(shù)據(jù)導(dǎo)入的時候,經(jīng)常會遇到PHP內(nèi)存溢出的問題,在解決了問題之后,總結(jié)了一些經(jīng)驗(yàn),整理成文章記錄下。
優(yōu)化點(diǎn)
1、優(yōu)化SQL語句,避免慢查詢,合理的建立索引,查詢指定的字段,sql優(yōu)化這塊在此就不展開了。
2、查詢的結(jié)果集為大對象時轉(zhuǎn)數(shù)組處理,框架中一般有方法可以轉(zhuǎn),如Laravel中有toArray(),Yii2中有asArray()。
3、對于大數(shù)組進(jìn)行數(shù)據(jù)切割處理,PHP函數(shù)有array_chunk()、array_slice()。
4、對于大型的字符串和對象,使用引用傳遞。
5、用過的變量及時unset。
6、導(dǎo)出的文件格式由excel改為csv
7、ini_set(‘memory_limit',''),設(shè)置程序可以使用的內(nèi)存(不建議這樣做)。
內(nèi)存管理
PHP的內(nèi)存什么怎么管理的呢? 在學(xué)C語言時,開發(fā)者是需要手動管理內(nèi)存。在PHP中,Zend引擎提供為了處理請求相關(guān)數(shù)據(jù)提供了一種特殊的內(nèi)存管理器。請求相關(guān)數(shù)據(jù)是只需要服務(wù)單個請求,最遲會在請求結(jié)束時釋放數(shù)據(jù)。
防止內(nèi)存泄漏并盡可能快地釋放所有內(nèi)存是內(nèi)存管理的重要組成部分。因?yàn)榘踩颍琙end引擎會釋放所有上面提到的API鎖分配的內(nèi)存。
垃圾回收機(jī)制
簡單說下:
PHP5.3之前,采用引用計數(shù)的方式管理。PHP中的變量存在zval的變量容器中,變量被引用的時,引用計數(shù)+1,變量引用計數(shù)為0時,PHP將在內(nèi)存中銷毀這個變量。但是在引用計數(shù)循環(huán)引用時,引用計數(shù)就不會消減為0,導(dǎo)致內(nèi)存泄漏。
PHP5.3之后做了優(yōu)化,并不是每次引用計數(shù)減少都進(jìn)入回收周期,只有根緩沖區(qū)滿額后才開始進(jìn)行垃圾回收,這樣可以解決循環(huán)引用的問題,也可以將總內(nèi)存泄漏保持在一個閾值之下。
代碼
由于使用phpexcel時經(jīng)常會遇到內(nèi)存溢出,下面分享一段生成csv文件的代碼:
?php
namespace api\service;
class ExportService
{
public static $outPutFile = '';
/**
* 導(dǎo)出文件
* @param string $fileName
* @param $data
* @param array $formFields
* @return mixed
*/
public static function exportData($fileName = '', $data, $formFields = [])
{
$fileArr = [];
$tmpPath = \Yii::$app->params['excelSavePath'];
foreach (array_chunk($data, 10000) as $key => $value) {
self::$outPutFile = '';
$subject = !empty($fileName) ? $fileName : 'data_';
$subject .= date('YmdHis');
if (empty($value) || empty($formFields)) {
continue;
}
self::$outPutFile = $tmpPath . $subject . $key . '.csv';
if (!file_exists(self::$outPutFile)) {
touch(self::$outPutFile);
}
$index = array_keys($formFields);
$header = array_values($formFields);
self::outPut($header);
foreach ($value as $k => $v) {
$tmpData = [];
foreach ($index as $item) {
$tmpData[] = isset($v[$item]) ? $v[$item] : '';
}
self::outPut($tmpData);
}
$fileArr[] = self::$outPutFile;
}
$zipFile = $tmpPath . $fileName . date('YmdHi') . '.zip';
$zipRes = self::zipFile($fileArr, $zipFile);
return $zipRes;
}
/**
* 向文件寫入數(shù)據(jù)
* @param array $data
*/
public static function outPut($data = [])
{
if (is_array($data) !empty($data)) {
$data = implode(',', $data);
file_put_contents(self::$outPutFile, iconv("UTF-8", "GB2312//IGNORE", $data) . PHP_EOL, FILE_APPEND);
}
}
/**
* 壓縮文件
* @param $sourceFile
* @param $distFile
* @return mixed
*/
public static function zipFile($sourceFile, $distFile)
{
$zip = new \ZipArchive();
if ($zip->open($distFile, \ZipArchive::CREATE) !== true) {
return $sourceFile;
}
$zip->open($distFile, \ZipArchive::CREATE);
foreach ($sourceFile as $file) {
$fileContent = file_get_contents($file);
$file = iconv('utf-8', 'GBK', basename($file));
$zip->addFromString($file, $fileContent);
}
$zip->close();
return $distFile;
}
/**
* 下載文件
* @param $filePath
* @param $fileName
*/
public static function download($filePath, $fileName)
{
if (!file_exists($filePath . $fileName)) {
header('HTTP/1.1 404 NOT FOUND');
} else {
//以只讀和二進(jìn)制模式打開文件
$file = fopen($filePath . $fileName, "rb");
//告訴瀏覽器這是一個文件流格式的文件
Header("Content-type: application/octet-stream");
//請求范圍的度量單位
Header("Accept-Ranges: bytes");
//Content-Length是指定包含于請求或響應(yīng)中數(shù)據(jù)的字節(jié)長度
Header("Accept-Length: " . filesize($filePath . $fileName));
//用來告訴瀏覽器,文件是可以當(dāng)做附件被下載,下載后的文件名稱為$file_name該變量的值
Header("Content-Disposition: attachment; filename=" . $fileName);
//讀取文件內(nèi)容并直接輸出到瀏覽器
echo fread($file, filesize($filePath . $fileName));
fclose($file);
exit();
}
}
}
調(diào)用處代碼
$fileName = "庫存導(dǎo)入模板";
$stockRes = []; // 導(dǎo)出的數(shù)據(jù)
$formFields = [
'store_id' => '門店ID',
'storeName' => '門店名稱',
'sku' => 'SKU編碼',
'name' => 'SKU名稱',
'stock' => '庫存',
'reason' => '原因'
];
$fileRes = ExportService::exportData($fileName, $stockRes, $formFields);
$tmpPath = \Yii::$app->params['excelSavePath']; // 文件路徑
$fileName = str_replace($tmpPath, '', $fileRes);
// 下載文件
ExportService::download($tmpPath, $fileName);
到此這篇關(guān)于PHP內(nèi)存溢出優(yōu)化代碼詳解的文章就介紹到這了,更多相關(guān)PHP內(nèi)存溢出優(yōu)化內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
您可能感興趣的文章:- 淺談PHP性能優(yōu)化之php.ini配置
- 詳解PHP優(yōu)化巨量關(guān)鍵詞的匹配
- PHP引擎php.ini參數(shù)優(yōu)化深入講解
- php優(yōu)化查詢foreach代碼實(shí)例講解
- PHP安全配置優(yōu)化詳解
- PHP優(yōu)化教程之解決嵌套問題
- PHP解決高并發(fā)的優(yōu)化方案實(shí)例
- PHP優(yōu)化之批量操作MySQL實(shí)例分析
- 如何使用PHP對象POPO來優(yōu)化你的代碼