PHP使用curl_multi_select解決curl_multi網(wǎng)頁假死問題的方法

本文實(shí)例講述了PHP使用curl_multi_select解決curl_multi網(wǎng)頁假死問題的方法。分享給大家供大家參考，具體如下：

curl_multi可以批處理事務(wù)，給網(wǎng)頁編程帶來很大的方便。不過在使用curl_multi的過程中，我們會(huì)遇到一個(gè)比較頭疼的問題，那就是當(dāng)并發(fā)處理的事務(wù)數(shù)量過多的時(shí)候，就會(huì)出現(xiàn)CPU過高，網(wǎng)頁假死的現(xiàn)象，這是不可以忽視的。

今天，通過查詢相關(guān)資料和測試，終于找到了一個(gè)解決問題的方法。

正常情況下，我們是這樣使用curl_multi的。

實(shí)例代碼：

$connomains = array(
"http://www.jb51.net/",
"http://www.163.com/",
"http://www.sina.com.cn/"
);
$mh = curl_multi_init();
foreach ($connomains as $i => $url) {
   $conn[$i]=curl_init($url);
   curl_setopt($conn[$i],CURLOPT_RETURNTRANSFER,1);
   curl_multi_add_handle ($mh,$conn[$i]);
}
do { $n=curl_multi_exec($mh,$active); } while ($active);
foreach ($connomains as $i => $url) {
   $res[$i]=curl_multi_getcontent($conn[$i]);
   curl_close($conn[$i]);
}
print_r($res);

這個(gè)實(shí)例代碼有個(gè)致命弱點(diǎn)，就是在do循環(huán)的那段，在整個(gè)url請求期間是個(gè)死循環(huán)，它會(huì)輕易導(dǎo)致CPU占用很高，網(wǎng)頁出現(xiàn)假死狀態(tài)。

經(jīng)過測試發(fā)現(xiàn)，我們可以巧妙使用curl_multi_select()函數(shù)來解決這個(gè)問題。

方法如下：

把

do { $n=curl_multi_exec($mh,$active); } while ($active);

改為

do {
   $mrc = curl_multi_exec($mh,$active);
} while ($mrc == CURLM_CALL_MULTI_PERFORM);
while ($active and $mrc == CURLM_OK) {
    if (curl_multi_select($mh) != -1) {
      do {
          $mrc = curl_multi_exec($mh, $active);
      } while ($mrc == CURLM_CALL_MULTI_PERFORM);
    }
}

因?yàn)?active要等全部url數(shù)據(jù)接受完畢才變成false，所以這里用到了curl_multi_exec的返回值判斷是否還有數(shù)據(jù)，當(dāng)有數(shù)據(jù)的時(shí)候就不停調(diào)用curl_multi_exec，暫時(shí)沒有數(shù)據(jù)就進(jìn)入select階段，新數(shù)據(jù)一來就可以被喚醒繼續(xù)執(zhí)行。這里的好處就是CPU的無謂消耗沒有了。

另外可能遇到的問題：

控制每一個(gè)請求的超時(shí)時(shí)間，在curl_multi_add_handle之前通過curl_setopt去做：

curl_setopt($ch, CURLOPT_TIMEOUT, $timeout);

判斷是否超時(shí)了或者其他錯(cuò)誤，在curl_multi_getcontent之前用：

curl_error($conn[$i]);

了解multi接口

當(dāng)程序需要進(jìn)行多次curl并發(fā)請求的時(shí)候，curl提供的multi接口就派上用場了。流暢大致是這樣的：

1）、curl_multi _init初始化一個(gè)multi curl對(duì)象，為了同時(shí)進(jìn)行多個(gè)curl的并發(fā)訪問，我們需要初始化多個(gè)easy curl對(duì)象，使用curl_easy_setopt進(jìn)行相關(guān)設(shè)置。

2）、調(diào)用curl_multi _add_handle把easy curl對(duì)象添加到multi curl對(duì)象中。

3）、添加完畢后執(zhí)行curl_multi_perform方法進(jìn)行并發(fā)的訪問。

4）、訪問結(jié)束后curl_multi_remove_handle移除相關(guān)easy curl對(duì)象，curl_easy_cleanup清除easy curl對(duì)象。

5）、最后curl_multi_cleanup清除multi curl對(duì)象。

一個(gè)簡單明了的PHP使用curl_multi_add_handle并行處理實(shí)例

?php
// 創(chuàng)建一對(duì)cURL資源
$ch1 = curl_init();
$ch2 = curl_init();
// 設(shè)置URL和相應(yīng)的選項(xiàng)
curl_setopt($ch1, CURLOPT_URL, "http://www.jb51.net/");
curl_setopt($ch1, CURLOPT_HEADER, 0);
curl_setopt($ch2, CURLOPT_URL, "http://www.baidu.com/");
curl_setopt($ch2, CURLOPT_HEADER, 0);
// 創(chuàng)建批處理cURL句柄
$mh = curl_multi_init();
// 增加2個(gè)句柄
curl_multi_add_handle($mh,$ch1);
curl_multi_add_handle($mh,$ch2);
$running=null;
// 執(zhí)行批處理句柄
do {
  curl_multi_exec($mh,$running);
} while($running > 0);
// 關(guān)閉全部句柄
curl_multi_remove_handle($mh, $ch1);
curl_multi_remove_handle($mh, $ch2);
curl_multi_close($mh);
?>

更多關(guān)于PHP相關(guān)內(nèi)容感興趣的讀者可查看本站專題：《php curl用法總結(jié)》、《PHP網(wǎng)絡(luò)編程技巧總結(jié)》、《PHP數(shù)組(Array)操作技巧大全》、《php字符串(string)用法總結(jié)》、《PHP數(shù)據(jù)結(jié)構(gòu)與算法教程》及《PHP中json格式數(shù)據(jù)操作技巧匯總》

希望本文所述對(duì)大家PHP程序設(shè)計(jì)有所幫助。