PHP使用curl_multi_select解決curl_multi網(wǎng)頁(yè)假死問(wèn)題的方法
本文實(shí)例講述了PHP使用curl_multi_select解決curl_multi網(wǎng)頁(yè)假死問(wèn)題的方法。分享給大家供大家參考,具體如下:
curl_multi可以批處理事務(wù),給網(wǎng)頁(yè)編程帶來(lái)很大的方便。不過(guò)在使用curl_multi的過(guò)程中,我們會(huì)遇到一個(gè)比較頭疼的問(wèn)題,那就是當(dāng)并發(fā)處理的事務(wù)數(shù)量過(guò)多的時(shí)候,就會(huì)出現(xiàn)CPU過(guò)高,網(wǎng)頁(yè)假死的現(xiàn)象,這是不可以忽視的。
今天,通過(guò)查詢(xún)相關(guān)資料和測(cè)試,終于找到了一個(gè)解決問(wèn)題的方法。
正常情況下,我們是這樣使用curl_multi的。
實(shí)例代碼:
$connomains = array(
"http://www.dhdzp.com/",
"http://www.163.com/",
"http://www.sina.com.cn/"
);
$mh = curl_multi_init();
foreach ($connomains as $i => $url) {
$conn[$i]=curl_init($url);
curl_setopt($conn[$i],CURLOPT_RETURNTRANSFER,1);
curl_multi_add_handle ($mh,$conn[$i]);
}
do { $n=curl_multi_exec($mh,$active); } while ($active);
foreach ($connomains as $i => $url) {
$res[$i]=curl_multi_getcontent($conn[$i]);
curl_close($conn[$i]);
}
print_r($res);
這個(gè)實(shí)例代碼有個(gè)致命弱點(diǎn),就是在do循環(huán)的那段,在整個(gè)url請(qǐng)求期間是個(gè)死循環(huán),它會(huì)輕易導(dǎo)致CPU占用很高,網(wǎng)頁(yè)出現(xiàn)假死狀態(tài)。
經(jīng)過(guò)測(cè)試發(fā)現(xiàn),我們可以巧妙使用curl_multi_select()函數(shù)來(lái)解決這個(gè)問(wèn)題。
方法如下:
把
do { $n=curl_multi_exec($mh,$active); } while ($active);
改為
do {
$mrc = curl_multi_exec($mh,$active);
} while ($mrc == CURLM_CALL_MULTI_PERFORM);
while ($active and $mrc == CURLM_OK) {
if (curl_multi_select($mh) != -1) {
do {
$mrc = curl_multi_exec($mh, $active);
} while ($mrc == CURLM_CALL_MULTI_PERFORM);
}
}
因?yàn)?active要等全部url數(shù)據(jù)接受完畢才變成false,所以這里用到了curl_multi_exec的返回值判斷是否還有數(shù)據(jù),當(dāng)有數(shù)據(jù)的時(shí)候就不停調(diào)用curl_multi_exec,暫時(shí)沒(méi)有數(shù)據(jù)就進(jìn)入select階段,新數(shù)據(jù)一來(lái)就可以被喚醒繼續(xù)執(zhí)行。這里的好處就是CPU的無(wú)謂消耗沒(méi)有了。
另外可能遇到的問(wèn)題:
控制每一個(gè)請(qǐng)求的超時(shí)時(shí)間,在curl_multi_add_handle之前通過(guò)curl_setopt去做:
curl_setopt($ch, CURLOPT_TIMEOUT, $timeout);
判斷是否超時(shí)了或者其他錯(cuò)誤,在curl_multi_getcontent之前用:
curl_error($conn[$i]);
了解multi接口
當(dāng)程序需要進(jìn)行多次curl并發(fā)請(qǐng)求的時(shí)候,curl提供的multi接口就派上用場(chǎng)了。流暢大致是這樣的:
1)、curl_multi _init初始化一個(gè)multi curl對(duì)象,為了同時(shí)進(jìn)行多個(gè)curl的并發(fā)訪問(wèn),我們需要初始化多個(gè)easy curl對(duì)象,使用curl_easy_setopt進(jìn)行相關(guān)設(shè)置。
2)、調(diào)用curl_multi _add_handle把easy curl對(duì)象添加到multi curl對(duì)象中。
3)、添加完畢后執(zhí)行curl_multi_perform方法進(jìn)行并發(fā)的訪問(wèn)。
4)、訪問(wèn)結(jié)束后curl_multi_remove_handle移除相關(guān)easy curl對(duì)象,curl_easy_cleanup清除easy curl對(duì)象。
5)、最后curl_multi_cleanup清除multi curl對(duì)象。
一個(gè)簡(jiǎn)單明了的PHP使用curl_multi_add_handle并行處理實(shí)例
<?php
// 創(chuàng)建一對(duì)cURL資源
$ch1 = curl_init();
$ch2 = curl_init();
// 設(shè)置URL和相應(yīng)的選項(xiàng)
curl_setopt($ch1, CURLOPT_URL, "http://www.dhdzp.com/");
curl_setopt($ch1, CURLOPT_HEADER, 0);
curl_setopt($ch2, CURLOPT_URL, "http://www.baidu.com/");
curl_setopt($ch2, CURLOPT_HEADER, 0);
// 創(chuàng)建批處理cURL句柄
$mh = curl_multi_init();
// 增加2個(gè)句柄
curl_multi_add_handle($mh,$ch1);
curl_multi_add_handle($mh,$ch2);
$running=null;
// 執(zhí)行批處理句柄
do {
curl_multi_exec($mh,$running);
} while($running > 0);
// 關(guān)閉全部句柄
curl_multi_remove_handle($mh, $ch1);
curl_multi_remove_handle($mh, $ch2);
curl_multi_close($mh);
?>
更多關(guān)于PHP相關(guān)內(nèi)容感興趣的讀者可查看本站專(zhuān)題:《php curl用法總結(jié)》、《PHP網(wǎng)絡(luò)編程技巧總結(jié)》、《PHP數(shù)組(Array)操作技巧大全》、《php字符串(string)用法總結(jié)》、《PHP數(shù)據(jù)結(jié)構(gòu)與算法教程》及《PHP中json格式數(shù)據(jù)操作技巧匯總》
希望本文所述對(duì)大家PHP程序設(shè)計(jì)有所幫助。
- PHP curl偽造IP地址和header信息代碼實(shí)例
- php curl中g(shù)zip的壓縮性能測(cè)試實(shí)例分析
- php使用curl檢測(cè)網(wǎng)頁(yè)是否被百度收錄的示例分享
- php中通過(guò)curl檢測(cè)頁(yè)面是否被百度收錄
- php使用curl判斷網(wǎng)頁(yè)404(不存在)的方法
- php下利用curl判斷遠(yuǎn)程文件是否存在的實(shí)現(xiàn)代碼
- php使用curl詳細(xì)解析及問(wèn)題匯總
- 關(guān)于PHP的curl開(kāi)啟問(wèn)題探討
- 關(guān)于php curl獲取301或302轉(zhuǎn)向的網(wǎng)址問(wèn)題的解決方法
- php使用curl獲取header檢測(cè)開(kāi)啟GZip壓縮的方法
相關(guān)文章
php計(jì)算兩個(gè)整數(shù)的最大公約數(shù)常用算法小結(jié)
這篇文章主要介紹了php計(jì)算兩個(gè)整數(shù)的最大公約數(shù)常用算法,實(shí)例總結(jié)了求最大公約數(shù)的三種常用方法,具有一定參考借鑒價(jià)值,需要的朋友可以參考下2015-03-03
解析PHP獲取當(dāng)前網(wǎng)址及域名的實(shí)現(xiàn)代碼
本篇文章是對(duì)PHP獲取當(dāng)前網(wǎng)址及域名的代碼進(jìn)行了詳細(xì)的分析介紹,需要的朋友參考下2013-06-06
關(guān)于查看MSSQL 數(shù)據(jù)庫(kù) 用戶(hù)每個(gè)表 占用的空間大小
本篇文章是對(duì)查看MSSQL數(shù)據(jù)庫(kù)用戶(hù)每個(gè)表占用的空間大小進(jìn)行了詳細(xì)的分析介紹,需要的朋友參考下2013-06-06
PHP中將字符串轉(zhuǎn)化為整數(shù)(int) intval() printf() 性能測(cè)試
早在Sql注入橫行的前幾年,字符串轉(zhuǎn)化為整數(shù)就已經(jīng)被列為每個(gè)web程序必備的操作了。web程序?qū)et或post來(lái)的id、整數(shù)等值強(qiáng)制經(jīng)過(guò)轉(zhuǎn)化函數(shù)轉(zhuǎn)化為整數(shù),過(guò)濾掉危險(xiǎn)字符,盡可能降低系統(tǒng)本身被Sql注入的可能性2012-03-03
收集的php編寫(xiě)大型網(wǎng)站問(wèn)題集
收集的php編寫(xiě)大型網(wǎng)站問(wèn)題集...2007-03-03

