cURL multi批处理实现及避免cURL multi造成CPU负载过高问题
2015-08-31 19:12
477 查看
cURL multi批处理实现及避免cURL multi造成CPU负载过高问题
=============================
cURL multi这些函数时,目的显然应该是要同时请求多个url,而不是一个一个依次请求,否则不如自己循环去调curl_exec好了。
http://php.net/manual/en/function.curl-multi-exec.phphttp://php.net/manual/zh/function.curl-multi-exec.php
这只返回错误关于整个多堆栈。
有可能还有 发生的问题对个别情况,即使这个函数返回
CURLM_OK。
Note:
This only returns errors regarding the whole multi stack. There might still have occurred problems on individual transfers even when this function returns
CURLM_OK.
==================================================================
/article/1208306.html
简单的cURL处理如下:
$ch = curl_init(); curl_setopt($ch, CURLOPT_URL, 'http://www.phpddt.com'); curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE); $con = curl_exec($ch); curl_close($ch);
cURL还提供了批量处理会话,下面是cURL批量处理相关函数:
curl_multi_init — 返回一个新cURL批处理句柄
curl_multi_add_handle — 向curl批处理会话中添加单独的curl句柄
curl_multi_exec — 解析一个cURL批处理句柄
curl_multi_getcontent — 如果设置了CURLOPT_RETURNTRANSFER,则返回获取的输出的文本流
curl_multi_select — 等待所有cURL批处理中的活动连接
curl_multi_info_read — 获取当前解析的cURL的相关传输信息
curl_multi_remove_handle — 移除curl批处理句柄资源中的某个句柄资源
curl_multi_close — 关闭一组cURL句柄
看下面使用curl multi批处理的例子:
<?php /** * cURL multi批量处理 * * @author mckee * @link http://www.phpddt.com * */ $url_array = array( 'http://www.phpddt.com/', 'http://www.phpddt.com/php/627.html', '/article/1208556.html' ); $handles = $contents = array(); //初始化curl multi对象 $mh = curl_multi_init(); //添加curl 批处理会话 foreach($url_array as $key => $url) { $handles[$key] = curl_init($url); curl_setopt($handles[$key], CURLOPT_RETURNTRANSFER, 1); curl_setopt($handles[$key], CURLOPT_TIMEOUT, 10); curl_multi_add_handle($mh, $handles[$key]); } //======================执行批处理句柄================================= $active = null; do { $mrc = curl_multi_exec($mh, $active); } while ($mrc == CURLM_CALL_MULTI_PERFORM); while ($active and $mrc == CURLM_OK) { if(curl_multi_select($mh) === -1){ usleep(100); } do { $mrc = curl_multi_exec($mh, $active); } while ($mrc == CURLM_CALL_MULTI_PERFORM); } //==================================================================== //获取批处理内容 foreach($handles as $i => $ch) { $content = curl_multi_getcontent($ch); $contents[$i] = curl_errno($ch) == 0 ? $content : ''; } //移除批处理句柄 foreach($handles as $ch) { curl_multi_remove_handle($mh, $ch); } //关闭批处理句柄 curl_multi_close($mh); print_r($contents);
上面这段程序重点是执行批处理的那段,普通的处理:
do { $n=curl_multi_exec($mh,$active); } while ($active);
会造成CPU Loading过高,因为$active要等全部url数据接受完毕才变成false,所以这里用到了curl_multi_exec的返回值判断是否还有数据,当有数据的时候就不停调用curl_multi_exec,没有执行数据就会sleep,如此就会避免CPU
Loading 100%了。
参考资料:
(1)PHP手册关于cURL教程
(2)curl预定义常量
相关文章推荐
- 反射小结
- php二维数组去重
- 社会化分享功能百度分享代码示例
- block传值
- erlang的正则匹配和文本解析
- java并发编程实战第六章(5)使用带有延迟元素的线程安全列表
- OPS - get the server's gateway
- 解决mysql出现几个l的问题
- 技术小白成长之路
- 树形DP入门题 cf 161D
- python中xrange和range的异同
- android 获得程序列表
- Tutorial 05: Synching Video
- java多线程1(Thread,Runnable,ThreadPoolExecutor)
- Android之IM聊天界面的搭建以及gradient渐变色的设置
- linux运维实战练习-2015年8月27日课程作业
- 新一代大神
- 数据结构与算法分析Java版练习2.1和2.2
- iOS极光推送
- 搜索 POJ2718