php 抓取网页内容优化
我想在youku网抓取高清视频的链接,然后发到手机客户端那里,可是抓取的时间不理想(大概50个视频,电脑抓取显示在网页都要6秒多,发送到手机更要30秒),想问有什么优化方法呢?
回复讨论(解决方案)
换光纤 !
楼主是要抓链接吧,不是抓视频内容吧,用CURL
楼主是要抓链接吧,不是抓视频内容吧,用CURL
我现在用的是正则表达式抓取标签,时间太长了,你是说可以用curl来做?
有没有具体的思路
你可以把你的代码贴出来,看有没有可优化的地方。
你可以把你的代码贴出来,看有没有可优化的地方。
“);$sub=substr($r, 0,$position);$pos=mb_strrpos($sub, “>”);$til=substr($sub, $pos+1);$subArray=array(‘image’=>$last,’video’=>$video_url,’title’=>$til);array_push($resultArray, $subArray);}$resultJson=json_encode($resultArray);file_put_contents(‘web.txt’, print_r($resultJson,true));
以上就是全部代码了..
foreach ($video as $key)
{
$nextContent=file_get_contents($nextUrl);
…
我说换光纤吧,循环地 file_get_contents,6秒很便宜了
foreach ($video as $key)
{
$nextContent=file_get_contents($nextUrl);
…
我说换光纤吧,循环地 file_get_contents,6秒很便宜了
?丝换不起
用curl_multi_exec()并发抓取
用curl_multi_exec()并发抓取
虽然还没弄好,但是大神提供了思路,也提供我学习的方向!