php实现采集电影数据

<?php

header("content-type:text/html;charset=utf-8");

//初始化curl

$curl = curl_init();

//突破防盗链

curl_setopt($curl, CURLOPT_REFERER, "www.7060.com");

//设置curl的url

curl_setopt($curl, CURLOPT_URL, "http://www.7060.mobi/list/1_0_8_0_0_0_new.html");

//设置不限制时间

set_time_limit(0);

//设置将curl_exec()获取的信息以文件流的形式返回，而不是直接输出。

curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);

$str= curl_exec($curl);

//定义下载图片的路径

if(!is_dir("./caiji")){

    mkdir("./caiji");

}else{

    $dir="./caiji";

}

//截取后的内容

$content =cut_str('<div id="haibaoBox">','<div class="pager">', $str);

//<a></a>的正则

  $preg ='/<a\s*href=(\"|\')*(.*)\1[^>]*>(.*)<\/a>/U';

//$patt ='/<a\s*href=("|\')(.*)\1[^>]*>(.*)<\/a>/U';

//匹配结果放入数组$a中

preg_match_all($preg, $content,$a);

echo "<pre>";

//遍历$a,

foreach ($a[0] as $k =>$v){

    $data["www.7060.mobi".$a[2][$k]] =array(

            "title"=>strip_tags($a[3][$k]),

            "litpic"=>cut_str('data-original="','" src="', $a[3][$k])

    );

    

//结果如下

// [www.7060.mobi/movie/21471.html] => Array

// (

//         [title] => 科洛弗档案

//         [litpic] => http://7060.2bao.cc/upload/s/2013-12/545c25ade77bf.jpg
// )

}

//var_dump($data);

//声明一个数组保存收集的电影数据

$list =array();

foreach ($data as $k=>$v){

    $row['title']=$v['title'];

    $row['daoyan']=downdaoyan($curl,$k);

    $row['zhuyan']=downzhuyan($curl,$k);

    $row['litpic']=downpicture($curl, $v['litpic'],$dir);

    //$row['litpic']=$v['litpic'];

    $list[]=$row;

}

var_dump($list);

/*得到详细页面导演

 * $url,详细页面地址

 * $curl,curl初始化资源

 * $dir 图片保存路径

 * */

function downdaoyan($curl,$url){

    //获得详细页面内容

    curl_setopt($curl, CURLOPT_URL, $url);

    curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);

    $xiangxi =curl_exec($curl);

    //<li><span>导演：</span><a target="_blank" href="/vod-%E9%A9%AC%E7%89%B9%C2%B7%E9%87%8C%E5%A4%AB%E6%96%AF.html">马特·里夫斯</a></li>

    $dypreg ='/<li><span>导演：<\/span>(.*)<\/li>/';

    preg_match($dypreg, $xiangxi,$a);

    $daoyan =preg_replace(array('/<a[^>]*>/','/<\/a>/'), array("",","), $a[1]);

    return trim($daoyan,",");

    

}

/*得到详细页面主演

 * $url,详细页面地址

 * $curl,curl初始化资源

 * */

function downzhuyan($curl,$url){

    //获得详细页面内容

    curl_setopt($curl, CURLOPT_URL, $url);

    curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);

    $xiangxi =curl_exec($curl);

    //<li><span>主演：</span><a target="_blank" href="/vod-%E6%9D%8E%E7%81%BF%E7%87%90.html">李灿燐</a><a target="_blank" href="/vod-%E6%A2%81%E5%98%89%E7%90%AA.html">梁嘉琪</a><a target="_blank" href="/vod-%E7%BD%97%E6%A0%91%E7%85%8C.html">罗树煌</a><a target="_blank"
href="/vod-%E9%BB%84%E7%88%B5%E6%99%93.html">黄爵晓</a></li>

    $zypreg ='/<li><span>主演：<\/span>(.*)<\/li>/';

    preg_match($zypreg, $xiangxi,$a);

    $daoyan =preg_replace(array('/<a[^>]*>/','/<\/a>/'), array("",","), $a[1]);

    return trim($daoyan,",");

    

}

/*得到详细页面图片

 * $url,详细页面图片地址

 * $curl,curl初始化资源

 * $dir,图片路径

 * */

function downpicture($curl,$url,$dir){

    

    //获得详细页面内容

    curl_setopt($curl, CURLOPT_URL, $url);

    curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);

    $xiangxi =curl_exec($curl);

//     //<span class="down_neirLeft_Pic"><img src="http://7060.2bao.cc/upload/b/2014-11/5459a8d001146.jpg" alt="最后的学生时代下载" width="185" height="245" /></span>

//     $tppreg ='/<span\s*class="down_neirLeft_Pic"><img src="(.*)"\s*alt="/';

//     preg_match($dypreg, $xiangxi,$a);

//     $daoyan =preg_replace(array('/<a[^>]*>/','/<\/a>/'), array("",","), $a[1]);

//     return trim($daoyan,",");

    //http://7060.2bao.cc/upload/s/2013-12/545c25ade77bf.jpg

    //得到文件名

    $filename = substr(strrchr($url,"/"),1);

    //保存图片

    file_put_contents($dir."/".$filename, $xiangxi);

    return $dir."/".$filename;

    

    

}

/*

 * 截取字符串的函数

 * $start 开始的字符

 * $end  结束的字符

 * $str 截取源

 * */

function cut_str($start,$end,$str){

    //通过开始位置和结束位置求出长度用substr获取字符串

    $s = strpos($str, $start)+strlen($start);

    $e = strpos($str, $end);

    $offset = $e-$s;

    return substr($str, $s,$offset);

    //echo $e;

    

    

}