自定义时间采集新浪的“新浪科技”栏目新闻(原型版)
2009-10-07 22:51
274 查看
自定义时间采集新浪的“新浪科技”栏目新闻(原型版)
具体的代码其实也不太难,自我感觉,主要是我不太会用正则,不会吧,应该说,呵呵,还有就是不太清楚到底preg_match(_all)匹配结果后的数组到底是怎么样形成的,结构是怎么样的,就是结果中动不动就有空啊,如果是二维的数组,这个二维中的第一个大数组又是从哪里来的,都不太明白,只是暂时能把新闻采集回来,而且还是可以采集任意一天的新闻。
具体代码如下:
<?php
$date = '2009-10-06';//格式为2009-10-01
$msg = file_get_contents('http://tech.sina.com.cn/tele/oldnews/'.$date.'.shtml');
preg_match_all('/<a href=(.*?) target=_blank>(.*)<//a><FONT style="font-size:11px" COLOR=#6666cc>(.*?)<//font>/',$msg,$arr);
$arr = array_unique($arr);
$count = count($arr[0]);
//echo $count;
for ($i=0;$i<$count;$i++){
echo $arr[0][$i].'<br />';
preg_match("/<a href=//t(.*?)//$date//(.*?)/.shtml target=_blank>/",$arr[0][$i],$url[$i]);
$content = file_get_contents('http://tech.sina.com.cn/t/'.$date.'/'.$url[$i][2].'.shtml');
preg_match("/<!-- publish_helper name='原始正文' (.*?)-->(.*?)<!-- publish_helper_end -->/is",$content,$cont);
$var = $cont[0];
echo $var;
}
?>
我的主要思路是先把'http://tech.sina.com.cn/tele/oldnews/'.$date.'.shtml'页面的列表找出来,然后在找出里面的新闻的具体ID,赋值给'http://tech.sina.com.cn/t/'.$date.'/'.$url[$i][2].'.shtml'这个连接,实际上就是新闻显页面的具体连接,这样就可以显示新闻了。(其中用到了FOR循环显示)
做的很简单,应该还有很多不足,希望高手指点啊,呵呵。
具体的代码其实也不太难,自我感觉,主要是我不太会用正则,不会吧,应该说,呵呵,还有就是不太清楚到底preg_match(_all)匹配结果后的数组到底是怎么样形成的,结构是怎么样的,就是结果中动不动就有空啊,如果是二维的数组,这个二维中的第一个大数组又是从哪里来的,都不太明白,只是暂时能把新闻采集回来,而且还是可以采集任意一天的新闻。
具体代码如下:
<?php
$date = '2009-10-06';//格式为2009-10-01
$msg = file_get_contents('http://tech.sina.com.cn/tele/oldnews/'.$date.'.shtml');
preg_match_all('/<a href=(.*?) target=_blank>(.*)<//a><FONT style="font-size:11px" COLOR=#6666cc>(.*?)<//font>/',$msg,$arr);
$arr = array_unique($arr);
$count = count($arr[0]);
//echo $count;
for ($i=0;$i<$count;$i++){
echo $arr[0][$i].'<br />';
preg_match("/<a href=//t(.*?)//$date//(.*?)/.shtml target=_blank>/",$arr[0][$i],$url[$i]);
$content = file_get_contents('http://tech.sina.com.cn/t/'.$date.'/'.$url[$i][2].'.shtml');
preg_match("/<!-- publish_helper name='原始正文' (.*?)-->(.*?)<!-- publish_helper_end -->/is",$content,$cont);
$var = $cont[0];
echo $var;
}
?>
我的主要思路是先把'http://tech.sina.com.cn/tele/oldnews/'.$date.'.shtml'页面的列表找出来,然后在找出里面的新闻的具体ID,赋值给'http://tech.sina.com.cn/t/'.$date.'/'.$url[$i][2].'.shtml'这个连接,实际上就是新闻显页面的具体连接,这样就可以显示新闻了。(其中用到了FOR循环显示)
做的很简单,应该还有很多不足,希望高手指点啊,呵呵。
相关文章推荐
- fsockopen采集新浪 http://roll.news.sina.com.cn/news/gnxw/zs-pl/index_1.shtml 新闻列表以及对应文章页
- 新浪新闻采集程序
- Php采集让你的站跟新浪网的新闻保持同步
- 实例演示php采集新浪sina首页的新闻
- Php采集让你的站跟新浪网的新闻保持同步.doc
- python - 采集 新浪新闻-国内-最新消息 转为xlsx
- .NET RSS新闻自动采集
- 爬虫:新浪详情新闻爬取总结
- Python之路__爬虫篇:新浪新闻爬取回顾(二)
- 新闻采集
- nodejs 采集新闻数据
- 经济观察报:新浪打造网络新闻的工业化实验
- 【新浪假新闻罪证】女排姑娘奋战不敌俄罗斯 20年奥运冠军梦惜未能圆
- 【开源】开发者新闻APP+新闻Restful服务+博客园新闻采集程序+infoq新闻采集程序+36kr新闻采集程序+oschina新闻采集程序+51cto新闻采集程序+csdn新闻采集程序
- 朝鲜人在新浪朝核新闻评论中的留言
- 新闻采集应用程序
- 新浪新闻页面抓取(JAVA-Jsoup)
- 爬取新浪、网易、今日头条、UC四大网站新闻标题及内容
- 经济观察报:新浪打造网络新闻的工业化实验
- php采集csdn首页新闻