js抓取今日头条文章
2016-12-13 09:07
393 查看
首先验证头条接口是否支持jsonp,在接口地址的参数中添加callback=call
访问接口,返回的数据为:call(...)的形式
由此判断接口支持jsonp,那么接下来就好办了,可以使用jsonp访问接口,然后从返回数据中提取出所需要的数据。
http://www.toutiao.com/pgc/ma/?page_type=1&count=10&version=2&platform=pc&media_id=52155491628&max_behot_time=0&as=A1A578A48B28B39&cp=584B080BD3899E1&callback=call
访问接口,返回的数据为:call(...)的形式
由此判断接口支持jsonp,那么接下来就好办了,可以使用jsonp访问接口,然后从返回数据中提取出所需要的数据。
var time = 0; var as_param; var cp_param; $(function(){ var param = getParam(); as_param = param.as; cp_param = param.cp; getWeare(); }); function getWeare(){ $.ajax({ url:"http://www.toutiao.com/pgc/ma/?page_type=1&count=10&version=2&platform=pc&media_id=52155491628&max_behot_time=" +time+"&as="+as_param+"&cp="+cp_param+"&callback=tt", type:'get', dataType:'jsonp', jsonp:'tt' }); } function tt(data){ var tarray = []; if(data.has_more==1){ var adata = data.data; for(var i = 0; i < adata.length; i++){ var tmap = {}; var title = adata[i].title; var link = adata[i].source_url; tmap['title'] = title; tmap['url'] = TT + link; tarray.push(tmap); } } }
源码下载地址请百度搜索微儿博客或者直接访问 www.weare.net.cn
相关文章推荐
- Python3写爬虫(四)多线程实现数据爬取
- Scrapy的架构介绍
- 爬虫笔记
- 今日头条开启广告系统了
- 基于C#实现网页爬虫
- vbs 解析json jsonp的方法
- 利用Node.js制作爬取大众点评的爬虫
- node+express制作爬虫教程
- Nodejs爬虫进阶教程之异步并发控制
- Node.js环境下编写爬虫爬取维基百科内容的实例分享
- PHP+HTML+JavaScript+Css实现简单爬虫开发
- C#网络爬虫代码分享 C#简单的爬取工具
- 浅析JSONP技术原理及实现
- JavaScript中模拟实现jsonp
- AJAX实现跨域的三种方法(代理,JSONP,XHR2)
- Node.js返回JSONP详解
- json与jsonp知识小结(推荐)
- 深入浅析Jsonp解决ajax跨域问题
- 浅析JSONP解决Ajax跨域访问问题的思路详解
- jQuery中JSONP的两种实现方式详解