京东商品评论抓取(抓包方法)
2018-01-19 14:30
507 查看
import requests import json #import pprint #找到评论真实url url='https://sclub.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv13&productId=5725260&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fol' headers={ 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36' } res=requests.get(url,headers=headers) #转换为python字典格式,去除头尾不相关字符 jd=json.loads(res.text.lstrip('fetchJSON_comment98vv13(').rstrip(');')) #pprint.pprint(jd) com_list=jd['comments'] for i in com_list: print(i['content'])#提取一页评论
相关文章推荐
- 基于机器学习的NLP情感分析(一)---- 数据采集与词向量构造方法(京东商品评论情感分析)
- python爬虫selenium+firefox抓取京东商品评论
- [置顶] [爬虫]使用python抓取京东全站数据(商品,店铺,分类,评论)
- Android和iOS上通用的抓包方法: 用Fiddler抓取
- 京东商品及评论 数据采集
- 【爬虫】利用Scrapy抓取京东商品、豆瓣电影、技术问题
- 小胖说事51-----ios抓包工具之Charles的使用(抓取HTTPS的方法)
- python抓取京东价格分析京东商品价格走势
- Scrapy抓取京东商品、豆瓣电影及代码分享
- 使用golang抓取京东全部商品分类信息
- scrapy爬虫之抓取京东机械键盘评论量并画图展示
- python json 爬京东商品评论
- 爬取京东商品价格和评论数
- Scrapy学习笔记(4)分布式爬取京东商品详情,评论和评论总结
- 爬虫学习笔记_京东商品内容、评论
- 网页采集实践:配置京东商品评论爬虫(值得收藏)
- python制作爬虫爬取京东商品评论教程
- 使用golang抓取京东商品数据
- Python爬虫(一)京东商品价格及详情页抓取
- 【Python】抓取京东列表页商品信息(selenium)