您的位置:首页 > 其它

京东商品评论抓取(抓包方法)

2018-01-19 14:30 507 查看
import requests
import json
#import pprint
#找到评论真实url
url='https://sclub.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv13&productId=5725260&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fol'
headers={
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36'
}
res=requests.get(url,headers=headers)
#转换为python字典格式,去除头尾不相关字符
jd=json.loads(res.text.lstrip('fetchJSON_comment98vv13(').rstrip(');'))
#pprint.pprint(jd)
com_list=jd['comments']
for i in com_list:
print(i['content'])#提取一页评论
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: