使用python爬取京东评论（json）

任务：爬取京东某手机的评论

这次爬取的内容是动态的所以不能直接爬源代码中的内容

打开网页按下F12在Network里找到productPageComments文件



打开这个文件



这个文件是由json保存的（这里面就是要爬取的内容)



先用读取网页

url='https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv17182&productId=4554969&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1'
#这里是上面网页的url
request=urllib2.Request(url)
response=urllib2.urlopen(request)
html =response.read().decode('GBK')

5 . 处理字符串使它可以使用json.loads语句

html=html.replace('fetchJSON_comment98vv17182(','')
html=html.replace(');','')
b=json.loads(html)

6 .整体代码：

#--*--coding:utf-8--*--
import urllib2
import json
import sys
reload(sys)
sys.setdefaultencoding('utf8')

f = open('01.txt','w')
for i in range(0,10):
url='https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv17182&productId=4554969&score=0&sortType=5&page='+str(i)+'&pageSize=10&isShadowSku=0&fold=1'
#实现爬多页
print url
request=urllib2.Request(url)
response=urllib2.urlopen(request)
html =response.read().decode('GBK')

html=html.replace('fetchJSON_comment98vv17182(','')
html=html.replace(');','')
#去掉多余的字符
b=json.loads(html)

for k in b['comments']:

content = k["content"].encode('utf-8')
print content
f.write(k["content"].encode('utf-8')+'\n')
referenceName=k["referenceName"].encode('utf-8')
print referenceName
f.write(k["referenceName"].encode('utf-8')+'\n')
referenceTime=k["referenceTime"].encode('utf-8')
print referenceTime
f.write(k["referenceTime"].encode('utf-8')+'\n\n')