爬取微博用户个人简介等信息
2018-03-16 22:24
281 查看
import json
from scrapy import Spider, Request
from weibouser.items import WeibouserItem
class WeiboSpider(Spider):
name = 'weibo'
allowed_domains = ['weibo.cn']
def start_requests(self):
for i in range(300):
yield Request(
url="h
b734
ttps://m.weibo.cn/api/container/getIndex?containerid=231051_-_fans_-_2619766381&luicode=10000011&lfid=1076032619766381&featurecode=20000320&since_id="+str(i),
callback=self.parse
)
def parse(self, response):
result = json.loads(response.body.decode("utf-8"))
result = result["data"]["cards"][0]["card_group"]
# print(result)
item = WeibouserItem()
# 提取json页面信息
# 当item中定义需要提取的键值队在result中就赋值,快捷的遍历所有
for data in result:
for field in item.fields:
# for i in data:
if field in data["user"]:
item[field] = data["user"][field]
print(item[field])
# with open("ww","w") as f:
# f.write(result)
yield item
# print(response.text)
![](//img-blog.csdn.net/20180316222254801?watermark/2/text/Ly9ibG9nLmNzZG4ubmV0L3FxXzI2ODc3Mzc3/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
![](//img-blog.csdn.net/20180316222234186?watermark/2/text/Ly9ibG9nLmNzZG4ubmV0L3FxXzI2ODc3Mzc3/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
from scrapy import Spider, Request
from weibouser.items import WeibouserItem
class WeiboSpider(Spider):
name = 'weibo'
allowed_domains = ['weibo.cn']
def start_requests(self):
for i in range(300):
yield Request(
url="h
b734
ttps://m.weibo.cn/api/container/getIndex?containerid=231051_-_fans_-_2619766381&luicode=10000011&lfid=1076032619766381&featurecode=20000320&since_id="+str(i),
callback=self.parse
)
def parse(self, response):
result = json.loads(response.body.decode("utf-8"))
result = result["data"]["cards"][0]["card_group"]
# print(result)
item = WeibouserItem()
# 提取json页面信息
# 当item中定义需要提取的键值队在result中就赋值,快捷的遍历所有
for data in result:
for field in item.fields:
# for i in data:
if field in data["user"]:
item[field] = data["user"][field]
print(item[field])
# with open("ww","w") as f:
# f.write(result)
yield item
# print(response.text)
相关文章推荐
- 爬取新浪微博用户的个人信息和微博内容
- Linux finger命令 id命令--Linux查看用户个人信息
- 谷歌新推隐私控制功能 方便用户查看个人信息78ps
- clearance 编辑个人用户信息界面
- 大数据24小时:海尔与软银合作布局智慧家庭,网友曝光苹果技术顾问非法窃取用户个人信息
- 会议记录管理系统(3) - 用户个人信息模块设计
- 恶意软件正在利用SSL服务器窃取用户个人信息!
- [iOS微博项目 - 3.4] - 获取用户信息
- 十一 Django 1.5.4 修改个人用户信息
- 微博 JS SDK WB.login 获取当前登录用户信息
- Datacoup以每月8美元的价格向用户收购用户信息,做个人数据的“批发商”
- CNNIC报告:微博是用户兴趣信息获取首选平台
- python爬虫批量抓取新浪微博用户ID及用户信息、微博内容
- 【分享】新浪微博用户信息及微博数据集
- Spring Security(有关获取用户认证和信息的简介)
- 阿里巴巴速卖通曝安全漏洞,可能泄露百万用户个人信息
- CNNIC报告:微博是用户兴趣信息获取首选平台
- 4G VoLTE漏洞:可致用户地理位置和其它个人信息泄露
- python使用cookie登陆新浪微博用户信息
- 央视曝光的iphone定位 可以收集用户的个人信息的那个新闻里,中国信息安全测评工程师用的是什么软件打开了普通用户看不了了的存储用户位置信息的文件