Scrapy爬取知乎用户信息遇见的问题
2017-07-04 16:05
459 查看
首先在将ROBOTSTXT_OBEY设置成False之后运行爬虫进行测试，发现错误，错误码为500.
经检查发现是缺少User-Agent.
在setting中找到DEFAULT_REQUEST_HEADERS,添加上User-Agent.
再次运行爬虫，爬取成功。
然后进行个人主页爬取，再次发现错误，错误码为401
查询后发现是缺少请求头authorization,回到DEFAULT_REQUEST_HEADERS，加上authorization参数。
[b]
[/b]
此时运行爬虫程序，爬取成功，爬取到json格式的文本。
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 利用Scrapy爬取所有知乎用户详细信息并存至MongoDB
- Python爬虫从入门到放弃（十九）之 Scrapy爬取所有知乎用户信息(下)
- 利用Scrapy爬取知乎用户详细信息并存至MongoDB（学习笔记）（1）
- 利用 Scrapy 爬取知乎用户信息
- Scrapy 爬取知乎用户信息
- 用Scrapy爬取知乎用户信息，并存到MongoDB
- Python爬虫从入门到放弃（十九）之 Scrapy爬取所有知乎用户信息(下)
- python爬取知乎话题的精华问题下的用户信息
- Python爬虫从入门到放弃（十八）之 Scrapy爬取所有知乎用户信息(上)
- 利用Scrapy爬取知乎用户详细信息并存至MongoDB
- python爬虫实战笔记---以轮子哥为起点Scrapy爬取知乎用户信息
- 使用Scrapy爬取百万知乎用户信息
- 爬取知乎用户信息、头像、问题关注者、用户的所有关注者的头像
- scrapy框架爬取知乎110w用户信息，并存入mysql数据库和mongoDB数据库
- Scrapy爬取知乎用户信息以及人际拓扑关系
- 统计知乎问题点赞用户的信息及可视化
- Scrapy_redis+scrapyd搭建分布式架构爬取知乎用户信息
- 关于淘宝应用毋须授权即可获取用户信息的问题
- Documentum常见问题5—如何查看工作流运行过程中用户的note备注信息
- 基类的构造函数中获取用户的信息，比如Cookie、Session等，但Session在构造时却还不存在问题解决方案