Scrapy shell调试返回403错误
2017-05-07 16:37
337 查看
(1):第一种方法是在命令上加上-s USER_AGENT='Mozilla/5.0'
[b](2):第二种方法是修改scrapy的user-agent默认值[/b]
找到Python的:安装目录下的default_settings.py文件,
C:\Program Files (x86)\Anaconda2\envs\scrapy\Lib\site-packages\scrapy\settings\default_settings.py
修改269行,USER_AGENT;
USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
(2):第在请求头部构造一个User Agent,如下所示:
[b](2):第二种方法是修改scrapy的user-agent默认值[/b]
找到Python的:安装目录下的default_settings.py文件,
C:\Program Files (x86)\Anaconda2\envs\scrapy\Lib\site-packages\scrapy\settings\default_settings.py
修改269行,USER_AGENT;
USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
(2):第在请求头部构造一个User Agent,如下所示:
1 def start_requests(self): 2 yield Request("http://www.baidu.com/", 3 headers={'User-Agent': "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"})
相关文章推荐
- Scrapy shell调试返回403错误
- scrapy shell 调试返回403 返回为[]
- Scrapy爬虫入门教程八 交互式 shell 方便调试
- Scrapy: 爬虫返回403错误
- 在Scrapy中启动shell来调试
- 用Scrapy shell调试xpath
- Scrapy: 爬虫返回403错误
- scrapy 爬豆瓣返回403错误的解决方法
- 用Scrapy shell调试xpath
- Shell脚本调试技术
- shell脚本的调试技巧
- 关于shell 的一些调试问题
- Delphi7下用dbExpress调用Oracle存储过程(返回数据集)的一个简单示例和调试过程
- linux命令---shell脚本调试
- 调试Shell脚本的技巧
- 爬虫:Scrapy7 - Scrapy终端(Scrapy shell)
- 如何调试shell脚本
- shell脚本里面一个很经典的调试方法(原创)
- Shell脚本调试技术
- 如何调试Windows外壳扩展程序(Shell Extension)