Python爬虫问题汇总(持续更新)
2018-02-04 05:33
447 查看
@分布式爬虫的slave端找不到scrapy_redis:
运行slave端时使用:sudo scrapy crawl spidername,或sudo scrapy runspider mycrawler_redis.py,总之sudo一下;
没sudo居然报找不到模块…没道理,蛋疼啊;
@分布式爬虫尝试连接远程redis被拒:
报错:redis.exceptions.ResponseError: DENIED Redis is running in protected mode…:
解决:https://www.cnblogs.com/nzbbody/p/6389619.html
@爬虫报连接丢失错误
报错:twisted.python.failure.Failure twisted.internet.error.ConnectionLost: Connection to the other side was lost in a non-clean fashion.
被反爬了,要配置请求头或IP代理
@ubuntu16下安装chrome浏览器:
http://www.linuxidc.com/Linux/2016-05/131096.htm
@安装chromedriver和phantomjs:
https://www.cnblogs.com/Lin-Yi/p/7658001.html
chrome支持无头模式以后,phantomjs已然过时,不太有学的必要了
@chromedriver的版本与chrome版本要注意匹配,否则会报非法上下文错误(Runtime.executionContextCreated has invalid ‘context’):
http://blog.csdn.net/c08762/article/details/70339587
运行slave端时使用:sudo scrapy crawl spidername,或sudo scrapy runspider mycrawler_redis.py,总之sudo一下;
没sudo居然报找不到模块…没道理,蛋疼啊;
@分布式爬虫尝试连接远程redis被拒:
报错:redis.exceptions.ResponseError: DENIED Redis is running in protected mode…:
解决:https://www.cnblogs.com/nzbbody/p/6389619.html
@爬虫报连接丢失错误
报错:twisted.python.failure.Failure twisted.internet.error.ConnectionLost: Connection to the other side was lost in a non-clean fashion.
被反爬了,要配置请求头或IP代理
@ubuntu16下安装chrome浏览器:
http://www.linuxidc.com/Linux/2016-05/131096.htm
@安装chromedriver和phantomjs:
https://www.cnblogs.com/Lin-Yi/p/7658001.html
chrome支持无头模式以后,phantomjs已然过时,不太有学的必要了
@chromedriver的版本与chrome版本要注意匹配,否则会报非法上下文错误(Runtime.executionContextCreated has invalid ‘context’):
http://blog.csdn.net/c08762/article/details/70339587
相关文章推荐
- 【Python】问题汇总[持续更新]
- 【猿小白】常见Python面试问题汇总~~~持续更新~~~直到拿到心仪的offer
- python字符转码问题-持续更新
- Python 爬虫(持续更新)
- iOS11 Xcode9正式版问题汇总以及新特性(持续更新中....)
- msn不能登录问题汇总【持续更新。。。】
- Svn遇到的问题汇总(持续更新)
- 兼容性问题解决方案汇总(持续更新,欢迎收藏!)
- hadoop运维问题汇总,持续更新
- 关于ASP.NET MVC开发设计中出现的问题与解决方案汇总 【持续更新】
- MAC下安装android studio问题汇总(持续更新)
- Swift问题汇总~持续更新
- [置顶] 平时问题汇总(持续更新)
- 基于BM3803处理器平台的PCI软硬件调试问题汇总(持续更新中)
- JAVA eclipse 问题汇总(持续更新)
- torch问题及解决方案汇总(持续更新)
- 升级xcode7问题汇总(持续更新)
- 项目开发中遇到的问题汇总~持续更新
- Python pip 更新问题汇总
- centos 6.5 升级python到python 2.7.6出现的问题及解决方法汇总[经常更新]