第一篇:刚接触scrapy的阶段以及之前出现的问题
2017-07-23 12:42
225 查看
——如果我能够学好编程并且可以学以致用,那么我希望当一名Python工程师,如果我的脑子不够用,那是我自己未够班。
第一次写日志,遇到的问题一定要记下来。
在安装Scrapy的时候发现了几个问题:
1.官网下载pywin32, 需要找对版本,用pip安装的时候版本不对。
2.pip 安装wheel的时候报错,缺少twisted。那就继续安装twisted,好在pip安装超方便
3,cmd命令不熟悉,上来是蒙圈的,但是操作多了就适应了。
关于Scrapy:
1.在自己练习的时候,给Spider目录下建立了两个包含都'name = ‘xx’'的py文件,作为待编辑的副本,导致出现了missing scheme in request url错误,删除掉副本就好了。
如果spider程序里有语法错,运行Scrapy shell的时候是会报错的,所以可以推断spider目录下的每个py文件都对整个Scrapy shell的运行产生影响。
2.我还不会把 json文件导入数据库(?)或者导入Excel
3.练习爬星巴克网站每个商品的描述的过程是这样的:
首页-抓取标签栏里的分类产品页面链接:
分类产品页面-抓取每个产品的链接:
每个产品的页面-抓取产品名、描述、价格
4.待学习:
将json转成excel ,用excel可以保存成csv格式 ————————已解决:json12xls在线转换 http://j2e.kpoda.com/ 时间:2017.7.23 pm15:04
将爬到的数据保存为csv格式 http://bbs.csdn.net/topics/392159686
Linux ——鱼c上找资源
Github ——鱼c ————————已解决:参考廖雪峰git教程, 时间:2017/7/28
多线程——百
4000
度网盘
整站爬取——百度网盘
Selenium
Hadoop
Pig, Spark
——从零基础入门学习python的课程基本学完了,后面是讲交互界面Tinker和pygame的,我想深入学习Scrapy,所以暂时告别零基础入门学习python这门课了。
想听小甲鱼讲的《极客之选python》里面会讲Github!这个会在找工作的时候有加分。
——意外遇到了别人整理的安装python方案: http://blog.csdn.net/tinker_love_learning/article/category/6146456
日记创建时间:2017/7/23 14:00
第一次写日志,遇到的问题一定要记下来。
在安装Scrapy的时候发现了几个问题:
1.官网下载pywin32, 需要找对版本,用pip安装的时候版本不对。
2.pip 安装wheel的时候报错,缺少twisted。那就继续安装twisted,好在pip安装超方便
3,cmd命令不熟悉,上来是蒙圈的,但是操作多了就适应了。
关于Scrapy:
1.在自己练习的时候,给Spider目录下建立了两个包含都'name = ‘xx’'的py文件,作为待编辑的副本,导致出现了missing scheme in request url错误,删除掉副本就好了。
如果spider程序里有语法错,运行Scrapy shell的时候是会报错的,所以可以推断spider目录下的每个py文件都对整个Scrapy shell的运行产生影响。
2.我还不会把 json文件导入数据库(?)或者导入Excel
3.练习爬星巴克网站每个商品的描述的过程是这样的:
首页-抓取标签栏里的分类产品页面链接:
分类产品页面-抓取每个产品的链接:
每个产品的页面-抓取产品名、描述、价格
4.待学习:
将json转成excel ,用excel可以保存成csv格式 ————————已解决:json12xls在线转换 http://j2e.kpoda.com/ 时间:2017.7.23 pm15:04
将爬到的数据保存为csv格式 http://bbs.csdn.net/topics/392159686
Linux ——鱼c上找资源
Github ——鱼c ————————已解决:参考廖雪峰git教程, 时间:2017/7/28
多线程——百
4000
度网盘
整站爬取——百度网盘
Selenium
Hadoop
Pig, Spark
——从零基础入门学习python的课程基本学完了,后面是讲交互界面Tinker和pygame的,我想深入学习Scrapy,所以暂时告别零基础入门学习python这门课了。
想听小甲鱼讲的《极客之选python》里面会讲Github!这个会在找工作的时候有加分。
——意外遇到了别人整理的安装python方案: http://blog.csdn.net/tinker_love_learning/article/category/6146456
日记创建时间:2017/7/23 14:00
相关文章推荐
- 在C#中调用Matlab函数出现的问题以及解决方法
- 整理ArcSDE 安装过程出现问题以及解决方法系列
- ArcSDE 安装过程出现问题以及解决方法(转载,收藏版)
- 交叉编译busybox流程以及出现问题的解决方法
- nodejs开发指南中出现的问题以及解决汇总
- Origin作图出现锯齿状以及出现大C字母问题解决方案
- Mandriva 2007的下载地址以及安装中可能出现问题的解决办法
- python 解析xml,并修改,插入标签。以及出现ns0的问题,和缩进问题。
- iis 经常出现的问题以及解决方案
- Eclipse下LogCat打印信息瞬间消失了,以及byte数组转字符串是出现多余的空格问题的解决方案(随手小笔记)
- jode反编译插件出现的问题以及解决方法
- sqlserver2008设置表、存储过程等对象筛选出现“无法为该请求检索数据。 (Microsoft.SqlServer.Management.Sdk.Sfc) ”以及智能提示失效问题
- CentOS 7 配置IP地址以及出现的问题排查
- centos7安装mplayer以及出现的各种问题
- 安装xen和虚拟机以及解决其中出现的问题
- PIP安装Python的scipy,scrapy等包出现“failed building wheel for xxx”问题解决办法
- yarn 安装 使用以及安装时出现的问题
- tensorflow入门:新版本语法改动以及tensorbosrd出现No graph definition files were found问题
- http协议以及 4000 面试中常出现的问题总结