python网络爬虫学习笔记(一)配置安装python环境
2018-01-26 15:38
281 查看
博主的毕设是要做一个指定领域的问答系统,寒假要做的就是确定领域,拿到数据。自己比较喜欢看书,所以选择书籍领域,数据找了好久都没找到现成的数据,就想着自己学学python写写爬虫,上网爬些数据。但对python一丁点都不了解,在学习的过程中整理了一下笔记。
[b]一、下载python[/b]
请移步至python下载地址。我下载的是3.6.x版本的。
[b]二、配置环境变量[/b]
安装的时候好像有个选项勾上就已经自动配置好环境变量了,因为我乱改系统用户名以及注册表的原因,折腾了一下午。
[b]三、下载Beautiful Soup4[/b]
Beautiful Soup是python的一个模块,对于python3.x必须安装Beautiful Soup4,其他版本可能安装不了。
下载地址
下载之后解压到安装目录下,在Beautiful Soup目录下打开cmd,执行 setup.py build 再执行 setup.py install。这样Beautiful Soup模块就成功安装到python中了。
[b]
四、下载lxml库[/b]
lxml是Python语言里和XML以及HTML工作的功能最丰富和最容易使用的库。下载地址。
cp27代表是python2.7,cp34代表python3.4,amd64是64位的系统,不加代表32位。
下载后把它放进python的安装目录下,此操作与Beautiful Soup一样,这样主要是为了方便管理。在cmd命令里,先执行“python -m pip install wheel”,安装wheel,成功后在python目录下的Lib\site-packages,能查看到wheel文件夹,代表安装成功。
然后安装lxml,“python -m pip install 你的lxml的路径(D:\workapps\python3.4.4\lxml-3.6.4-.....)
五、试一试一个小demo
import urllib.request url = "http://www.baidu.com" page_info = urllib.request.urlopen(url).read() page_info = page_info.decode('utf-8') print(page_info)
保存为baidu.py。进入存放文件的目录之后,执行python baidu.py ok啦~
相关文章推荐
- Ubuntu下安装配置python3.2.3集成开发环境Eric5
- [100_Python学习笔记]001_Python环境安装配置(Windows 7)
- 黄聪:在windows下安装配置python开发环境及Ulipad开发工具(转)
- 在windows下安装配置python开发环境及Ulipad开发工具(转)
- windows环境下python web开发环境安装配置
- cherrypy安装使用,配置python环境变量
- Ubuntu 12.04下安装配置Python 2.7集成开发环境Eric4
- 基于eclipse的python开发平台的安装配置和代码编写环境主题设置
- Ubuntu下安装配置Python 3.2.3集成开发环境Eric5
- python笔记 - 配置Linux环境 easy_install的安装及使用
- Python环境安装配置(Windows 7)
- Python Django 第一步:安装配置 windows环境
- Python+wsgi环境配置及其安装
- python开发环境的下载,安装,配置
- eclipse+pydev+Django安装和配置Python开发环境(For Windows OS)
- Python Django 第一步:安装配置 windows环境
- windows环境下python web开发环境安装配置
- Python_安装配置Django开发环境(Eclipse + Pydev)
- ubuntu下安装eclipse以及配置python编译环境
- Windows下Python环境安装配置