分部式爬蟲(一) 創建環境

本篇說明如何建置爬蟲的分部式環境，使用Centos 6.5，重頭開始部屬

1. 首先先下載GIT

說明：之後做版本控制和下載開源項目需要使用到

@下載 develope tools
http://www.linuxidc.com/Linux/2015-02/113351.htm
@yum下載git
http://www.centoscn.com/image-text/install/2014/1219/4343.html
2. 搭建python多版本環境，使用pyenv

說明：因為Centos自帶的python版本為2.6，我需要2.7+的版本

@新建刪除文件夾
http://www.centoscn.com/CentOS/help/2015/0401/5065.html
@安裝Pyenv 和 所需的套建
https://seisman.info/python-pyenv.html http://my.oschina.net/lionets/blog/267469
(安裝問題解決)
http://www.tiny-coder.com/home-article-51.html 
3. 下再爬蟲需要的包

@安裝pip包
http://www.linuxde.net/2014/05/15576.html
@升級系統

一、安装开发包组、升级操作系统

@安裝scrapy需要的包

各需求包
http://www.cnblogs.com/zhxhdean/p/3580224.html
lxml失敗補救
http://blog.csdn.net/iefreer/article/details/8086980
4. Redis 環境架設

Python下用Scrapy和MongoDB构建爬虫系统（1）

http://www.cnblogs.com/rrxc/p/4478936.html?utm_source=tuicool&utm_medium=referral