django-dynamic-scraper(DDS)网页抓取环境安装搭建

之前了解了scrapy的强大和速率的惊人，django的便捷，苦于没有机会真正的接触，前几天大哥让研究一下这个框架，wow，DDS强大的把这两个得力的工具整合到了一起，这样只需简单的安装和配置，就可以顺利的爬网抓取页面了。废话不多说将环境搭建过程整理出来，以作备份，希望也能帮助到一些人

；

搭建django环境

查看前一篇博客 搭建Django开发环境

安装scrapy

最新版本是0.18，可以通过命令 easy_install Scrapy or pip install Scrapy，但是dds暂不支持0.18，

这里要安装0.16，是通过命令”pip install scrapy==0.16”

测试安装成功

scrapy shell http://www.baidu.com[/code]

如果是windows系统，需要预先安装一些额外的插件：

win32api

Zope.Interface

Twisted


w3lib

libxml2

pyOpenSSL

lxml

安装django-Celery，设置调度计划任务

pip install django-celery

或者通过解压包文件(下载)安装”Python setup.py install”

安装PIL（Python Imaging Library）

点击下载安装包，解压后通过命令“python setup.py install”安装

装完以后，系统可能还是缺少一些图片处理的扩展包，以jpeg为例：

brew search jpeg 查找

brew install jpeg 安装

安装South

通过执行命令安装 “easy_install South”

通过下载解压包文件安装“Python setup.py install”

安装DDS

ok,主角终于登场了

pip install django-dynamic-scraper

或者用git获取项目安装

git clone https://github.com/holgerd77/django-dynamic-scraper.git pip install -r requirements.txt
python setup.py install

到此为之，该安装的东西都差不多安装完毕。剩下的就可以按照官方文档做一些简单的配置就可以抓取想要的网站啦

注意

在高级主题配置中

http://django-dynamic-scraper.readthedocs.org/en/latest/advanced_topics.html

要求安装kombu要安装上一个版本2.5.7(最新版本的上一版)，否则当执行命令时会报next模块找不到的错误