您的位置:首页 > 编程语言 > Java开发

gecco 1.0.9 发布,易用的轻量化爬虫

2016-04-13 10:43 387 查看
gecco 1.0.9 发布了。

1.0.9版本主要做了如下修改:

1、@Image注解增加图片自动下载到本地的方法@Image(download=”d:/gecco/jd/img”)

2、GeccoEngine改为线程方式,通过start()支持非阻塞方式运行

3、支持debug模式,GeccoEngine.debug(true)

4、简化spring项目启动Gecco的方式,详细请查看(域名备案中):http://101.200.193.106/sysc-6/

5、文档有较大的完善,http://101.200.193.106/tag/sysc/

6、非循环模式等待执行完毕后释放httpclient、jmx等所有资源

7、修复demo中的bug

gecco是一款易用的轻量化网络爬虫。十分的容易上手。

主要特征:

简单易用,使用jquery风格的选择器抽取元素

2.支持页面中的异步ajax请求

3.支持页面中的javascript变量抽取

4.利用Redis实现分布式抓取,参考gecco-redis

5.支持结合Spring开发业务逻辑,参考gecco-spring

6.支持htmlunit扩展,参考gecco-htmlunit

7.支持插件扩展机制

8.支持下载时UserAgent随机选取

9.支持下载代理服务器随机选取
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  爬虫 gecco spring java