gecco 1.0.9 发布,易用的轻量化爬虫
2016-04-13 10:43
387 查看
gecco 1.0.9 发布了。
1.0.9版本主要做了如下修改:
1、@Image注解增加图片自动下载到本地的方法@Image(download=”d:/gecco/jd/img”)
2、GeccoEngine改为线程方式,通过start()支持非阻塞方式运行
3、支持debug模式,GeccoEngine.debug(true)
4、简化spring项目启动Gecco的方式,详细请查看(域名备案中):http://101.200.193.106/sysc-6/
5、文档有较大的完善,http://101.200.193.106/tag/sysc/
6、非循环模式等待执行完毕后释放httpclient、jmx等所有资源
7、修复demo中的bug
gecco是一款易用的轻量化网络爬虫。十分的容易上手。
主要特征:
简单易用,使用jquery风格的选择器抽取元素
2.支持页面中的异步ajax请求
3.支持页面中的javascript变量抽取
4.利用Redis实现分布式抓取,参考gecco-redis
5.支持结合Spring开发业务逻辑,参考gecco-spring
6.支持htmlunit扩展,参考gecco-htmlunit
7.支持插件扩展机制
8.支持下载时UserAgent随机选取
9.支持下载代理服务器随机选取
1.0.9版本主要做了如下修改:
1、@Image注解增加图片自动下载到本地的方法@Image(download=”d:/gecco/jd/img”)
2、GeccoEngine改为线程方式,通过start()支持非阻塞方式运行
3、支持debug模式,GeccoEngine.debug(true)
4、简化spring项目启动Gecco的方式,详细请查看(域名备案中):http://101.200.193.106/sysc-6/
5、文档有较大的完善,http://101.200.193.106/tag/sysc/
6、非循环模式等待执行完毕后释放httpclient、jmx等所有资源
7、修复demo中的bug
gecco是一款易用的轻量化网络爬虫。十分的容易上手。
主要特征:
简单易用,使用jquery风格的选择器抽取元素
2.支持页面中的异步ajax请求
3.支持页面中的javascript变量抽取
4.利用Redis实现分布式抓取,参考gecco-redis
5.支持结合Spring开发业务逻辑,参考gecco-spring
6.支持htmlunit扩展,参考gecco-htmlunit
7.支持插件扩展机制
8.支持下载时UserAgent随机选取
9.支持下载代理服务器随机选取
相关文章推荐
- java对世界各个时区(TimeZone)的通用转换处理方法(转载)
- java-注解annotation
- java-模拟tomcat服务器
- java-用HttpURLConnection发送Http请求.
- java-WEB中的监听器Lisener
- Android IPC进程间通讯机制
- Android Native 绘图方法
- Android java 与 javascript互访(相互调用)的方法例子
- Python3写爬虫(四)多线程实现数据爬取
- 介绍一款信息管理系统的开源框架---jeecg
- 聚类算法之kmeans算法java版本
- java实现 PageRank算法
- Scrapy的架构介绍
- PropertyChangeListener简单理解
- 爬虫笔记
- c++11 + SDL2 + ffmpeg +OpenAL + java = Android播放器
- 插入排序
- 冒泡排序