实时机票/火车票抓取系统概述
2013-01-07 12:07
239 查看
整个项目大部分出于学习的目的,时间跨度也是从2009年至今。最原始版完全是为了实现业务需求,也就是实现抓取机票的功能。后来又增加火车票以及酒店评论。
web端是ASP,而抓取端是Java,为了实现这种交互,使用了最为普遍的Ajax,这种方式最为实用。后来学习通信方面的知识,自己写了简易的C#与Java通信框架(说框架有点夸大)。在这个基础上又不断扩充。运用的知识和框架也越来越多。比如使用Apache的ActiveMq来学习JMS,运用Tomcat和Jetty等web服务器策略来完善自己的项目。又加入流量监控机制对整个框架的性能及流量方面的监控和整个框架的稳定性保证。在与DB中加入内存缓存,也实践了一下xmemcached的使用。
下面是整个的构架图
总之整个项目就是为了学习用,后续会整理里面的实现细节及思想,作为自己的一个积累。
web端是ASP,而抓取端是Java,为了实现这种交互,使用了最为普遍的Ajax,这种方式最为实用。后来学习通信方面的知识,自己写了简易的C#与Java通信框架(说框架有点夸大)。在这个基础上又不断扩充。运用的知识和框架也越来越多。比如使用Apache的ActiveMq来学习JMS,运用Tomcat和Jetty等web服务器策略来完善自己的项目。又加入流量监控机制对整个框架的性能及流量方面的监控和整个框架的稳定性保证。在与DB中加入内存缓存,也实践了一下xmemcached的使用。
下面是整个的构架图
总之整个项目就是为了学习用,后续会整理里面的实现细节及思想,作为自己的一个积累。
相关文章推荐
- 实时机票/火车票抓取系统整体架构
- LinkedIn实时低延迟数据抓取系统Databus
- 百度:搜索引擎抓取系统概述
- 搜索引擎抓取系统概述
- LinkedIn实时低延迟数据抓取系统Databus开源
- 小狐狸网站访客QQ抓取系统发展概述
- 搜索引擎抓取系统概述(二) :spider抓取过程中的策略
- 海量时间序列数据的实时查询系统(Druid系统)概述
- 搜索引擎抓取系统概述(二)
- 实时系统概述
- 关于LEE对<搜索引擎抓取系统概述>的简单分析与小结
- LinkedIn实时低延迟数据抓取系统Databus开源
- 分享:LinkedIn 实时低延迟数据抓取系统 Databus 开源
- 实时推荐系统简要概述
- LinkedIn实时低延迟数据抓取系统Databus开源
- 大数据推荐系统实时架构和离线架构
- ASP.NET应用管理系统框架概述(三)
- SE100101系统概述
- RHCE课程-linux基础笔记(一)之linux系统概述
- TaintDroid:智能手机监控实时隐私信息流跟踪系统(一)