电商项目与大数据应用
2016-12-01 10:06
330 查看
以下是我这次参加徐培成老师的课程PPT,望和大家分享下,具体课程内容还望付费参加老师的培训课啦:
项目架构图:
相关技术:
电商业务部分使用spring mvc 作为web层实现,springframework作为业务层框架,采用hibernate实现数据持久化,并采用servlet3.0规范实现纯注解编程。
采用maven实现项目依赖管理,并搭建局域网内的maven仓库服务器。
使用Linux的cron调度任务实现nginx日志滚动,hive的周期性数据清洗。
使用nginx作为反向代理服务器和静态资源的web服务器,tomcat作为动态业务处理web服务器,与nginx服务实现动静分离。
使用flume对nginx web服务器的周期日志进行收集,数据进入kafka集群。
kafka中对同一主题使用两个消费者,分属不同组,一个消费者将原生log数据写入到hdfs进行存储,而一个消费者对log进行清洗,并将清洗之后的数据写入到hive的分区表中。
使用cron定期动态添加hive的表分区,并执行hiveQL脚本,对数据进行统计。
统计结果存放在hive的统计表中,该表使用hbase存储引擎·,最终数据存放在hbase库中。
项目架构图:
相关技术:
电商业务部分使用spring mvc 作为web层实现,springframework作为业务层框架,采用hibernate实现数据持久化,并采用servlet3.0规范实现纯注解编程。
采用maven实现项目依赖管理,并搭建局域网内的maven仓库服务器。
使用Linux的cron调度任务实现nginx日志滚动,hive的周期性数据清洗。
使用nginx作为反向代理服务器和静态资源的web服务器,tomcat作为动态业务处理web服务器,与nginx服务实现动静分离。
使用flume对nginx web服务器的周期日志进行收集,数据进入kafka集群。
kafka中对同一主题使用两个消费者,分属不同组,一个消费者将原生log数据写入到hdfs进行存储,而一个消费者对log进行清洗,并将清洗之后的数据写入到hive的分区表中。
使用cron定期动态添加hive的表分区,并执行hiveQL脚本,对数据进行统计。
统计结果存放在hive的统计表中,该表使用hbase存储引擎·,最终数据存放在hbase库中。
相关文章推荐
- 河南省“互联网+ ”开放合作大签约850亿元“互联网+”高峰论坛、河南省县域电商峰会、腾讯“互联网+”中国行河南站活动,以及阿里—中原云大数据应用创意大赛、腾讯河南智慧旅游、河南省互联网创新创业大赛
- 行业应用软件项目经理三步曲
- 项目管理软件应用浅析
- flash和oa项目 其他应用项目结合使用 的应用
- 应用Rational 工具简化基于J2EE的项目 (三)转换到系统模型
- 应用Rational 工具简化基于J2EE的项目 (二)启动项目
- 应用Rational工具简化基于J2EE项目(四)分析和工具的进展
- 行业应用软件项目经理三步曲
- 从一个项目谈XP在国内的应用
- 应用Rational 工具简化基于J2EE的项目(二)启动项目
- 为软件质量保驾—过程管理与项目管理技术的应用
- 项目管理与Project2000的应用3
- 应用Rational 工具简化基于J2EE的项目
- 应用DNS、IIS实现Web项目团队协作开发
- 项目管理与Project2000的应用4
- 一个金融应用项目的总结
- 使用Log4j为项目配置日志输出应用详解以及示例演示的实现分析
- Linux/Unix中的SUID和SGID文件权限和在CVS项目管理中的应用
- log4j在JSP项目中的应用
- 应用Rational 工具简化基于J2EE的项目(一)