spark streaming广告点击系统需求分析与技术架构
2017-01-23 14:06
513 查看
广告点击系统实时分析:
广告来自于网站或者移动App等,广告需要设定在具体的广告位,当用户点击广告的时候,一般都会通过JavaScript、Ajax或者Socket往后台发送点击的日志数据,在这里我们是要基于Spark Streaming做实时在线统计,那么数据就需要放进消息系统(Kafka)中,我们的Spark Streaming应用程序就会去Kafka中Pull数据过来进行计算和消费,并把计算偶的数据放入到持久化系统中(MySQL);
广告点击系统实时分析的意义:因为可以在线实时的看见广告的投放效果,就为广告的更加规模的投入和调整打下的坚实的基础,从而为公司带来最大化的经济回报;
核心需求:
1,实时黑名单动态过滤出有效的用户广告点击行为;因为黑名单用户可能随时出现,所以需要动态更新;
2,在线计算广告点击流量;
3,Top3 热门广告;
4,每个广告的流量趋势;
5,广告点击用户的区域分布分析;
6,最近一分钟的广告点击量;‘
7,整个广告点击Spark Streaming处理程序7*24小时的运行;
数据格式:
时间、用户、广告、地点等
技术细节:
在线计算用户点击的次数分析、屏蔽IP等
使用updateStateByKey或者mapWithState进行不同地区广告点击排名的计算;
Spark Streaming+Spark SQL+Spark Core等综合分析数据;
使用Window类型的操作;
高可用和性能调优
流量趋势 一般会结合DB等;
广告来自于网站或者移动App等,广告需要设定在具体的广告位,当用户点击广告的时候,一般都会通过JavaScript、Ajax或者Socket往后台发送点击的日志数据,在这里我们是要基于Spark Streaming做实时在线统计,那么数据就需要放进消息系统(Kafka)中,我们的Spark Streaming应用程序就会去Kafka中Pull数据过来进行计算和消费,并把计算偶的数据放入到持久化系统中(MySQL);
广告点击系统实时分析的意义:因为可以在线实时的看见广告的投放效果,就为广告的更加规模的投入和调整打下的坚实的基础,从而为公司带来最大化的经济回报;
核心需求:
1,实时黑名单动态过滤出有效的用户广告点击行为;因为黑名单用户可能随时出现,所以需要动态更新;
2,在线计算广告点击流量;
3,Top3 热门广告;
4,每个广告的流量趋势;
5,广告点击用户的区域分布分析;
6,最近一分钟的广告点击量;‘
7,整个广告点击Spark Streaming处理程序7*24小时的运行;
数据格式:
时间、用户、广告、地点等
技术细节:
在线计算用户点击的次数分析、屏蔽IP等
使用updateStateByKey或者mapWithState进行不同地区广告点击排名的计算;
Spark Streaming+Spark SQL+Spark Core等综合分析数据;
使用Window类型的操作;
高可用和性能调优
流量趋势 一般会结合DB等;
相关文章推荐
- 第104讲: Spark Streaming电商广告点击综合案例需求分析和技术架构
- 大数据Spark “蘑菇云”行动第60课: 广告点击系统广告点击趋势分析与实现
- 大数据Spark “蘑菇云”行动第59课: 广告点击系统TopN热门广告分析与实现
- 信息发布系统 Jquery+MVC架构开发(1) 需求分析和架构构思
- 需求分析、架构分析、领域分析和系统分析之间的关系和概念?
- 第105课: Spark Streaming电商广告点击综合案例在线点击统计实战
- 开源在线客服系统开发实战(一:初步需求分析与技术选型)
- 第105讲 Spark Streaming电商广告点击综合案例在线点击统计实战项目第一天
- 信息发布系统 Jquery+MVC架构开发(1) 需求分析和架构构思
- 开源广告发布系统源代码发布及分析二 广告发布系统需求分析
- 第108课: Spark Streaming电商广告点击综合案例动态黑名单过滤真正的实现代码
- 第108讲: Spark Streaming电商广告点击综合案例动态黑名单过滤真正的实现代码
- SparkStreaming 实现广告计费系统中在线黑名单过滤实战
- 系统架构:前端监控系统草案(技术路线和用户行为分析相似)
- 第106课: Spark Streaming电商广告点击综合案例黑名单过滤实现
- 从不同架构的角度进行web项目的需求分析和系统设计
- 银行业务调度系统-心得1-项目需求分析和类图架构
- 汽车信息娱乐系统的技术需求分析
- 管理支撑办公系统技术架构选型及相关技术应用范围、方法分析
- 第106讲: Spark Streaming电商广告点击综合案例黑名单过滤实现