第三课、Spark大型项目广告点击项目数据建模
2016-09-23 11:09
232 查看
1、项目分析
用户广告点击行为(通过JS或者本地代码发送点击行为到服务器)---》Server接受到数据并把数据放在Flume(也可以是其他)的监控目录之下---》Flume感知到数据后会把数据放到Kafka中---》Spark Streaming感知到数据的到来并进行处理---》然后把流处理的结果交给例如HBase、Redis、MaySQL等---》通过J2EE等技术把分析结果展示出来并改善业务
(1)、有效的广告点击,点击行为过滤
(2)、广告的排名,分为全局性的排名和区域性的广告排名
(3)、广告流量的统计分析,展示每条广告点击的流量的趋势
(4)、广告收益的统计分析
(5)、广告推荐
2、数据建模
用例(Use Case)
1、user_information用户信息表
2、favorite_items
3、user_click 用户点击
4、item_informaiton 商品列表
5、blacklist
6、ad_information
7、top5
8、ad_trend点击趋势
9、same_day_history 历史同一天
加微信18611576994 或者官方报名咨询QQ群 163728659可以获得更多DT大数据梦工厂大数据Spark蘑菇云行动准备课程的视频、源代码和文档资料等,老师的微博:http://weibo.com/ilovepains/,获得大量的大数据最新和最干货的信息并与老师互动。
用户广告点击行为(通过JS或者本地代码发送点击行为到服务器)---》Server接受到数据并把数据放在Flume(也可以是其他)的监控目录之下---》Flume感知到数据后会把数据放到Kafka中---》Spark Streaming感知到数据的到来并进行处理---》然后把流处理的结果交给例如HBase、Redis、MaySQL等---》通过J2EE等技术把分析结果展示出来并改善业务
(1)、有效的广告点击,点击行为过滤
(2)、广告的排名,分为全局性的排名和区域性的广告排名
(3)、广告流量的统计分析,展示每条广告点击的流量的趋势
(4)、广告收益的统计分析
(5)、广告推荐
2、数据建模
用例(Use Case)
1、user_information用户信息表
2、favorite_items
3、user_click 用户点击
4、item_informaiton 商品列表
5、blacklist
6、ad_information
7、top5
8、ad_trend点击趋势
9、same_day_history 历史同一天
加微信18611576994 或者官方报名咨询QQ群 163728659可以获得更多DT大数据梦工厂大数据Spark蘑菇云行动准备课程的视频、源代码和文档资料等,老师的微博:http://weibo.com/ilovepains/,获得大量的大数据最新和最干货的信息并与老师互动。
相关文章推荐
- 第52课: Spark大型项目广告点击项目数据建模
- 大数据Spark “蘑菇云”行动第52课: Spark大型项目广告点击项目数据建模 项目!!!大项目!!!超大型大数据项目!!!
- 大数据Spark“蘑菇云”行动第53课: Spark大型项目广告点击项目技术骨架实现之Spark+Kafka+Flume实战 项目!!!大项目!!!超大型大数据项目!!!
- 第53课实战操作Kafka+Flume成功! Spark大型项目广告点击项目技术骨架实现之Spark+Kafka+Flume实战
- 第107课: Spark Streaming电商广告点击综合案例底层数据层的建模和编码实现(基于MySQL)
- 大数据Spark“蘑菇云”项目实战第63课: 广告点击系统高可用性和性能优化 checkpoint wal driver高可用 并行度配置
- 第53课: Spark大型项目广告点击项目技术骨架实现之Spark+Kafka+Flume实战
- 第107课: Spark Streaming电商广告点击综合案例底层数据层的建模和编码实现(基于MySQL)
- Spark 2.0大型项目实战:移动电商app交互式数据分析平台(大数据高端课程) 下载
- 大数据Spark“蘑菇云”行动第55课:在线广告点击流处理代码的分析和实现
- Spark大型项目下的Spark Streaming本质剖析(全面涵盖Spark 2.0的精髓)项目!!!大项目!!!超大型大数据项目!!!
- 第113课:Spark Streaming电商广告点击综合案例实战模拟点击数据的生成和数据表SQL建立
- Spark日志分析项目Demo(8)--SparkStream,广告点击流量实时统计
- 大数据Spark “蘑菇云”行动第62课: 广告点击系统数据库系统DAO实现
- Spark广告点击项目技术骨架二
- 大数据IMF传奇行动绝密课程第104-114课:Spark Streaming电商广告点击综合案例
- 大数据Spark “蘑菇云”行动第59课: 广告点击系统TopN热门广告分析与实现
- 大数据Spark“蘑菇云”行动第56课:在线广告点击黑名单分析和实现
- 大数据Spark “蘑菇云”行动第57课: Spark 2.0.1稳定版本解析及广告点击案例数据库和动态黑名单过滤代码
- Spark大型项目实战:电商用户行为分析大数据平台