基于Redis的伪流式计算统计PV
2017-03-23 17:30
288 查看
背景
在没有Storm/Spark Streaming等基础流式计算框架的时候,利用现有的Redis框架,参照流式计算的原理,实现伪流式计算。计算方式设计
运行过程
Step1活动页面详情的接口,每调用一次,发异步事件给监听者。
Step2
异步事件监听者调用Redis的set & inc方法,累加当前小时PV量。
Redis的KEY设计:ClientType:ProductId:Hour,来源端:产品ID:当天小时,循环使用。
Step3
Job将Redis中的浏览量同步落地到DB中,同时将非当前小时的Redis Key的值置为0。
线上效果
是在没有流式计算框架下的无奈选择。另外,由于前台有一些异步刷新的机制,后台服务几次调用才能计算到一次PV,所以后台统计的值往往比前台埋点统计的值要大一些。
相关文章推荐
- 基于redis和R语言构建并行计算平台(yiyou)
- 基于ACCESS和ASP的SQL多个表查询与计算统计代码(一)
- 基于统计的无词典的高频词抽取(二)——根据LCP数组计算词频
- Java 基于Spring、MyBatis使用HashMap嵌套列表统计不同国家、指定类型船舶指定时间段在某区域进出量计算方法
- 基于ACCESS和ASP的SQL多个表查询与计算统计代码(二)库存管理系统
- Flume+Kafka+Storm+Redis构建大数据实时处理系统:实时统计网站PV、UV+展示
- flume-kafka- spark streaming(pyspark) - redis 实时日志收集实时计算 + Spark 基于pyspark下的实时日志分析
- 基于ACCESS和ASP的SQL多个表查询与计算统计代码(一)
- 基于express+redis高速实现实时在线用户数统计
- 网站统计 PV 的计算
- JSP中基于Session的在线用户统计分析
- 用RMI实现基于Java的分布式计算
- 基于网格技术的计算能力提供—对GridASP有效业务处理进行概念证明实验的开端
- 基于硬件的辐射度计算的收敛问题
- [原]基于统计的中文网页正文抽取的研究
- GridGIS——基于网格计算的地理信息系统
- JSP中基于Session的在线用户统计分析
- 一种新的网站盈利模式--基于分布式计算的一种应用
- 统计时间周,月的计算.
- 用RMI实现基于Java的分布式计算