Flink实时营销分析--数据部分--项目背景（一）

来写写最近在做的东西。

由于是电商公司，所以项目有浓浓的电商色彩，再加上大公司所谓的平台和规范，让我这个刚走出学校的野路子程序员吃了不少苦头。接下来的内容是对最近学习过程的一个总结，当然其中会有很多不足的地方，希望大牛们多多指教。

好了废话少说，说说项目：

一、项目背景及需求

项目叫《实时营销分析》，是部门里《流量可视化》下的一个分支，顾名思义，就是把流量数据想办法显示在PC端，供公司营销部门分析，便于接下来的战略规划。需求其实很简单，对公司商城实时数据总线上的数据进行分类整理，留出数据接口给web前端，供其显示。

二、开发框架

目前比较流行的流式大数据处理框架有很多：Storm、Flink、Spark，哦对，还有Samza。

这里用Storm和Flink两种框架分别完成了这个项目，部署在不同的环境上，这里主要说说Flink。这和之间我的博客里提到的hadoop有本质上的区别，hadoop是基于Map/Reduce模型的，处理海量数据的离线处理工具，是把数据分批处理的；而Storm/Flink把数据看做是一个源源不断的数据流，所有的处理动作都在数据流动的过程中完成。

三、项目图解

数据的来源是公司的实时数据总线JDQ，经过Flink处理之后存入JimDB（基于redis的分布式告诉缓存数据库）。

太晚了，明天再写。