斗鱼直播大数据的玩法

主要分享斗鱼大数据现在的玩法和下一步的规划。主要内容分为四方面：

斗鱼大数据平台的整体架构（基础集群、数据类型、数据规模、基础环境）；

斗鱼数据仓库；

斗鱼个性推荐系统；

斗鱼风控系统。

实录提要：

ELK 的数据保留多久，历史数据的处理和使用是怎么操作的？

能否分享下斗鱼在风控这块的技术和产品规则的细节吗？

斗鱼是如何让规范化处理来辅助后续的分析？

斗鱼是收集客户兴趣后会通过怎样的分析来进行推荐呢？

自研的发布和调度系统是什么？

Impala 和同在一个集群的 Yarn 资源是如何分配的？

数据分析的需求有专门产品经理或者数据科学家组织吗？

数据中心如何做容灾处理？

业务系统的数据（如 MySQL）怎么实时同步到数据仓库？

阅读全文: http://gitbook.cn/gitchat/activity/58de112dbed8536024a7f585