大数据架构简述(一):大数据的本质
2017-06-02 12:43
260 查看
1.大数据是什么
大数据由SCI的首席科学家JohmR.Masey于1998年在USENIX大会上首次提出。他在其发表的一篇名为Big Dara and the Next Wave of Infrastress的论文中首次提出Big Data这个词。Google在2003-2006年公布的关于GFS、MapReduce和BigTable的三篇论文推动了Hadoop的实现,而Hadoop的诞生极大促进了大数据技术的发展。
当然,Hadoop并不等同于大数据。大数据只是一门市场语言,代表的是一种理念、一种问题解决的思路、一系列技术的集合。
2.运营商大数据架构
运营商大数据架构如图所示
第一层是应用,在运营商领域分别解决SQM(运维质量管理)、CSE(客户体验提升)、MSS(市场运维支撑)、DMP(数据管理平台)等问题
第二层是各个组件/技术支撑。包括数据从产生获取、处理(实时、批处理)、分析(交互式查询、机器学习与数据挖掘)到最后的展示
第三层,为了支持数据的存储处理,需要统一的资源管理及分配
第四层,上层框架和处理都构建在存储的基础上,所以存储是基础中的基础
第五层,大数据部署形态有云化部署、物理机部署等多种部署模式
相关文章推荐
- 大数据架构简述(二):数据获取
- 大数据架构简述(四):机器学习和数据挖掘
- 信息架构本质,第 1 部分: 数据和内容的两难抉择
- 大数据架构简述(五):资源管理、存储、云
- 大数据架构简述(三):流处理、批处理、交互式查询
- 信息架构本质 6分:分布式数据挖掘
- API 数据架构的简述(针对本人的使用)
- 精华的微软文章".NET 数据访问架构指南",特别是数据库连接的测试.即监视链接池化 (2)
- 结合struts和hibernate谈J2EE架构的数据表示
- .NET 数据访问架构指南(转)
- Spring 架构下使用jstl在页面上展示map或者list(包括类型嵌套的数据)
- [开发总结]系统架构及数据模型----Document/View篇(一)
- 精华的微软文章".NET 数据访问架构指南",特别是数据库连接的测试.即监视链接池化 (2)
- 结合struts和hibernate谈J2EE架构的数据表示[转载]
- NET 数据访问架构指南,特别是数据库连接的测试.即监视链接池化
- 结合struts和hibernate谈J2EE架构的数据表示
- 企业级数据仓库体系架构
- Microsoft 数据仓库架构 !
- 结合struts和hibernate谈J2EE架构的数据表示[转载]
- 精华的微软文章".NET 数据访问架构指南",特别是数据库连接的测试.即监视链接池化(1)