大数据管理平台-工程日志
2016-12-07 11:19
232 查看
现在我着手构建大数据管理系统,期间与很多有经验的人探讨过,数据系统的价值、应用场景,我的思想始终没有得到认可,看来是我错了!
我的观点是:一切业务的实现和技术的发展是基于数据的CRUD!
或许我是一名有1年几个月经验的CRUD菜狗级搬砖小工吧,而我绝对不是那种想当然的极端人士
,也可能是小时候看数码宝贝的原因吧,一切非1即0.....
为了作证个人的观点,我浏览了:阿里云大数据平台、亚马逊BD管理已经万方、万德等第三方数据提供者,以及数据可视化平台电商阿里巴巴、京东、国美在线等数据可视化web端,我想是不是都围绕这数据在运转?而数据本身并不是最重要的,在整个it或BD,甚至目前或日后的人工智能,甚至生物智能领域,各个行业都是至关重要的。非要说哪个重要,在于技术或业务实现难度上和人类自己的制度潜规则约束上。
那么数据从哪里产生,从哪里哪拿,怎么拿,拿什么数据,数据怎么处理,数据谁要,数据怎么给,给他怎么看,看完数据响应,响应的数据怎么回收。
于是从数据产生、数据来源、数据获得、数据处理、数据发布、数据响应效率、数据安全、数据存储传递环境等方面粗略细化了如下图示功能:
其中各个模块的技术通过模仿《大数据架构》及《分布式架构》,两书作者忘记了,在对各个模块进行选型。对于数据爬虫、自动化部署等精专的子模块,以及数据挖掘相关的如R语言/MapReduce等,有或无的添加到平台功能中去了,至于是否合理,恳请希望大家玩命拍砖,不怕不流血,就怕不是大出血!
我的观点是:一切业务的实现和技术的发展是基于数据的CRUD!
或许我是一名有1年几个月经验的CRUD菜狗级搬砖小工吧,而我绝对不是那种想当然的极端人士
,也可能是小时候看数码宝贝的原因吧,一切非1即0.....
为了作证个人的观点,我浏览了:阿里云大数据平台、亚马逊BD管理已经万方、万德等第三方数据提供者,以及数据可视化平台电商阿里巴巴、京东、国美在线等数据可视化web端,我想是不是都围绕这数据在运转?而数据本身并不是最重要的,在整个it或BD,甚至目前或日后的人工智能,甚至生物智能领域,各个行业都是至关重要的。非要说哪个重要,在于技术或业务实现难度上和人类自己的制度潜规则约束上。
那么数据从哪里产生,从哪里哪拿,怎么拿,拿什么数据,数据怎么处理,数据谁要,数据怎么给,给他怎么看,看完数据响应,响应的数据怎么回收。
于是从数据产生、数据来源、数据获得、数据处理、数据发布、数据响应效率、数据安全、数据存储传递环境等方面粗略细化了如下图示功能:
其中各个模块的技术通过模仿《大数据架构》及《分布式架构》,两书作者忘记了,在对各个模块进行选型。对于数据爬虫、自动化部署等精专的子模块,以及数据挖掘相关的如R语言/MapReduce等,有或无的添加到平台功能中去了,至于是否合理,恳请希望大家玩命拍砖,不怕不流血,就怕不是大出血!
相关文章推荐
- 基于ArcGIS10.0和Oracle10g的空间数据管理平台七(C#开发)-日志操作类
- 基于ArcGIS10.0和Oracle10g的空间数据管理平台十二(C#开发)-日志管理
- 基于ArcGIS10.0和Oracle10g的空间数据管理平台七(C#开发)-日志操作类
- 基于ArcGIS10.0和Oracle10g的空间数据管理平台十二(C#开发)-日志管理
- 基于ArcGIS10.0和Oracle10g的空间数据管理平台十二(C#开发)-日志管理
- 基于ArcGIS10.0和Oracle10g的空间数据管理平台七(C#开发)-日志操作类
- 【中国数据创新琅琊榜】荣之联证券行业交易日志分析平台,实力圈粉的交易数据管理中枢!
- 基于ArcGIS10.0和Oracle10g的空间数据管理平台六(C#开发)-空间数据操作类
- 主数据管理平台应具备的六大功能
- WEB信息管理系统、数据展现分析系统 快速搭建平台
- 基于ArcGIS10.0和Oracle10g的空间数据管理平台(C#开发)ArcGIS相关知识补充学习
- 基于ArcGIS10.0和Oracle10g的空间数据管理平台二(C#开发)-登录功能模块
- 基于ArcGIS10.0和Oracle10g的空间数据管理平台二(C#开发)-登录功能模块
- 应用LiveBos平台开发“企业级工程项目管理系统”模型,正式发布开发方案 ~@#$!
- 基于ArcGIS10.0和Oracle10g的空间数据管理平台四(C#开发)-通用数据管理模块
- 基于ArcGIS10.0和Oracle10g的空间数据管理平台五(C#开发)-通用工具类
- 基于ArcGIS10.0和Oracle10g的空间数据管理平台(C#开发)补充说明
- EverNote 极致的免费笔记资料管理软件 (数据网络同步、支持PC、Mac与手机多平台) 转自:http://www.iplaysoft.com/evernote.html
- 基于ArcGIS10.0和Oracle10g的空间数据管理平台(C#开发)补充说明
- 基于用户行为的数据分析与挖掘+分布式日志管理系统