大数据相关问题浅析
2016-09-24 00:00
204 查看
摘要: 大数据
大数据相关问题:
1.Map-Reduce
哈希函数
典型的哈希函数拥有无限的输入值域。
不同输入值得到的哈希值,整体均匀的分布在输出域S.
MD5 , SHA-1
Map阶段,把大任务分成子任务.
Reduce阶段,子任务并发处理,然后合并结果.
注意:
1.备份的考虑,分布式存储的设计细节,容灾策略.
2.任务分配策略,任务进度跟踪的细节设计,节点状态的呈现.
3.多用户权限的控制.
map-reduce统计文章中单词出现的个数.
文章的预处理,只包含单词的文本.
分而治之,通过哈希函数将大任务分流到机器.
bitmap
大数据相关问题:
1.Map-Reduce
哈希函数
典型的哈希函数拥有无限的输入值域。
不同输入值得到的哈希值,整体均匀的分布在输出域S.
MD5 , SHA-1
Map阶段,把大任务分成子任务.
Reduce阶段,子任务并发处理,然后合并结果.
注意:
1.备份的考虑,分布式存储的设计细节,容灾策略.
2.任务分配策略,任务进度跟踪的细节设计,节点状态的呈现.
3.多用户权限的控制.
map-reduce统计文章中单词出现的个数.
文章的预处理,只包含单词的文本.
分而治之,通过哈希函数将大任务分流到机器.
bitmap
相关文章推荐
- JavaScript取当前事件相关对象的数据问题?
- 数据挖掘相关的基本问题
- 关于表数据行统计的问题和相关误区
- Mysql MyISAM引擎相关数据文件浅析
- 大数据排序或取重或去重相关问题
- 浅析NTFS 文件系统数据流安全问题
- Silverlight 数据绑定相关问题
- [sql server] 问题总结13---分解字符串并查询相关数据
- WIN7下.Net开发遇到的又一问题:HTTP 错误 500.19 - Internal Server Error,无法访问请求的页面,因为该页的相关配置数据无效。
- C#导出数据到word相关问题汇总
- 读取Excel数据到GridView相关问题(待完善)
- 返回table数据类型的函数相关的问题
- 【z】 数据挖掘相关的10个问题
- 关于表数据行统计的问题和相关误区
- WIN7下.Net开发遇到的又一问题:HTTP 错误 500.19 - Internal Server Error,无法访问请求的页面,因为该页的相关配置数据无效。
- 数据挖掘相关的10个问题
- 浅析数据完整性问题
- Oracle IO问题解析(六)—— 数据文件相关的IO事件
- java数据类型相关的问题
- Silverlight 数据绑定相关问题