Storm, Spark, Hadoop三个大数据处理工具谁将成为主流
2015-08-02 16:24
609 查看
话题讨论:Storm, Spark, Hadoop三个大数据处理工具谁将成为主流
大数据现在是业内炙手可热的话题,随着技术的发展,大数据存储技术已经不在是难点,但是对大数据如何做好存储后的下一步处理将是未来竞争的焦点,目前比较受欢迎的Storm, Spark, Hadoop三个大数据处理工具都是JVM上的语言写成的。
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点。
Storm由java和clojure写成,storm的优点是全内存计算,因为内存寻址速度是硬盘的百万倍以上,所以storm的速度相比较hadoop非常快。
hadoop是实现了mapreduce的思想,将数据切片计算来处理大量的离线数据数据。hadoop处理的数据必须是已经存放在hdfs上或者类似hbase的数据库中,所以hadoop实现的时候是通过移动计算到这些存放数据的机器上来提高效率。
本期我们将围绕以下几个话题讨论:
1、大数据核心是什么?
2、Storm, Spark, Hadoop三个大数据处理工具谁将成为主流?
3、你觉得今年大数据的发展趋势如何?
大数据现在是业内炙手可热的话题,随着技术的发展,大数据存储技术已经不在是难点,但是对大数据如何做好存储后的下一步处理将是未来竞争的焦点,目前比较受欢迎的Storm, Spark, Hadoop三个大数据处理工具都是JVM上的语言写成的。
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点。
Storm由java和clojure写成,storm的优点是全内存计算,因为内存寻址速度是硬盘的百万倍以上,所以storm的速度相比较hadoop非常快。
hadoop是实现了mapreduce的思想,将数据切片计算来处理大量的离线数据数据。hadoop处理的数据必须是已经存放在hdfs上或者类似hbase的数据库中,所以hadoop实现的时候是通过移动计算到这些存放数据的机器上来提高效率。
本期我们将围绕以下几个话题讨论:
1、大数据核心是什么?
2、Storm, Spark, Hadoop三个大数据处理工具谁将成为主流?
3、你觉得今年大数据的发展趋势如何?
相关文章推荐
- Spark:大数据的“电光石火”
- Windows 10 IoT Serials 2 - Windows 10 IoT RTM 升级教程
- Email 验证
- http://blog.csdn.net/uranus_wm/article/details/9838847
- reGeorg+proxychains-ng组合试用
- reGeorg+proxychains-ng组合试用
- 大数据时代,优化家的入口体验——无锁防盗门
- BZOJ3513: [MUTC2013]idiots
- 【LeetCode】217 & 219 - Contains Duplicate & Contains Duplicate II
- 大数据系统的浅显易懂理解
- LeetCode:Climbing Stairs(DP)
- MainWindow简介
- tftp服务器连接开发板下载内核提示:retry count exceeded; starting again
- RuntimeError: Broken toolchain: cannot link a simple C program
- ORA-02291: integrity constraint (SYSTEM.FK1170E5C5328E4352) violated 解决办法
- 机器学习(吴恩达授课)课堂笔记(1)- Intro
- mvn generate-sources failed: Invalid SDK: Platform/API level 15 not available
- 2015 Multi-University Training Contest 3 hdu 5325 Crazy Bobo
- DT大数据梦工厂 第75讲
- HDU 5335 || Walk Out || 2015 Multi-University Training Contest 4 简单题