04大数据内存计算spark系列贴-SHARK(SQL on spark 0.x)

（原文地址：http://blog.csdn.net/codemosi/article/category/2777045，转载麻烦带上原文地址。hadoop hive hbase mahout storm spark kafka flume,等连载中，做个爱分享的人

）
shark 相当于是hive on spark， 用法和hive 大致是一样的。还是一样。从代码开始。

1：创建表

CREATE EXTERNAL TABLE user

(

DT STRING,

username STRING,

password STRING

)

ROW FORMAT DELIMITED

FIELDS TERMINATED BY '\t'

LINES TERMINATED BY '\n'

STORED AS TEXTFILE

LOCATION '/rdc/user/'

2：创建内存表（_cached结尾的表为内存表，表放在内存中，处理SQL查询相当的快）

CREATE TABLE user_cached AS SELECT * FROM user

3：查询功能，和hive 的区别就是对SQL语句的执行。shark使用spark来算，使用上是一样的，输入SQL 得到查询结果，各种SQL查询语句就不演示了。

4： shark 将SQL查询结果，直接转换成RDD传给spark

shark具有spark的好处 cache后的RDD存在内存中，下次可以直接使用。也就是说shark可以把表存在内存中，这种模式基于内存来算，减少了IO，加上spark的transformation的迭代正是mapreduce的缺点！并且执行是不像hive一样还要开个mapreduce，慢。

当然shark 也有缺点。基于hive的代码改造的，hive是进程安全的，因为hive执行使用mapreduce，进程安全就够了。shark执行是spark来做。要求线程安全。不然可能你一样的SQL出来的结果不一样。所以还要安装一个hive的补丁包。