Spark RDD(DataFrame) 写入到HIVE的代码实现
2016-03-23 17:04
387 查看
在实际工作中,经常会遇到这样的场景,想将计算得到的结果存储起来,而在Spark中,正常计算结果就是RDD。
而将RDD要实现注入到HIVE表中,是需要进行转化的。
关键的步骤,是将RDD转化为一个SchemaRDD,正常实现方式是定义一个case class.
然后,关键转化代码就两行。
data.toDF().registerTempTable("table1")
sql("create table XXX as select * from table1")
而这里面,SQL语句是可以修改的,如写到某个分区,新建个表,选取其中几列等。
实现效果如图所示:
运行完成之后,可以进入HIVE查看效果,如表的字段,表的记录个数等。完胜。
而将RDD要实现注入到HIVE表中,是需要进行转化的。
关键的步骤,是将RDD转化为一个SchemaRDD,正常实现方式是定义一个case class.
然后,关键转化代码就两行。
data.toDF().registerTempTable("table1")
sql("create table XXX as select * from table1")
而这里面,SQL语句是可以修改的,如写到某个分区,新建个表,选取其中几列等。
实现效果如图所示:
运行完成之后,可以进入HIVE查看效果,如表的字段,表的记录个数等。完胜。
相关文章推荐
- python 赋值、深浅拷贝、作用域
- Spring 实现数据库读写分离
- Java学习笔记(一)
- Java enum的用法详解
- 关于java Socket Connection timed out: connect
- P2P之UDP穿透NAT的原理与实现 - 增强篇(附修改过的源代码)
- Java嵌入式数据库H2学习总结(二)——在Web应用程序中使用H2数据库
- Java Executors(线程池)
- PHP并发IO编程之路
- Sublime Text 3 搭建 Golang 开发环境
- FlexBuilder3安装集成eclipse
- java写入文本
- Java嵌入式数据库H2学习总结(一)——H2数据库入门
- 浅谈PHP类与对象
- Eclipse安装SVN教程
- 关于代码的一些感想
- spring mvc + mybaties+ mysql搭建--2016版
- python之 rabbitmq
- 利用Angular.js从PHP读取后台数据
- Java中的二进制基础