spark 2.0.0与HIVE结合的测试
2016-09-12 20:30
232 查看
spark 2.0.0中,对hive的结合开发是否进行了改变,于是进行了如下测试。
最大的变化就是没有什么HiveContext了。直接就是一个SparkSession。
val spark = SparkSession
.builder()
.master("local[*]")
.appName("Spark Hive Example")
.config("spark.sql.warehouse.dir", warehouseLocation)
.enableHiveSupport()
.getOrCreate()
其中有个命令就是:enableHiveSupport,提供了对HIVE的支持。非常方便。
于是进行测试,剩下的套路和以前都是一样的。顺利通过。
最大的变化就是没有什么HiveContext了。直接就是一个SparkSession。
val spark = SparkSession
.builder()
.master("local[*]")
.appName("Spark Hive Example")
.config("spark.sql.warehouse.dir", warehouseLocation)
.enableHiveSupport()
.getOrCreate()
其中有个命令就是:enableHiveSupport,提供了对HIVE的支持。非常方便。
于是进行测试,剩下的套路和以前都是一样的。顺利通过。
相关文章推荐
- Android之使用Http协议实现文件上传功能
- Spark RDD API详解(一) Map和Reduce
- 使用spark和spark mllib进行股票预测
- 分享Hive的一份胶片资料
- Spark随谈——开发指南(译)
- Spark,一种快速数据分析替代方案
- Hadoop生态上几个技术的关系与区别:hive、pig、hbase 关系与区别
- mysql集群之MMM简单搭建
- 通晓网络测试常用命令
- Nodejs学习笔记之测试驱动
- 自动化测试读写64位操作系统的注册表
- Asp.Mvc 2.0用户的编辑与删除实例讲解(5)
- 用vbs确定计算机是否有 USB 2.0 端口的代码
- asp.net 2.0 中的URL重写以及urlMappings问题
- Downplus 2.0关于使用迅雷快车链接的说明
- 可以测试javascript运行效果的代码
- 使用php测试硬盘写入速度示例
- ASP.NET 2.0 URL映射技巧
- ASP.NET 2.0 URL映射技巧
- DotNet2.0 生成网站的测试