spark使用Hive表操作
2015-09-28 10:32
417 查看
spark Hive表操作
之前很长一段时间是通过hiveServer操作Hive表的,一旦hiveServer宕掉就无法进行操作。比如说一个修改表分区的操作
一.使用HiveServer的方式
val tblName = "hive_table" def dropPartitions(tblName: String): Unit = { val HIVE_SERVER = "jdbc:hive2://192.168.xx.xxx:10000" import java.sql.DriverManager Class.forName("org.apache.hive.jdbc.HiveDriver") val conn = DriverManager.getConnection(HIVE_SERVER, "xxx", "") val stmt = conn.createStatement() val addSQL = s"msck repair table $tblName" stmt.execute(addSQL) conn.close() }
二.使用HiveContext的方式
后来发现通过HiveContext可以实现同样的功能,却方便的多,也不用通过hiveServer,再也不怕hiveServer宕机啦~先创建一个HiveContext,当然hiveContext也是可以对Hive表进行查询操作的
val sqlContext = new HiveContext(sc)
同样功能的函数
val tblName = "hive_table" def dropPartitions(tblName: String,sqlContext :HiveContext): Unit = { sqlContext.sql(s"msck repair table $tblName") }
相关文章推荐
- spark使用Hive表操作
- mysql大数据相关优化记录
- Ajax同步和异步
- spark使用Hive表操作
- s:token-防止重复提交
- html限制文本框只能输入数字和一个小数点
- UIViewController的生命周期
- Google APAC 2016 学习
- 详解 YUV 数据格式
- idea not found for the web module.
- Part06 - (图文)NSX系列之为NSX环境配备vSphere主机与Cluster
- RTEMS4.11 FEDORA20 64BIT环境搭建
- VMware虚拟机上网络连接(network type)的三种模式--bridged、host-only、NAT
- 深度学习(五)caffe环境搭建
- 页面重构时的注意事项
- 数据
- win8/8.1系统无法安装驱动怎么办?win8/8.1系统安装驱动提示“数据无效”的解决方法
- Linux系统管理之磁盘管理、文件系统管理
- Android项目Tab类型主界面大总结
- 怎样解决MathType中希腊字母无法显示问题