在Spark 1.2.0的spark-shell中进行Hive数据库的操作
2016-01-18 17:55
429 查看
【环境配置】
Hive: 0.13.1
Spark: 1.2.0
Spark和Hive都是伪分布式安装的
网上有一些教程,但或者Spark版本不同,或者不够全面。其实总结起来只有三步,如下:
(1)打开spark-shell
(2)建立HiveContext对象
(3)进行Hive操作
Hive: 0.13.1
Spark: 1.2.0
Spark和Hive都是伪分布式安装的
网上有一些教程,但或者Spark版本不同,或者不够全面。其实总结起来只有三步,如下:
(1)打开spark-shell
spark-shell
(2)建立HiveContext对象
val hiveContext = new org.apache.spark.sql.hive.HiveContext(sc)
(3)进行Hive操作
hiveContext.sql("show tables").take(10) //取前十个表看看
hiveContext.sql("from ewaplog select key, value").collect().foreach(println)
相关文章推荐
- linux_shell_根据网站来源分桶
- 使用dialog写图形自动化shell脚本
- Shell程序设计(二)—流程控制
- Shell程序设计(一)—基础知识
- Linux下如何执行Shell脚本
- expr用法
- Xshell 连接CentOS服务器解密
- linux shell中大于、小于、等于逻辑表达式介绍
- Shell批量SSH免交互登录认证
- linux shell ${}简单用法,及$()
- shell:统计web服务器每天客户访问量及每个时段的访问量
- shell基本用法介绍
- Shell脚本判断IP是否合法性(多种方法)
- django shell创建、取出、排序打印
- shell编程-条件判断与流程控制
- shell编程-条件判断式
- shell编程-运算符
- bash脚本语言
- shell脚本报错"expr: syntax error" 解决方案
- Hadoop错误10_bash: hadoop: command not found问题解决