高效使用hive
2014-07-01 20:26
309 查看
工作中经常使用hive,熟练使用hvie的配置参数可以更加高效的使用Hive
Hive option:
hive -f script.hql : 从文件script.hql中的读取hql执行
hive -e 'select * from xxx': 启动hive时指定执行的hql,此种方式hql会先经过shell解释,然后再用hive执行,因此需要注意hql中被shell转义的字符
hive -S :安静模式执行hql,这样标准输出中只有hql执行的结果,没有进度等信息,便于对结果进行过滤
hive -i .hiverc :指定启动的hiverc文件
hive --help:显示帮助信息
hive --serverice:启动hive service,可用的service: beeline cli help hiveserver2 hiveserver hwi jar lineage metastool rcfilecat
hive --service service_name --help: 显示hive service的帮助信息
hive --define/-d/--hivevar:命令行传递hive变量
Hive set var Option:
可用在hive命令行中查看hive配置参数和所有的变量,hive中的变量有不同的命名空间和访问权限:
hivevar:可读/可写:用户自定义变量
hiveconf: 可读/可写:hive想配置属性
system: 可读/可写:Java定义配置属性
env: 只可读: Shell环境变量
set; 显示hiveconf, hivevar,env,system中变量
set hivevar/env/system:var_name 显示具体某一个空间中的某个变量
set -v : 显示所有变量,包括hadoop相关配置
常用hive配置:
set hive.cli.print.header=true; 输出列名
set hive.cli.print.current.db=true; 输出current db
set hive.mapred.mode=nostrict; 使用nostrict模式,允许order by 而不limit
set hive.exec.mode.local.auto=true; 尽量以高效地本地模式执行hql
hive ql 注释: --command
hive执行hdfs cmd: dfs command, 类似hadoop fs command
hive执行shell:!shell_cmd
hive 历史命令:.hivehistory
hive默认配置: hivedefault.xml.template
hive log配置:hive-log4j.properties, 更改hive.root.logger=DEBUG, console可将调试信息输出到console
Hive option:
hive -f script.hql : 从文件script.hql中的读取hql执行
hive -e 'select * from xxx': 启动hive时指定执行的hql,此种方式hql会先经过shell解释,然后再用hive执行,因此需要注意hql中被shell转义的字符
hive -S :安静模式执行hql,这样标准输出中只有hql执行的结果,没有进度等信息,便于对结果进行过滤
hive -i .hiverc :指定启动的hiverc文件
hive --help:显示帮助信息
hive --serverice:启动hive service,可用的service: beeline cli help hiveserver2 hiveserver hwi jar lineage metastool rcfilecat
hive --service service_name --help: 显示hive service的帮助信息
hive --define/-d/--hivevar:命令行传递hive变量
Hive set var Option:
可用在hive命令行中查看hive配置参数和所有的变量,hive中的变量有不同的命名空间和访问权限:
hivevar:可读/可写:用户自定义变量
hiveconf: 可读/可写:hive想配置属性
system: 可读/可写:Java定义配置属性
env: 只可读: Shell环境变量
set; 显示hiveconf, hivevar,env,system中变量
set hivevar/env/system:var_name 显示具体某一个空间中的某个变量
set -v : 显示所有变量,包括hadoop相关配置
常用hive配置:
set hive.cli.print.header=true; 输出列名
set hive.cli.print.current.db=true; 输出current db
set hive.mapred.mode=nostrict; 使用nostrict模式,允许order by 而不limit
set hive.exec.mode.local.auto=true; 尽量以高效地本地模式执行hql
hive ql 注释: --command
hive执行hdfs cmd: dfs command, 类似hadoop fs command
hive执行shell:!shell_cmd
hive 历史命令:.hivehistory
hive默认配置: hivedefault.xml.template
hive log配置:hive-log4j.properties, 更改hive.root.logger=DEBUG, console可将调试信息输出到console
相关文章推荐
- 高效使用hive
- 使用高效的日志工具—Log4J (1)
- CUJ:高效使用标准库:set的iterator是mutable的还是immutable的?
- 如何高效地使用XCodeFactory自动生成的数据层代码(二)
- 高效使用win(start)键
- [原创]如何改善Managed Code的Performance和Scalability系列之二:深入理解string和如何高效地使用string
- 使用高效的日志工具—Log4J
- 使用Linux高效构建企业无线网关/防火墙
- 使用VS2005搭建典型高效的SharePoint开发环境,提高生产效率,包含远程调试,自动部署
- 如何高效的使用内存
- CUJ:高效使用标准库:for_each() vs. transform()
- 高效使用FORTRAN数组
- 高效使用数码相机的诀窍
- 如何高效地使用XCodeFactory自动生成的数据层代码(一)
- 高效使用标准库 1
- CUJ:高效使用标准库:STL中的unary predicate
- 使用DataReader高效地访问数据库
- 使用Excel“自动化”功能将数据输出到Excel的三种高效方法对比实验
- 高效的使用watch窗口
- 如何尽可能高效地使用论坛+解决编程问题的一些方法