hive中的一些参数
2016-11-18 10:53
197 查看
动态分区
设置如下参数开启动态分区:
hive.exec.dynamic.partition=true
默认值:false
描述:是否允许动态分区
hive.exec.dynamic.partition.mode=nonstrict
默认值:strict
描述:strict是避免全分区字段是动态的,必须有至少一个分区字段是指定有值的
设置如下参数配置动态分区的使用环境:
hive.exec.max.dynamic.partitions.pernode=100
默认值:100
描述:each mapper or reducer可以创建的最大动态分区数
hive.exec.max.dynamic.partitions=1000
默认值:1000
描述:一个DML操作可以创建的最大动态分区数
hive.exec.max.created.files=100000
默认值:100000
描述:一个DML操作可以创建的文件数
设置如下参数取消一些限制(HIVE 0.7后没有此限制):
hive.merge.mapfiles=false
默认值:true
描述:是否合并Map的输出文件
hive.merge.mapredfiles=false
默认值:false
描述:是否合并Reduce的输出文件
文件类型
lzo文件类型
set mapred.output.compress=true;
set hive.exec.compress.output=true;
set mapred.output.compression.codec=com.hadoop.compression.lzo.LzopCodec;
parquet文件类型
set mapred.output.compress=true;
set hive.exec.compress.output=true;
set mapred.output.compression.codec=org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat
设置如下参数开启动态分区:
hive.exec.dynamic.partition=true
默认值:false
描述:是否允许动态分区
hive.exec.dynamic.partition.mode=nonstrict
默认值:strict
描述:strict是避免全分区字段是动态的,必须有至少一个分区字段是指定有值的
设置如下参数配置动态分区的使用环境:
hive.exec.max.dynamic.partitions.pernode=100
默认值:100
描述:each mapper or reducer可以创建的最大动态分区数
hive.exec.max.dynamic.partitions=1000
默认值:1000
描述:一个DML操作可以创建的最大动态分区数
hive.exec.max.created.files=100000
默认值:100000
描述:一个DML操作可以创建的文件数
设置如下参数取消一些限制(HIVE 0.7后没有此限制):
hive.merge.mapfiles=false
默认值:true
描述:是否合并Map的输出文件
hive.merge.mapredfiles=false
默认值:false
描述:是否合并Reduce的输出文件
文件类型
lzo文件类型
set mapred.output.compress=true;
set hive.exec.compress.output=true;
set mapred.output.compression.codec=com.hadoop.compression.lzo.LzopCodec;
parquet文件类型
set mapred.output.compress=true;
set hive.exec.compress.output=true;
set mapred.output.compression.codec=org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat
相关文章推荐
- Hive一些参数设置
- Hive一些参数设置
- hive一些参数
- hive一些参数
- 关于存储过程的ADO调用的一些心得(输出参数,返回值)
- 关于arrylist的一些操作(包含利用params传递数组参数)
- Request.ServerVariables("") 的一些参数说明
- 关于存储过程的ADO调用的一些心得(输出参数,返回值)
- Linu中configure/makefile的文章--能弄懂一些参数
- PHP-Apache2一些参数设置等
- CLTL2中关于Lambda-EXpress参数关键字的一些例子
- 键盘钩子中的一些常用参数转换
- request中取得一些常用参数
- 关于Oracle Shared Server及一些参数设置
- apache一些参数的解释(持续添加)
- PreparedStatement处理批量SQL时,不支持SELECT常量内容(包括一些外面数据要作为参数SELECT)
- 关于函数调用中参数传递的一些思考
- ManagementObject 参数 WMI 一些参数(Win32_Service)
- request中取得一些常用参数
- 数组参数传递中的一些问题?