hive0.11升级问题小结
2014-04-10 22:19
363 查看
为了兼容spark,并使用hive的kerberos和hiveserver2功能和一些窗口函数,线上的hive由0.10升级至0.11,遇到几个问题,简单记录下:1.分区schemal的问题具体见:http://caiguangguang.blog.51cto.com/1652935/1355216
2.部分函数运行unix_timestamp在参数为null时会报错:
https://issues.apache.org/jira/browse/HIVE-5056
一种解决方法时 set hive.auto.convert.join=false;这种方法在数据存在倾斜时(reduce阶段长时间处在99%)会有性能的问题。不过官方有对应的patch,打上就可以fix.
4.double精度问题hive double做运算,计算结果不精确,这其实是旧版本的hive的一个bug
bugid: https://issues.apache.org/jira/browse/HIVE-2693 在hive0.11引入了decimal的类型,如果是double的类型可以通过cast(xxx as decimal)来解决
以后遇到问题再来补充。
2.部分函数运行unix_timestamp在参数为null时会报错:
hive> select unix_timestamp(null) from default.dual limit 5; FAILED: SemanticException [Error 10014]: Line 1:7 Wrong arguments 'TOK_NULL': The function UNIX_TIMESTAMP takes only string or timestamp types变通的方法时通过case when做处理:
(case when ddtime is null then null else unix_timestamp(ddtime) end)3. map join 关于map join的理解:http://caiguangguang.blog.51cto.com/1652935/1376183hive0.11默认的convert map join是开启的,在大部分的情况下会减少job的运行时间,不过有一些bug1)null pointer的bug报错信息:
Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.NullPointerException2)字段hash值一样时出现的乱序问题报错:
java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException : Hive Runtime Error while processing row [Error getting row data with exception java.lang.ArrayIndexOutOfBoundsException: xxxxbugid:https://issues.apache.org/jira/browse/HIVE-5256
https://issues.apache.org/jira/browse/HIVE-5056
一种解决方法时 set hive.auto.convert.join=false;这种方法在数据存在倾斜时(reduce阶段长时间处在99%)会有性能的问题。不过官方有对应的patch,打上就可以fix.
4.double精度问题hive double做运算,计算结果不精确,这其实是旧版本的hive的一个bug
bugid: https://issues.apache.org/jira/browse/HIVE-2693 在hive0.11引入了decimal的类型,如果是double的类型可以通过cast(xxx as decimal)来解决
select cast(2.3333 as decimal)+cast(12.55 as decimal) from dual;
以后遇到问题再来补充。
相关文章推荐
- hive升级到0.11的问题
- Hive 0.11 升级踩坑记——HiveServer2的imperson问题
- 关于hive升级到0.11的版本问题2
- hive升级至0.11 partition schemal问题
- JDK 升级问题小结
- hive升级遇到的几个小问题
- 升级到Flask 0.11要注意的问题
- ASP.NET1.0升级ASP.NET2.0的问题小结
- hive升级到0.11的体验
- NET1.x升级到.NET2.x问题小结
- .NET1.x升级到.NET2.x问题小结
- CDH 中组件升级问题(hive为例)
- dva 升级 2.0 版本遇到问题小结
- hive0.11的hive server实现kerberos认证和impersonation中碰到的问题
- Nuxt升级2.0.0时出现的问题(小结)
- 升级hive-0.11后报java.lang.InstantiationException: org.antlr.runtime.CommonToke
- 阿里云服务器升级问题小结
- android studio 3.0 升级 项目遇到的问题及更改思路(问题小结)
- hive 0.11升级hive 0.13
- ASP.NET1.0升级ASP.NET2.0的问题小结