您的位置:首页 > 其它

hive 0.11升级hive 0.13

2014-11-28 11:17 190 查看
注意事项: 升级之前要核实当前的hadoop版本是否和升级之后的hive版本兼容。

具体的升级步骤如下:

1.关闭当前hive正在执行的进程,service hive-server等

关闭掉之前开启的hive连接服务,要是没开就不用关;打开的客户端也要关掉。

2.备份mysql数据库hive库

mysqldump -uhadoop -h 192.168.10.110  -phive hive > schem_hive-0.11.0.sql

这个用于升级失败之后的回滚。

3.解压0.13.0的安装包,

进入目录: ${HIVE_HOME}/scripts/metastore/upgrade/mysql/

下面有如下的脚本:

-rw-r--r-- 1 hadoop hadoop  141 3月   5 09:19 upgrade-0.10.0-to-0.11.0.mysql.sql

-rw-r--r-- 1 hadoop hadoop  311 3月   5 09:19 upgrade-0.11.0-to-0.12.0.mysql.sql

-rw-r--r-- 1 hadoop hadoop  418 4月   8 23:42 upgrade-0.12.0-to-0.13.0.mysql.sql

-rw-r--r-- 1 hadoop hadoop  271 3月   5 09:19 upgrade-0.5.0-to-0.6.0.mysql.sql

-rw-r--r-- 1 hadoop hadoop  230 3月   5 09:19 upgrade-0.6.0-to-0.7.0.mysql.sql

-rw-r--r-- 1 hadoop hadoop  201 3月   5 09:19 upgrade-0.7.0-to-0.8.0.mysql.sql

-rw-r--r-- 1 hadoop hadoop  137 3月   5 09:19 upgrade-0.8.0-to-0.9.0.mysql.sql

-rw-r--r-- 1 hadoop hadoop  235 3月   5 09:19 upgrade-0.9.0-to-0.10.0.mysql.sql

执行脚本:

mysql -uhadoop -h 192.168.10.110  -phive hive <upgrade-0.11.0-to-0.12.0.mysql.sql

此时数据库的结构只适应0.12系列的,可以选择做个备份:

mysqldump -uhadoop -h 192.168.10.110 -phive hive > schem_hive-0.12.0.sql

下面再执行:

mysql -uhadoop -h 192.168.10.110  -phive hive <upgrade-0.12.0-to-0.13.0.mysql.sql

每个脚本执行后 都可以做个相应schem的备份。

这一步骤是非常重要的,要是执行失败,会出现

Failed with exception null  

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask

等异常,导致之前版本已有的数据无法正常操作

注意: 执行上述脚本的时候 如出现错误,必须需要手工去执行,升级的时候 就是因为忽略的错误,导致以前的数据无法操作,也会报上面同样的错误!!!

然后查看sql脚本 手工一步一步的执行procedure和sql之后 ,系统就正常了。

5.拷贝 mysql connector jar包到 ${HIVE_HOME}/lib 目录,也可以直接从之前版本的jar直接拷贝过来。修改需要更改的配置文件,这里就不多说了

到此,hive就完成升级了。

6.开启hiveserver

 bin/hive --service hiveserver  &

7.hwi
之前版本里面都有自带的hwi war包,唯独0.13版本的lib里没有hive-hwi-0.13.0.war,这个问题纠结了好久,网上也查不到资料。
解决办法,下载0.13的源码,到hwi包里找到web目录,把该目录手动打包.zip,然后改成war包,copy到lib目录下,启动hwi即可,
如有遇到

Unable to find a javac compiler;

 com.sun.tools.javac.Main is not on the classpath.

 Perhaps JAVA_HOME does not point to the JDK.

cp  /opt/jdk/lib/tools.jar /usr/lib/hive/lib/,具体为什么不太清楚,估计哪里配置有问题,还忘指点。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  hive升级