Hive运行

Hive 是什么之类的就不说了。下面说说简单的安装过程。

其实和hadoop很类似，毕竟是一家人嘛。

1. 下载，解压apache-hive-1.2.1-bin.tar.gz (这是本人用的版本)

tar -zxvf apache-hive-1.2.1-bin.tar.gz

2. 设置环境变量

vi ~/.bash_profile (添加两行)

export HIVE_HOME=/home/hadoop/tools/apache-hive-1.2.1-bin

export PATH=$PATH:$HIVE_HOME/bin

source ~/.bash_profile

3. 更改配置

cd ${HIVE_HOME}/conf

copy 所有的后缀为template的文件，去掉后面的.template作为文件名。

mv hive-default.xml hive-site.xml

修改hive-env.sh

HADOOP_HOME=/home/hadoop/tools/hadoop-2.6.0

# Hive Configuration Directory can be controlled by:

export HIVE_CONF_DIR=/home/hadoop/tools/apache-hive-1.2.1-bin/conf

修改hive-site.xml,将MetaData存储到其他机器上的Mysql. (关于怎么安装mysql可以自己想办法，一定搞得定的，相信自己，只要有心，强烈建议不要用hive自带的内嵌式Derby，至少也要用个server版的)

<property>

<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:mysql://192.168.121.1:3306/hive</value>

<description>JDBC connect string for a JDBC metastore</description>

</property>

<property>

<property>

<name>javax.jdo.option.ConnectionDriverName</name>

<value>com.mysql.jdbc.Driver</value>

<description>Driver class name for a JDBC metastore</description>

</property>

<property>

<name>javax.jdo.option.ConnectionPassword</name>

<value>hive</value>

<description>password to use against metastore database</description>

</property>

<property>

<name>javax.jdo.option.ConnectionUserName</name>

<value>hive</value>

<description>Username to use against metastore database</description>

</property>

这里是已经创建了hive这个database in Mysql,用户名和密码都是hive，你可以改成自己的

其他的配置项可以根据需要做少量修改。

使用Mysql就需要把mysql的JDBC驱动放到${HIVE_HOME}/lib下面，当然也可以用其他的RDBMS。

4. 启动hadoop,然后启动 hive

可能出现的错误：

a. [ERROR] Terminal initialization failed; falling back to unsupported

java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was expected

at jline.TerminalFactory.create(TerminalFactory.java:101)

at jline.TerminalFactory.get(TerminalFactory.java:158)

at jline.console.ConsoleReader.<init>(ConsoleReader.java:229)

at jline.console.ConsoleReader.<init>(ConsoleReader.java:221)

原因是hadoop目录下存在老版本jline：

解决方法是：

将hive下的新版本jline的JAR包拷贝到hadoop下：
cp /hive/apache-hive-1.2.1-bin/lib/jline-2.12.jar ./

启动之后

[hadoop@vm11 apache-hive-1.2.1-bin]$ hive

Logging initialized using configuration in file:/home/hadoop/tools/apache-hive-1.2.1-bin/conf/hive-log4j.properties

hive> create table aaa(name string);

FAILED: Error in metadata: javax.jdo.JDODataStoreException: Error(s) were found while auto-creating/validating the datastore for classes. The errors are printed in the log, and are attached to this exception.

NestedThrowables:

com.mysql.jdbc.exceptions.MySQLSyntaxErrorException: Specified key was too long; max key length is 1000 bytes

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask

可能是数据库的编码格式不对,更改Mysql的字符集

alter database hivedb character set latin1;

再运行下，就OK了。也可以通过

hive -hiveconf hive.root.logger=DEBUG,console

来排查出现的错误。

5.运行DML DDL

运行成功了，就可以通过各种CRUD之类的语句来折磨Hive的，不知道谁折磨谁，试试就知道了，呵呵。