Hive伪分布模式安装

1、安装和配置
可以通过下载压缩包来安装一个稳定版的Hive，也可以下载源码进行编译。
1.1 运行HiveServer2和Beeline
1.2要求
java1.7+，官网推荐1.8
Hadoop2.x
1.3安装Hive的稳定版
下载当前稳定版http://mirrors.cnnic.cn/apache/hive/hive-2.1.0/。
解压缩，并重命名
tar -zxvf hive-2.1.0-bin.tar.gz
mv apache-hive-2.1.0-bin hive-2.1.0
在/etc/profile或者~/.bashrc中设置HIVE_HOME变量的值，使其指向Hive的安装目录：
export HIVE_HOME=/opt/hive/hive-2.1.0
export PATH=$PATH:$HIVE_HOME/bin:$HIVE_HOME/conf
使配置立即生效：
source /etc/profile
修改Hive配置文档（不修改则使用默认文档），两种安装方式：使用Derby数据库、使用其他数据库（如mysql）：
使用Derby数据库的安装方式
Apache Derby是一个完全用java编写的数据库，所以可以跨平台，但需要在JVM中运行数据库，即将元数据存储在Derby数据库中，存储了如表的模式和分区信息等元数据信息

也是Hive默认的安装方式。
创建hive-env.sh文件
cp hive-env.sh.template hive-env.sh
在hive-env.sh中添加：
# Set HADOOP_HOME to point to a specific hadoop install directory
export HADOOP_HOME=/opt/hadoop/hadoop-2.7.2
# Hive Configuration Directory can be controlled by
export HIVE_CONF_DIR=/opt/hive/hive-2.1.0/conf
创建hive-site.xml
cd /opt/hive/hive-2.1.0/conf
cp hive-default.xml.template hive-site.xml
配置 hive-site.xml文件：
参数hive-metastore.warehourse.dir指定存储Hive表中数据的存储目录，指定的是HDFS上的位置，默认值为/user/hive/warehouse（好像没有这个参数，我自己加的）
参数hive.exec.scratchdir指定Hive的数据临时文件目录，默认位置为/tmp/hive-${user.name}。这里配置为/tmp/hive
连接数据库配置说明：
参数javax.jdo.option.ConnectionURL
jdbc:derby:;databaseName=metastore_db;create=true
参数javax.jdo.option.ConnectionDriverName指定驱动的类入口名称：org.apache.derby.jdbc.EmbeddedDriver
参数javax.jdo.option.ConnectionUserName指定数据库的用户名：APP
参数javax.jdo.option.ConnectionPassword指定数据库的密码：mime
Derby数据库驱动在目录$HIVE_HOME/lib/下，derby-10.10.2.0.jar

<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:derby:;databaseName=metastore_db;create=true</value>
<description>
告诉hive如何连接metastore server，默认情况下使用当前目录作为属性值字符串中的databaseName部分，这样会造成用户每当切换工作目录下时，Derby就会忘记在前一个目录下的元数据存储信息！我们可以使用databaseName=/opt/hive/hive-2.1.0/metastore_db作为绝对路径，即metastore_db目录所在路径，这样设置可以解决每次开启一个新的hive会话时，Hive自动删除工作目录下的metastore_db目录的问题。现在我们不管在哪个目录下工作都可以访问到所有的元数据。
</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>org.apache.derby.jdbc.EmbeddedDriver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>APP</value>
<description>Username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>mine</value>
<description>password to use against metastore database</description>
</property>

启动Hive
命令行键入hive
显示出错：
Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.hadoop.hive.ql.metadata.HiveException: MetaException(message:Hive metastore database is not initialized. Please use schematool
(e.g. ./schematool -initSchema -dbType ...) to create the schema. If needed, don't forget to include the option to auto-create the underlying database in your JDBC connection string (e.g. ?createDatabaseIfNotExist=true for mysql))
根据错误提示，应该是metastore数据库没有初始化的原因造成的。
按照提示执行命令“schematool -initSchema -dbType derby”对metastore进行初始化。
但此时可能仍会报错误：Error: FUNCTION ‘NUCLEUS_ASCII’ already exists. (state=X0Y68,code=30000)
这是因为之前已经生成了metastore_db文件夹。需要将当前工作目录下的metastore_db文件夹删除，rm -r metastore_db
然后重新运行“schematool -initSchema -dbType derby”命令。
之后执行hive，又出现错：
java.lang.IllegalArgumentException:java.net.URISyntaxException: Relative path in absolute URI:${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D
解决方法：
在hive安装目录下创建临时io的tmp文件夹：
mkdir iotmp
然后，将这个iotmp的绝对路径替换hive-site.xml文件中的${system:java.io.tmpdir}。
再执行hive，启动成功！
在Hive建表之前，（在默认配置文档下）创建 /tmp 和/user/hive/warehouse文件目录，并在HDFS中设置它们chmod g+w（这一步可以不要，会自动新建）
$ $HADOOP_HOME/bin/hadoop fs -mkdir /tmp/hive
$ $HADOOP_HOME/bin/hadoop fs -mkdir /user/hive/warehouse
$ $HADOOP_HOME/bin/hadoop fs -chmod g+w /tmp/hive
$ $HADOOP_HOME/bin/hadoop fs -chmod g+w /user/hive/warehouse
测试：
建立测试表test：create table test (key string);
show tables;
使用mysql数据库的安装方式
使用mysql数据库存储元数据，存储了如表的模式和分区信息等元数据信息

。
ubuntu采用sudo apt-get install mysql-server安装
建立数据库hive ：
create database hive
创建hive用户,并授权：
grant all on hive.* to hive@'%' identified by 'hive';第一个hive是数据库，第二个是用户名，第三个是密码。
强制写入：flush privileges;
创建hive-env.sh文件
cp hive-env.sh.template hive-env.sh
在hive-env.sh中添加：
# Set HADOOP_HOME to point to a specific hadoop install directory
export HADOOP_HOME=/opt/hadoop/hadoop-2.7.2
# Hive Configuration Directory can be controlled by
export HIVE_CONF_DIR=/opt/hive/hive-2.1.0/conf
创建hive-site.xml
cd /opt/hive/hive-2.1.0/conf
cp hive-default.xml.template hive-site.xml
配置 hive-site.xml文件：
参数hive-metastore.warehourse.dir指定Hive的数据存储目录，指定的是HDFS上的位置，默认值为/user/hive/warehouse（好像没有这个参数，我自己加的）
参数hive.exec.scratchdir指定Hive的数据临时文件目录，默认位置为/tmp/hive-${user.name}。这里配置为/tmp/hive
修改hive-site.xml

<property>
<name>javax.jdo.option.ConnectionURL </name>
<value>jdbc:mysql://localhost:3306/hive</value>
</property>

<property>
<name>javax.jdo.option.ConnectionDriverName </name>
<value>com.mysql.jdbc.Driver </value>
</property>
<property>
　　<name>javax.jdo.option.ConnectionUserName</name>
　　<value>hive</value>
　　<description>username to use against metastore database</description>
　</property>
　<property>
　　<name>javax.jdo.option.ConnectionPassword</name>
　　<value><span style="color:#ff0000;">hive</span></value>
　　<description>password to use against metastore database</description>
　</property>
<property>
<name>hive.hwi.listen.port </name>
<value>9999 </value>
<description>This is the port the Hive Web Interface will listen on </descript ion>
</property>
<property>
<name>datanucleus.autoCreateSchema </name>
<value>false </value>
</property>

<property>
<name>datanucleus.fixedDatastore </name>
<value>true </value>
</property>
<property>
<name>hive.metastore.local </name>
<value>true </value>
<description>controls whether to connect to remove metastore server or open a new metastore server in Hive Client JVM </description>
</property>

运行hive
发生错误：
Caused by: MetaException(message:Hive metastore database is not initialized. Please use schematool (e.g. ./schematool -initSchema -dbType ...) to create
the schema. If needed, don't forget to include the option to auto-create the underlying database in your JDBC connection string (e.g. ?createDatabaseIfNotExist=true for mysql))
然后我执行$HIVE_HOME/bin/schematool -initSchema -dbTypederby
又出错：
Error: You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near '"APP"."NUCLEUS_ASCII"(C
CHAR(1)) RETURNS INTEGER LANGUAGE JAVA PARAMETER STYLE ' at line 1 (state=42000,code=1064)
我才发现，原来在初始化时用了derby，这里应该是mysql
所以就执行$HIVE_HOME/bin/schematool -initSchema -dbType mysql
执行hive，成功！
1.4遇到的问题：
（1）Hive metastore database is not initialized.
解决方法：按照提示执行命令“schematool -initSchema -dbType derby”对metastore进行初始化。但此时可能仍会报错误：Error: FUNCTION ‘NUCLEUS_ASCII’ already exists. (state=X0Y68,code=30000) 。这是因为之前已经生成了metastore_db文件夹。需要将当前工作目录下的metastore_db文件夹删除，然后重新运行“schematool
-initSchema -dbType derby”命令。
之后hive就可以以本地内嵌derby数据库为metastore正常启动了。
（2）Caused by: org.datanucleus.store.rdbms.connectionpool.DatastoreDriverNotFoundException: The specified datastore driver("com.mysql.jdbc.Driver") was not foundin
the CLASSPATH.
没有 mysql-connector-java-*.*.*.tar.gz
下载mysql-connector-java-5.1.39.tar.gz
http://cdn.mysql.com//Downloads/Connector-J/mysql-connector-java-5.1.39.tar.gz
解压缩后将mysql-connector-java-5.1.39-bin.jar放到$HIVE_HOME/lib。