Hive安装极其用法（个人觉得适合初学者）

不知不觉接触Hive也已经有两个星期了，就将自己这段时间所学到的一些基本的Hive用法记录一下，方便以后查看！

条件：Ubuntu，已经安装mysql

1.先在mysql中创建一个hive账户，并赋予足够权限

mysql -u root -p

密码：*******

之后进入之后开始创建账户

created user ‘hive’ identified by 'hive';//创建账户

grant all privileges on *.* to 'hive' with grant option;//赋予足够的权限

flush privildges;//刷新

2.测试hive用户能够连接mysql，并创建一个Hive数据库

mysql -u hive -p

密码：******

create database hive;

use hive;

show tables;

3接着是Hive的安装：

（1）解压缩hive安装包，下载mysql-connector-java-5.1.24-bin.jar.

（2）将mysql-connector-java-5.1.24-bin.jar放到hive安装目录lib 下

（3）修改环境变量，如下操作：

sudo nano /etc/profile

#Set HIVE_HOME ENVIRONMENT
export HIVE_HOME=/home/hadoop/hive //正确填写自己安装hive的目录
export PATH=$PATH:$HIVE_HOME/bin
(4)修改hive-env.sh
cp hive-env.sh.template hive-env.sh

修改如下：

# HADOOP_HOME=${bin}/../../hadoop
HADOOP_HOME=/home/hadoop/hadoop
# Hive Configuration Directory can be controlled by:
# export HIVE_CONF_DIR=
export HIVE_CONF_DIR=/home/hadoop/ hive /conf

(5)拷贝hive-default.xml并命名为 hive-site.xml
cp hive-default.xml.template hive-site.xml


(6)nano hive-site.xml

<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBCmetastore</description>
</property>

<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBCmetastore</description>
</property>

<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
<description>username to use against metastoredatabase</description>
</property>

<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hive</value>
<description>password to use against metastoredatabase</description>
</property>

<property>
<name>hive.querylog.location</name>
<value>/home/hadoop/hive/logs</value>
<description>
Location of Hive run time structured log file
</description>
</property>
（7）启动hive
PS:先启动集群，在启动Hive
启动Hive之前记得关闭防火墙sudo ufw disable
和离开安全模式Hadoop dfsadmin -safemode leave

为了后续Hive导入数据的方便，需要安装sqoop

http://www.apache.org/dyn/closer.cgi/sqoop/1.4.6
解压，设置环境变量
sudo /etc/profile

#Set SQOOP_HOME ENVIRONMENT
exportSQOOP_HOME=/home/hadoop/sqoop
export PATH=$SQOOP_HOME/bin:$PATH

复制生成新文件
hadoop@master:~/sqoop/conf$ cpsqoop-env-template.sh sqoop-env.sh

进入sqoop-env.sh进行以下修改
exportHADOOP_COMMON_HOME=/home/hadoop/hadoop
exportHADOOP_MAPRED_HOME=/home/hadoop/hadoop
export HIVE_HOME=/home/hadoop/hive
export HBASE_HOME=/home/hadoop/hbase //有安装就加上
exportZOOKEEPER_HOME=/home/hadoop/zookeepe//有安装就加上

配置MySQL JDBC Driver

1.检查检查$SQOOP_HOME/lib下是否有MySQL的JDBC驱动有mysql-connector-java-5.1.34.jar

2.如果没有则下载到此目录

安装完成后，执行Sqoop help若有一系列命令输出到控制台，则表示Sqoop安装已经成功！

PS：若出现以下问题：

ERROR tool.ImportTool: Error during import:Import job failed!

Caused by: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException:Communications link failure

Error:java.lang.RuntimeException:com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications linkfailure

一般是因为权限问题，只需执行grant all privileges on *.* to 'hive' @'%'表示用户可以访问任何主机

以上就结束了Hive的安装以及相关的配置，接下来开始为大家讲解Hive的基本用法：

首先先了解以下Hive是什么，以及Hive有什么作用：

Hive是一个数据仓库分析系统
它与关系型数据库的SQL略有不同，但支持了绝大多数的语句如DDL、DML以及常见的聚合函数、连接查询、条件查询。HIVE不适合用于联机online事务处理，也不提供实时查询功能。它最适合应用在基于大量不可变数据的批处理作业。也就是说，基本上熟悉sql的很容易上手hive的。
基本操作：

创建一个表：create table table1(id string,name string)

创建一个简单表，列之间默认以','分隔，行之间默认以换行‘\n’分隔

添加了格式定义的表

create table table2(id string,name string)

row format delimited

fields terminated by '\t' //制表符分隔

lines terminated by '\n';//换行分隔

创建一个外部表，上面创建的表又称内部表。两者区别后续在讨论

create external table table3(ip string,name string)

row format delimited

fields terminated by '\t'

lines terminated by'\n'

location '/user/hive/warehouse/0'

使用external创建外部表时一定要指明location，location用于指定表的存放位置！

创建一个分区表：

create table table4(ip string,name string

comment 'this is a table'

partitioned by (date string)

row format delimited

fields terminated by '\t'

lines terminated by'\n'

stored as sequencefile;//指定存储文件类型，默认为textfile

创建一个bucket表

create table table5(ip string,name string)

comment 'this is a page view table'

partioned by (date string)

clustered by (ip) sorted by(name) into 32 buckets

row format delimited
fields terminated by '\t'
lines terminated by'\n'
stored as sequencefile;

这里有一点要注意的就是例如在导入数据到桶时需要

执行这条语句set hive.enforce.bucketing=true;

在执行导入语句

下面笼统介绍以下以上创建的各种类型的表的大概：

外部表：Hive中的外部表和表很类似，但是其数据不是放在自己表所属的目录中，而是存放到别处，这样的好处是如果你要删除这个外部表，该外部表所指向的数据是不会被删除的，它只会删除外部表对应的元数据；而如果你要删除表，该表对应的所有数据包括元数据都会被删除。

分区：在Hive中，表的每一个分区对应表下的相应目录，所有分区的数据都是存储在对应的目录中。比如wyp表有dt和city两个分区，则对应dt=20131218,city=BJ对应表的目录为/user/hive/warehouse/dt=20131218/city=BJ，所有属于这个分区的数据都存放在这个目录中。

桶：对指定的列计算其hash，根据hash值切分数据，目的是为了并行，每一个桶对应一个文件（注意和分区的区别）。比如将wyp表id列分散至16个桶中，首先对id列的值计算hash，对应hash值为0和16的数据存储的HDFS目录为：/user/hive/warehouse/wyp/part-00000；而hash值为2的数据存储的HDFS目录为：/user/hive/warehouse/wyp/part-00002。

表创建完之后，我们就可以对它进行一系列的操作：
增加一列并添加注释 alter table table1 add columns (new_column sting comment ‘...’)
更改表名:alter table table2 rename to table5;
修改列的名字以及一系列信息：alter table table2 change ip ips string comment '....';
替换表中所有字段：alter table table2 replace columns (new_columns string comment '...');
删除分区alter table table2 drop partition(ip='***.***.**.**');

删除表：drop table table2;
写到这里，顺便写一下内部表和外部表的区别；
我的理解是内部表是这么回事，当删除内部表时，表中的数据和元数据都会被删除，而删除外部表时，只删除
表结构而已，并不会删除数据
以下是一些对表的一般操作，可参考下：
describe table1;//罗列表信息
describe extended table1;//罗列表具体信息
show tables;//罗列出对应数据库中的所有表
show functions//罗列出所有的内置函数

讲了这么多，没有点数据都不好说自己是在操作数据库了；
接下来为大家讲解如何将数据导入到建立的表中
有以下几种方式：
1.从本地文件系统导入数据到Hive表
load data local inpath '....' into/overwrite table table1//overwrite表示覆盖掉原来表格存在所有的数据,local表示
数据源位于本机上，没加local表示数据源位于hdfs上.
2.hdfs上导入数据到Hive表
load data inpath '....' into/overwrite table table1
3.从别的表中查询出相应的数据导入到hive表中
insert into table2
select * form table1;
4.创建表的时候从别的表中查询出相应的记录并插入到所创建的表中
create table table6
as
select * from table2;
以上为4中导入数据的方式，可能本人学的还不是很深入，至于怎么分区导入，以后在讨论

有导入自然有导出
以下是集中不同的数据导出方式：
1导出到本地文件系统(此处导出不能用insert into)
insert overwrite local directory '..'
select * from table2;
2导出到hdfs中(此处导出不能用insert into)
insert overwirte directory '...'
select * from table2;
3导出Hive的另一个表中
insert overwrite local directory '...'//必须加local才能指定格式，不然会报错！
row format delimited
fields terminated by '\t'
lines terminated by '\n'
select * from table2;
介绍完数据的导出
还有
select * from table2;
select count(*) from table2;

执行Hive的方式：
非交互：
bin/hive -e 'select * from ..'//执行sql语句
bin/hive -f /home/hadoop/hive/sql.txt//执行sql文件
交互：

hive>source /home/hadoop/hive/wyp.sql
hive>select * from table2;

终于讲完最基本的用法了，接下来即将进入进阶以及比较复杂的用法：

连接：
1.内连接：有以下表如sales和things表
select sales.* ,thing.*
from sales join things on(sales.id=things.id);
hive 只支持等值连接
顺带一提：
explain select sales.* ,thing.*
from sales join things on(sales.id=things.id);可以输出很多查询的详细信息
还有join表的顺序很重要，一般将大表放到最后
2外连接
select sales.* ,things.*
from sales left/right/full outer join things
on (sales.id=things.id)
具体的用法类似sql中的用法
3半连接
由于Hive不支持in子查询
select * from things
left semi join sales
on (sales.id=things.id)
等价于sql中的
select * from things
where things.id in (select id from sales)
4.map连接
如果有一个连接表小到足够放入内存中，Hive就可以把较小的表放入每个Mapper的内存来执行连接操作！
如果要指定使用map连接，需要使用C语言风格的注释
select /*+mapjoin(things)*/ sales.* ,things.* from sales join things on (sales.id=things.id)
最后，在执行连接操作时，做好将最大的表放在最后！

order by 效率低下，尽量别用！

再啰嗦几句：转载的，觉得挺实用的！

解决hive查询中文乱码问题

在通过终端查询hive时，终端结果显示为乱码，想必大家都遇到过这种情况。这种情况出现的原因是：hive在将数据写入hdfs时候，会把数据格式转换为utf-8格式的。如果你导入hive表的源数据不是utf-8格式的，hive在进行写hdfs转换格式的时候会出现乱码，所有你查询出来的中文也是乱码。

解决办法：把源文件，用editplus等编辑软件打开，将文件转换为urf-8格式，保存。再重新导入到hive表中，问题解决。

源文件只要是文本格式，如csv，txt，log等文本格式，均可用此种方法转化。前提是你终端也要设置为utf-8格式

个人经历：
有些在Windows下能够打开的txt文件在Ubuntu下用gedit打开时，中文显示是乱码，这是因为编码方式不同造成的。Windows下默认txt文件的编码方式是GBk，而Ubuntu下的gedit默认没有对GBK的支持。解决方法有三：

1. 用gedit
-h看一下可以知道gedit里面有一个选项是--encoding，在终端中运行gedit --encoding=gbk /home/hadoop/hive/sougou/SogouQ.sample，这时打开文件看到的中文就不是乱码了；

不过这种方法在导入数据到Hive表中，还是会出现乱码!

2. 先打开gedit，然后在打开文件时，在Character Coding下拉菜单里选择GBK或GB18030就可以了；（可以自己尝试）

3. 在终端运行gconf-editor，在apps -> gedit-2 -> preference -> encodings里面有个auto-detect，在它的前面加上GBK或GB18030就OK了。（可以自己尝试）

以下是后来发现的可以解决上述问题的方法

gsettings set org.gnome.gedit.preferences.encodings auto-detected "['UTF-8','GB18030','GB2312','GBK','BIG5','CURRENT','UTF-16']"

gsettings set org.gnome.gedit.preferences.encodings shown-in-menu "['GB18030', 'GB2312', 'GBK', 'UTF-8', 'BIG5', 'CURRENT', 'UTF-16']"

以下是另外一种出现乱码清况：
当导入数据到Hive时出现乱码？
这个后续跟上！