hadoop学习笔记(八)——hadoop整合hive

环境：centos7+hadoop2.5.2+hive1.2.1

1) 下载hive稳定版本apache-hive-1.2.1-bin.tar

2) 在/usr/local目录下解压，与hadoop处于同一级别

a) # tar -xzvf apache-hive-1.2.1-bin.tar.gz

b) # mv apache-hive-1.2.1-bin hive1.2

c) # cp hive-default.xml.template hive-site.xml

d) # cp hive-env.sh.template hive-env.sh

3) 配置环境变量

a) # vi /etc/profile

export HIVE_HOME=/usr/local/hive1.2

export PATH=.:HIVEHOME/bin:HIVE_HOME/bin:PATH

]# source /etc/profile

b) Hive-env.sh配置

HADOOP_HOME=/usr/local/hadoop2.5

export HIVE_CONF_DIR=/usr/local/hive1.2/conf

c) hive-site.xml配置

<!-- HDFS路径hive表的存放位置-->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>hdfs://master:9000/user/hive/warehouse</value>
</property>
<!--HDFS路径，用于存储不同 map/reduce 阶段的执行计划和这些阶段的中间输出结果。 -->
<property>
<name>hive.exec.scratchdir</name>
<value>hdfs://master:9000/tmp</value>
</property>

<property>
<name>hive.exec.local.scratchdir</name>
<value>/usr/local/hive1.2/tmp</value>
</property>

<property>
<name>hive.downloaded.resources.dir</name>
<value>/usr/local/hive1.2/tmp/${hive.session.id}_resources</value>
</property>

d) 新建目录

]# hadoop fs -mkdir -p /user/hive/warehouse

]# mkdir /usr/local/hive1.2/tmp

e) 配置目录权限

]# hadoop fs -chmod 733 /tmp

]# hadoop fs -chmod 733 / user/hive/warehouse

4) 启动hive并测试

a) 启动hive：[root@master bin]# hive

b) 运行hive：hive> show tables;

c) 创建表SQL：

create table smq (name string ,count int,status string) row format delimited  fields terminated by '\t' stored as textfile ;

d) 导入数据：

LOAD DATA LOCAL INPATH ' /usr/local/hive1.2/test.txt' OVERWRITE INTO TABLE smq;

e) 查询表数据：

hive> select * from smq;

hive> exit;