您的位置:首页 > 大数据

大数据Hive的简介和安装_03_01

2017-09-03 17:26 555 查看
Hive是hadoop生态系统中必不可少的工具,它提供了一种SQL(结构化查询语言)方言,可以查询存储在hadoop分布式文件系统中(HDFS)的数据或其他和hadoop集成的文件系统,如:MapR—Fs、Amazon的S3和像HBase(hadoop数据库)和Cassandra这样的数据库中的数据。


Hive简介

•Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。

•本质是将SQL转换为MapReduce程序,然后在Yarn上执行。

•Hive的表其实就是HDFS的目录/文件夹。Hive表里的数据相当于文件夹的文件。
 为什么要使用Hive???

•操作接口采用类SQL语法,提供快速开发的能力
•避免了去写MapReduce,减少开发人员的学习成本
•扩展功能很方便

Hive与Hadoop的关系






Hive与传统数据库对比



 
Hive
RDBMS
查询语言
HQL
SQL
数据存储
HDFS
Raw Device or Local FS
执行
MapReduce
Excutor
执行延迟


处理数据规模


索引
0.8版本后加入位图索引
有复杂的索引


Hive的系统架构



•用户接口,包括 CLI(Shell命令行接口:常用),JDBC/ODBC(跨语言),WebUI(通过浏览器访问 Hive)。

•Thrift服务:thrift是facebook开发的一个软件框架,它用来进行可扩展且跨语言的服务的开发,hive集成了该服务,能让不同的编程语言调用hive的接口。

•Hive 将元数据存储在数据库中(metastore),目前只支持 mysql、derby。Hive 中的元数据包括表的名字,表的列和分区及其属性,表的属性(是否为外部表等),表的数据所在目录等。

•解释器、编译器、优化器、执行器。它的作用是将我们写的HiveQL(类SQL)语句进行解析、编译优化,生成执行计划,然后调用底层的mapreduce计算框架。

注意:Hive 的数据存储在 HDFS 中,大部分的查询由 MapReduce 完成(包含 * 的查询,比如 select * from table 不会生成 MapRedcue 任务)

•Hadoop:用 HDFS 进行存储,利用 MapReduce 进行计算。

Hive和mysql的安装

Mysql的安装方式

1、yum的安装
2、rpm的方式安装
3、解压缩包的方式安装
4、源码编译的方式安装
这里我们采用rpm的方式安装:安装在weekend08节点上。

MySQL-client-5.1.73-1.glibc23.x86_64.rpm

MySQL-server-5.1.73-1.glibc23.x86_64.rpm

step1、安装server

执行命令:  rpm -ivh MySQL-server-5.1.73-1.glibc23.x86_64.rpm

出现冲突的报错!!!



解决方法

首先查询出mysql安装包  rpm -qa | grep mysql



删除冲突的安装包

rpm -e mysql-libs-5.1.71-1.el6.x86_64 --nodeps

再次执行安装的命令:  rpm -ivh MySQL-server-5.1.73-1.glibc23.x86_64.rpm



step2、安装 Clinet

执行命令:  rpm -ivh  MySQL-client-5.1.73-1.glibc23.x86_64.rpm



step3、初始化root的密码

执行命令:  /usr/bin/mysql_secure_installation    这里的密码为hadoop



step4、设置开机启动

chkconfig mysql on 

step5、登录mysql

执行命令: mysql -uroot -phadoop

step6、设置登录权限

mysql> use mysql;

mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'hadoop' WITH GRANT OPTION;

删除多余会对权限造成影响的数据:mysql> delete from user where host !='%';

这个时候再去执行mysql命令无法进行登录mysql



step7、刷新权限

执行命令:
mysql> flush privileges;

step8、登录mysql

执行命令: mysql -uroot -phadoop 



安装Hive

首先把之前搭建的集群启动起来。保证ActiveNodes 的三个节点是存活。


Hive三种方式区别和搭建

本地模式

在weekend08节点上安装hive

1、解压apache-hive-1.2.1-bin.tar到 /usr/local目录下
2、配置Hive的环境变量
执行命令 vi /etc/profile
    export JAVA_HOME=/usr/local/jdk1.8.0

    export HADOOP_HOME=/usr/local/hadoop-2.6.5

    export HIVE_HOME=/usr/local/hive

    PATH=.:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$HIVE_HOME/bin:$PATH
执行命令使其生效 source /etc/profile
3、切换到conf目录下重命名hive-default.xml.template为 hive-site.xml
4、进入hive的客户端
    --启动hdfs集群

   -- 切换到bin目录下执行 hive命令。

错误信息:原因就是hive下面的这个jline-2.12.jar 版本和yarn的版本不一致导致的。



解决方法:切换到hadoop的那个jar包目录 /usr/local/hadoop-2.6.5/share/hadoop/yarn/lib

               删除此目录下的jline-0.9.94.jar 然后将hive的那个高版本的jline-2.12.jar 复制到yarn目录下。

               scp -r /usr/local/hive/lib/jline-2.12.jar /usr/local/hadoop-2.6.5/share/hadoop/yarn/lib

5、再次切换到bin目录下执行 hive命令。

注意:使用默认的derby数据库存元数据信息的情况。

Hive将元数据信息存储在执行hive命令时的那个文件夹下;

也就是说当你在hive的目录下执行 bin/hive命令那么就是在hive的目录下创建一个netastore_db文件夹来存储元数据信息;当你在bin的目录下执行 hive命令那么就是在bin的目录下创建一个netastore_db文件夹来存储元数据信息;

Hive默认使用的数据库为derby;derby的缺点只是适合单链接,不适合多连接;为了适合多连接需要不停过的切换执行hive命令的目录;一旦不停的切换目录执行hive脚本,就不能共享的使用这些表中的数据。

实际开发中我们使用mysql来存储元数据信息。

单用户模式

在weekend09节点上安装hive

1、解压apache-hive-1.2.1-bin.tar到 /usr/local目录下
2、配置Hive的环境变量
执行命令 vi /etc/profile
    export JAVA_HOME=/usr/local/jdk1.8.0

    export HADOOP_HOME=/usr/local/hadoop-2.6.5

    export HIVE_HOME=/usr/local/hive

    PATH=.:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$HIVE_HOME/bin:$PATH

执行命令使其生效 source /etc/profile
3、切换到conf目录下重命名hive-default.xml.template为 hive-site.xml
     并添加如下内容

<?xml version="1.0"?>  

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  

 <configuration>  

<property>  

  <name>hive.metastore.warehouse.dir</name>  

  <value>/user/hive_remote/warehouse</value>  
//hdfs的一个目录  也就是hive查从hdfs查询数据的文件目录


</property>  

  <property>  

  <name>hive.metastore.local</name>  //

  <value>true</value>  

</property>  

  <property>  

  <name>javax.jdo.option.ConnectionURL</name>  

  <value>jdbc:mysql://weekend08/hive_remote?createDatabaseIfNotExist=true</value>  //mysql在weekend08节点上

</property>  

   <property>  

  <name>javax.jdo.option.ConnectionDriverName</name>  

  <value>com.mysql.jdbc.Driver</value>  

</property>  

   <property>  

  <name>javax.jdo.option.ConnectionUserName</name>  

  <value>root</value>    #mysql的用户名和密码

</property>  

  <property>  

  <name>javax.jdo.option.ConnectionPassword</name>  

  <value>hadoop</value>  

</property>  

</configuration>  

4、进入hive的客户端

    --启动hdfs集群

 --将mysql的jar包(mysql-connector-java-5.1.32-bin.jar)拷贝到$HIVE_HOME/lib目录下

   -- 切换到bin目录下执行 hive命令。

报错信息


解决方法:切换到hadoop的那个jar包目录 /usr/local/hadoop-2.6.5/share/hadoop/yarn/lib

               删除此目录下的jline-0.9.94.jar 然后将hive的那个高版本的jline-2.12.jar 复制到yarn目录下。

               scp -r /usr/local/hive/lib/jline-2.12.jar /usr/local/hadoop-2.6.5/share/hadoop/yarn/lib

5、再次切换到bin目录下执行 hive命令。



 create table  tbl(iid int ,age int);

 insert into tbl values (1,2);

 select * from tbl;



查看HDFS以及Yarn的图形化界面





多用户模式

1.Remote一体

这种存储方式需要在远端服务器运行一个mysql服务器,并且需要在Hive服务器启动meta服务。

这里用mysql的测试服务器,ip位192.168.222.108建hive_remote数据库,字符集位latine1

<?xml version="1.0"?>  

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  

<configuration>  

  <property>  

  <name>hive.metastore.warehouse.dir</name>  

  <value>/user/hive/warehouse</value>  //hdfs的一个目录  也就是hive查从hdfs查询数据的文件目录

</property>  

  <property>  

  <name>javax.jdo.option.ConnectionURL</name>  

  <value>jdbc:mysql://192.168.222.108:3306/hive?createDatabaseIfNotExist=true</value>  //mysql在weekend08节点上

</property>  

  <property>  

  <name>javax.jdo.option.ConnectionDriverName</name>  

  <value>com.mysql.jdbc.Driver</value>  

</property>  

   

<property>  

  <name>javax.jdo.option.ConnectionUserName</name>  

  <value>root</value>  

</property>  

   

<property>  

  <name>javax.jdo.option.ConnectionPassword</name>  

  <value>hadoop</value>  

</property>  

  

<property>  

  <name>hive.metastore.local</name>  

  <value>false</value>  

</property>  

  

<property>  

  <name>hive.metastore.uris</name>  

  <value>thrift://192.168.1.188:9083</value>  

</property>  

  

</configuration>  

 

注:这里把hive的服务端和客户端都放在同一台服务器上了。服务端和客户端可以拆开,

2.Remote分开

1)将Hive的压缩包解压到weekend11、weekend12 配置环境变量
2)将mysql的驱动jar包添加weekend11(服务器端)节点hive的lib目录下
3)将服务器端的配置文件添加到weekend11节点下的conf目录下。
4)启动hive服务端程序:执行命令
 hive --service metastore  

  这个时候服务一直在后台运行着。



  再开一个客户端查看服务是否启动





5)将客户端的配置文件添加到weekend12节点下的conf目录下。
  启动客户端前解决启动错误信息问题。
  解决方法:切换到hadoop的那个jar包目录 /usr/local/hadoop-2.6.5/share/hadoop/yarn/lib
               删除此目录下的jline-0.9.94.jar 然后将hive的那个高版本的jline-2.12.jar 复制到yarn目录下。

               scp -r /usr/local/hive/lib/jline-2.12.jar /usr/local/hadoop-2.6.5/share/hadoop/yarn/lib

6)客户端直接使用hive命令即可

将hive-site.xml配置文件拆为如下两部分

         1)、服务端配置文件

<?xml version="1.0"?>  

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  

 <configuration>  

 <property>  

 <name>hive.metastore.warehouse.dir</name>  

 <value>/user/hive/warehouse</value>  //存储hive表的HDFS目录

</property>  

 <property>  

 <name>javax.jdo.option.ConnectionURL</name>  

 <value>jdbc:mysql://weekend08:3306/hive?createDatabaseIfNotExist=true</value>  

</property>  

<property>  

  <name>javax.jdo.option.ConnectionDriverName</name>  

  <value>com.mysql.jdbc.Driver</value>  

</property>  

<property>  

  <name>javax.jdo.option.ConnectionUserName</name>  

  <value>root</value>  

</property>  

<property>  

  <name>javax.jdo.option.ConnectionPassword</name>  

  <value>hadoop</value>  

</property>  

</configuration>  

         2)、客户端配置文件

<?xml version="1.0"?>  

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  

 <configuration>  

<property>  

  <name>hive.metastore.warehouse.dir</name>  

  <value>/user/hive/warehouse</value>  //存储hive表的HDFS目录 与服务器端相同

</property>  

 <property>  

  <name>hive.metastore.local</name>  

  <value>false</value>  

</property>  

 <property>  

  <name>hive.metastore.uris</name>  

  <value>thrift://weekend11:9083</value> //服务端的地址

</property>  

</configuration>  

  

启动hive服务端程序

 hive --service metastore   

 

客户端直接使用hive命令即可

root@my188:~$ hive   

Hive history file=/tmp/root/hive_job_log_root_201301301416_955801255.txt  

hive> show tables;  

OK  

test_hive  

Time taken: 0.736 seconds  

hive>  

 

客户端启动的时候要注意:

[ERROR] Terminal initialization failed; falling back to unsupported

java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was expected

at jline.TerminalFactory.create(TerminalFactory.java:101)

错误的原因: Hadoop jline版本和hive的jline不一致

 
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: