Hive产生背景及Hive是什么

Hive产生背景

           Apache Hive数据仓库软件可以使用SQL方便地阅读、编写和管理分布在分布式存储中的大型数据集。结构可以投射到已经存储的数据上。提供了一个命令行工具和JDBC驱动程序来将用户连接到Hive。产生背景有以下几个方面：

MapReduce编程的不便性
HDFS上的文件缺少Schema（字段名，字段类型等）
Hive是什么

由Facebook开源，最初用于解决海量结构化的日志数据统计问题
构建在Hadoop之上的数据仓库
Hive定义了一种类SQL查询语言：HQL（类似SQL但不完全相同）
通常用于进行离线数据处理（采用MapReduce）
底层支持多种不同的执行引擎（Hive on MapReduce、Hive on Tez、Hive on Spark）
支持多种不同的压缩格式、存储格式以及自定义函数（压缩：GZIP、LZO、Snappy、BZIP2..  ； 存储：TextFile、SequenceFile、RCFile、ORC、Parquet ； UDF：自定义函数）
为什么要使用Hive

简单、容易上手（提供了类似SQL查询语言HQL）
为超大数据集设计的计算/存储扩展能力（MR计算，HDFS存储）
统一的元数据管理（可与Presto/Impala/SparkSQL等共享数据）
Hive发展历程：

08/2007-Journey Start from Facebook
05/2013-Hive 0.11.0
4000
as Stinger Phase 1 - ORC，HiveServer2
10/2013-Hive 0.12.0 as Stinger Phase 2 - ORC improvement
04/2014-Hive 0.13.0 as Stinger Phase 3 -vectorized query engine and Tez
11/2014-Hive 0.14.0 as Stinger.next Phase 1-Cost-based optimizer
01/2015-Hive 1.0.0
03/2015-Hive 1.1.0
05/2015-Hive 1.2.0
02/2016-Hive 2.0.0
06/2016-Hive 2.1.0
Hive 在Hadoop生态系统的位置



Hive体系架构



SQL Parser将SQL语句转换成抽象语法树--->生成逻辑执行计划---->查询优化----> 物理执行计划（SerDes序列化与反序列化，UDFs，执行引擎）

Hive部署架构--测试环境



Hive底层的元数据存放在MySQL中或Derby（自带的，仅仅只能链接一个客户端进行操作）

Hive部署架构--生产环境



Hive环境搭建

1）Hive下载：http://archive.cloudera.com/cdh5/cdh/5/
wget http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0.tar.gz
2）解压
tar -zxvf hive-1.1.0-cdh5.7.0.tar.gz -C ~/app/

3）配置
系统环境变量(~/.bahs_profile)
export HIVE_HOME=/home/hadoop/app/hive-1.1.0-cdh5.7.0
export PATH=$HIVE_HOME/bin:$PATH

实现安装一个mysql， yum install xxx

${HIVE_HOME}/conf
cp hive-env.sh.template  hive-env.sh
vi hive-env.sh

HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0

vi hive-site.xml

<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/sparksql?createDatabaseIfNotExist=true</value>
</property>

<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>

<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>

<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root</value>
</property>

4）拷贝mysql驱动到$HIVE_HOME/lib/

cp ~/software/mysql-connector-java-5.1.27-bin.jar .

5）启动hive: $HIVE_HOME/bin/hive