大数据学习笔记-------------------(20_1)

第20章 HIVE 安装

在安装HIVE之前，需要安装JDK、Hadoop，由于在安装Spark时，已经安装过并配置过JDK，因此该章将从Hadoop的安装和配置开始。

20.1Hadoop安装

在安装Hadoop之前，先验证机器上是否已经安装Hadoop，检验是否安装过Hadoop的命令：hadoop version。如果机器已经安装，将会给出如下响应信息：



如果没有，安装步骤如下：

Step_1:下载Hadoop

下载Hadoop 2.7.3文件，通过下面的命令从Apache软件基金下载：

wgethttp://apache.claz.org/hadoop/common/hadoop-2.7.3/

解压下载的文件：tar xzf hadoop-2.7.3.tar.gz

移动文件：mv hadoop-2.4.1/* hadoop/

Step_2：以伪分布方式安装Hadoop

Step_2.1:设置Hadoop环境变量

设置hadoop系统环境变量，并把变量追加在~/.bashrc文件中，

export HADOOP_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

设置完毕，然后在当前系统运行命令:
source ~/.bashrc

Step_2.2:配置Hadoop

在路径"$HADOOP_HOME/etc/hadoop "路径下，查找Hadoop配置文件，执行命令:cd$HADOOP_HOME/etc/hadoop，为了能使用Java开发Hadoop程序，需要重新设置hadoop-env.sh文件中的java的环境变量，用系统本地的java来替换JAVA_HOME中的值：exportJAVA_HOME=/usr/local/jdk1.7.0_71

1) core-site.xml

core-site.xml文件包含信息如下：hadoop实例的端口号、相关文件系统的内存、存储数据的内存限制、读/写缓存的大小。打开core-site.xml文件，在<configuration>和</configuration>之间添加如下属性：



2) hdfs-site.xml

hdfs-site.xml包含的信息有：备份数据的值、命名节点的路径、本地问价系统数据节点路径。它意味着要存储Hadoop基础架构的位置。打开hdfs-site.xml文件，在<configuration>和</configuration>之间添加如下属性：



3) yarn-site.xml

在hadoop中配置yarn。打开yarn-site.xml文件，在<configuration>和</configuration>之间添加如下属性：



4) mapred-site.xml

该文件用来指定使用的MapReduce框架。默认情况下，hadoop包含一个yarn-site.xml模板。首先，需要把文件mapred-site.xml.template复制到mapred-site.xml文件，使用如下命令如下：cp mapred-site.xml.template mapred-site.xml

打开mapred-site.xml文件，在<configuration>和</configuration>之间添加如下属性：



Step_3:验证Hadoop安装

Step_3.1：建立命名节点

用命令"hdfs namenode -format"建立命名节点，期望的输出结：



Step_3.2:验证Hadoop dfs

用命令：start-dfs.sh启动dfs，执行该命令启动hadoop文件系统，期望输出结果如下：



Step_3.3：验证Yarn脚本

用命令:start-yarn.sh启动yarn脚本。执行该命令启动yarndaemons，期望输出结果如下：



Step_3.4:浏览器进入Hadoop

Hadoop的默认端口号是50070.使用URL：http://localhost:50070/，进入Hadoop服务：



Step_3.5：验证集群中的所有应用程序

接入集群中所有应用程的默认接口是：8088。使用URL: http://localhost:8088/，浏览服务：