HIVE+MYSQL+HADOOP环境配置(用于学习)
2017-03-14 00:00
381 查看
注意:一切的操作,都要在root用户下,不然会由于权限问题产生很多问题
Step_1:安装并配置ssh
通过命令:apt-get install openssh-server 安装SSH 。安装成功后,通过命令:ssh-keygen -t rsa生成秘钥,进入到.ssh目录下执行命令:cp id_rsa.pub authorized_keys ,操作成功之后执行ssh localhost命令。页面显示如下,说明安装成功。
Step_2:安装并设置mysql
在安装mysql前,首先执行命令:apt-get update,命令执行成功后,执行命令:apt-get install mysql-server mysql-client,执行命令之后,安装过程弹出对话框,输入用户密码。安装成功之后,加入密码为:root,执行命令:mysql -uroot -p,会弹出如此啊对话框,输入用户密码:root,进入到mysql页面。
(为了hive创建元数据进行提前设置)创建用户hadoop,设置用户密码:hadoop,赋予用户权限,执行刷新,执行命令如下:
mysql>CREATE USER 'hadoop' IDENTIFIED BY 'hadoop'; mysql>GRANT ALL PRIVILEGES ON *.* TO 'hadoop'@'%' WITH GRANT OPTION; mysql>flush privileges;
命令执行成功之后,退出,使用用户hadoop进行登录。执行步骤如下:
Step_3:安装并配置JDK环境
打开http://pan.baidu.com/s/1qXYnReG 下载JDK,下载成功,到下载路径下进行解压,解压命令:tar -zxvf jdk-7u79-linux-x64 (1).tar.gz,解压成功后,执行命令:mv jdk-7u79-linux-x64 \(1\) /usr/local,命令执行成功设置JDK环境,执行gedit ~/.bashrc,打开.bashrc文件,加入命令:export JAVA_HOME=/usr/local/jdk1.7.0_79 export PATH=$JAVA_HOME/bin:$PATH
编辑成功,并保存,执行命令:source ~/.bashrc
配置java认证,执行命令如下:
#update-alternatives --install /usr/bin/java java usr/local/jdk1.7.0_79/bin/java 2 # update-alternatives --install /usr/bin/javac javac usr/local/jdk1.7.0_79/bin/javac 2 #update-alternatives --install /usr/bin/jar jar usr/local/jdk1.7.0_79/bin/jar 2 # update-alternatives --set java usr/local/jdk1.7.0_79/bin/java # update-alternatives --set javac usr/local/jdk1.7.0_79/bin/javac # update-alternatives --set jar usr/local/jdk1.7.0_79/bin/jar
执行命令之后,在终端输入:java -version,检验是否安装配置成功:
Step_4:安装并配置hadoop
打开http://pan.baidu.com/s/1qXYnReG下载hadoop,由于我是通过共享文件设置,所以在window上解压之后,才到liunx执行移动操作,不过如果下载的是tar.gz的文件,解压步骤如step_3中一致,进入到解压问价下:执行命令:mv hadoop-2.7.3 /usr/local/hadoop,执行成功后,设置hadoop的环境变量,执行命令:gedit ~/.bashrc,打开.bashrc文件,在文件中添加,如下命令:export HADOOP_HOME=/usr/local/hadoop export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
保存成功后,执行source ~/.bashrc
hadoop-env.sh配置如下:
core-site.xml配置如下:
hdfs-site.xml配置设置:
yarn-site.xml配置设置:
mapred-site.xml配置设置
执行完上述配置后,执行命令:
Step_5:安装并配置HIVE
打开http://pan.baidu.com/s/1qXYnReG下载hive,解压文件,执行命令:mv apache-hive-1.2.1-bin /usr/local/hive,设置hive环境,打开.bashrc文件在其中添加如下命令:export HIVE_HOME=/usr/local/hive export PATH=$PATH:$HIVE_HOME/bin export CLASSPATH=$CLASSPATH:/usr/local/Hadoop/lib/*:. export CLASSPATH=$CLASSPATH:/usr/local/hive/lib/*:.
设置完成,执行命令:export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HIVE_HOME/bin
export CLASSPATH=$CLASSPATH:/usr/local/Hadoop/lib/*:.
export CLASSPATH=$CLASSPATH:/usr/local/hive/lib/*:.
保存成功,执行命令:source ~/.bashrc
hive-env.sh配置信息:
hive-site.xml配置如下:
Step_6:验证HIVE安装
执行名如下:$ $HADOOP_HOME/bin/hadoop fs -mkdir -p /tmp $ $HADOOP_HOME/bin/hadoop fs -mkdir -p /user/hive/warehouse $ $HADOOP_HOME/bin/hadoop fs -chmod g+w /tmp $ $HADOOP_HOME/bin/hadoop fs -chmod g+w /user/hive/warehouse
相关文章推荐
- HIVE+MYSQL+HADOOP环境配置(用于学习)
- HIVE+MYSQL+HADOOP环境配置(用于学习)
- ubuntu16.04搭建Hadoop2.7.2+spark1.6.1+mysql+hive2.0.0伪分布学习环境
- 【hadoop学习】在Mac OS上配置hadoop伪分布式环境【下】
- hadoop+hive+zookeeper+hbase全分布式环境配置
- Hadoop学习全程记录——eclipse hadoop开发环境配置(2)(修改)
- Hive1.1安装配置,基于最小安装的CentOS7、hadoop2.6、MySQL
- HADOOP的学习笔记 (第三期) eclipse 配置hadoop开发环境
- Hadoop(二)HIVE环境搭建(HIVE连接 MYSQL)
- mysql在ubuntu环境下配置主从数据学习笔记
- hadoop2.2.0的基础上配置hive0.12.0(支持mysql)
- hadoop学习笔记3 hadoop2.5.2单机模式环境配置和eclipse运行
- hadoop学习笔记<二>----hadoop集群环境的配置
- Hadoop学习笔记—1.基本介绍与环境配置
- Hive学习和配置Mysql
- Linux+Apache+PHP+MYSQL环境配置学习笔记
- hadoop学习笔记之-生产环境Hadoop大集群配置安装
- HADOOP的学习笔记 (第三期) eclipse 配置hadoop开发环境 .
- Sqoop是一款开源的工具,主要用于在HADOOP(Hive)与传统的数据库(mysql、oracle...)间进行数据的传递
- linux环境下的hive mysql hadoop环境搭建