hadoop cdh 4.5的安装配置
2014-02-19 16:18
369 查看
春节前用的shark,是从github下载的源码,自己编译。shark的master源码仅支持hive 0.9,支持hive 0.11的shark只是个分支,不稳定,官方没有发布release版,在使用过程中出现了一些问题。现在官方将hive 0.11分布合并到主干代码,并且发布了支持hive 0.11的稳定版本。为了使用最新的shark 0.9,需要重新安装部署整个环境,包括:hadoop cdh 4.5+hive 0.11(shark 0.9版)+spark 0.9 +shark 0.9。
一、配置linux用户
一、配置linux用户
groupadd hadoopgroup adduser -g hadoopgroup kituser passwd kituser
二、ssh无验证登陆 1、用kituser登陆,执行: ssh-keygen -t rsa -P "" cat .ssh/id_rsa.pub >> .ssh/authorized_keys
完成后,用ssh localhost测试。 2、将服务器的authorized_keys文本文件内容“追加”到各客户端的authorized_keys文件中,将客户端的authorized_keys追加到服务端的authorized_keys文件中。 三、上传文件解压后的hadoop文件夹到linux 四、修改hadoop配置文件 1、core-site.xml 2、mapred-site.xml 3、yarn-site.xml 4、hdfs-site.xml 5、slaves.xml 然后执行chmod -R 777 /home/kituser/bigdata,设置此文件夹及下属权限。 五、修改当前用户的.bash_profile文件 export JAVA_HOME=/usr/java/jdk1.7.0_45
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=.:$PATH:$JAVA_HOME/bin
export HADOOP_HOME="/home/kituser/bigdata/hadoop-2.0.0-cdh4.5.0"
export HADOOP_PREFIX=${HADOOP_PREFIX}
export HADOOP_MAPRED_HOME=${HADOOP_PREFIX}
export HADOOP_COMMON_HOME=${HADOOP_PREFIX}
export HADOOP_HDFS_HOME=${HADOOP_PREFIX}
export YARN_HOME=${HADOOP_PREFIX}
export YARN_CONF_DIR=${HADOOP_PREFIX}/etc/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib:$HADOOP_CONF_DIR:$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:/lib64:/usr/lib64
然后执行source /home/kituser/.bash_profile,使.bash_profile文件配置生效。 另外,记得检查/关闭访问墙:service iptables stop/staus。 六、验证hadoop是否正常 1、初始化及启动 export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=.:$PATH:$JAVA_HOME/bin
export HADOOP_HOME="/home/kituser/bigdata/hadoop-2.0.0-cdh4.5.0"
export HADOOP_PREFIX=${HADOOP_PREFIX}
export HADOOP_MAPRED_HOME=${HADOOP_PREFIX}
export HADOOP_COMMON_HOME=${HADOOP_PREFIX}
export HADOOP_HDFS_HOME=${HADOOP_PREFIX}
export YARN_HOME=${HADOOP_PREFIX}
export YARN_CONF_DIR=${HADOOP_PREFIX}/etc/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib:$HADOOP_CONF_DIR:$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:/lib64:/usr/lib64
首次格式化:hadoop namenode -format 启动:start-all.sh 停止:stop-all.sh 查看进程:jps
2、测试hdfs: hadoop fs -mkdir hdfs://kit-b5:8020/testfolder hadoop fs -ls hdfs://kit-b5:8020/ hadoop fs -copyFromLocal /home/kituser/bigdata/hadoop-2.0.0-cdh4.5.0/cloudera/*.txt hdfs://kit-b5:8020/
3、验证map/reduce: hadoop fs -mkdir hdfs://kit-b5:8020/input hadoop fs -put /home/kituser/bigdata/hadoop-2.0.0-cdh4.5.0/cloudera/*.txt hdfs://kit-b5:8020/input/ hadoop jar /home/kituser/bigdata/hadoop-2.0.0-cdh4.5.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.0.0-cdh4.5.0.jar wordcount hdfs://kit-b5:8020/input/ hdfs://kit-b5:8020/output/ hadoop fs -ls hdfs://kit-b5:8020/output/ hadoop fs -cat hdfs://kit-b5:8020/output/part-r-00000/ 即可看到每个 单词的数量
相关文章推荐
- Linux7 下Hadoop集群用户管理方案之二 CDH5.9.0版本安装配置
- hadoop-2.0.0-cdh4.1.2.tar.gzl安装配置
- CDH Hadoop 5.5.4 安装配置 完整记录
- 快速为CDH版本HADOOP安装配置Lzo和Snappy压缩
- kettle 6.0安装并连接ORACLE,HADOOP CDH5.3.0以及hadoop客户端配置
- hadoop艰难安装配置之旅
- Hadoop平台的安装与配置
- 配置Hadoop环境之安装jdk
- 在ubuntu和Windows下安装配置Hadoop
- Hadoop学习之第一章节:Hadoop配置安装
- 【Hadoop】Hadoop安装配置(转)
- CentOS安装配置Hadoop 1.2.1(伪分布模式)
- Hadoop-2.6.0 集群的安装配置
- centos安装配置hadoop超详细过程
- hadoop在ubuntu下的安装配置
- Hadoop:Hadoop单机伪分布式的安装和配置
- Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0
- Hadoop(CDH)分布式集群安装笔记(亲测)