Hadoop-2.5.1伪分布安装
2015-08-12 22:16
337 查看
安装环境
Linux版本:ubuntu-15.04-desktop-amd64.iso(64位)Hadoop版本:hadoop-2.5.1.tar.gz
JDK版本:jdk-8u31-linux-x64.tar.gz
SSH免密码登录设置
Ubuntu缺省安装了openssh-client,如果没有安装的话,再用apt-get安装上即可。安装ssh-server
sudo apt-get install openssh-server安装ssh-client
sudo apt-get install openssh-client
确认sshserver是否安装好
ps -e | grep sshd如果看到sshd那说明ssh-server已经启动了。
如果只有ssh-agent说明ssh-server还没有启动,需要执行命令启动ssh服务:
/etc/init.d/ssh start
配置免密码登录:
---产生密钥
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa---重定向
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys---验证:
ssh localhost
配置环境
配置JDK与Hadoop。设置环境变量,进入当前用户名的主文件夹,修改.profile文件。注意,该文件是当前用户的配置文件,如果要对使用计算机的所有用户生效,那么需要设置的文件应该是 /etc/profile。
$sudo gedit /etc/profile在末尾加上:
#设置jdk的安装路径 export JAVA_HOME=/data/java/jdk1.8.0_31 export JRE_HOME=/data/java/jdk1.8.0_31/jre export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH export PATH=$JAVA_HOME/bin:$PATH #设置的hadoop的环境变量 export HADOOP_HOME=/data/hadoop/hadoop-2.5.1 export PATH=$HADOOP_HOME/bin:$PATH export CLASSPATH=$HADOOP_HOME/lib:$CLASSPATH让修改过的profile马上生效
$ source /etc/profile
修改hadoop配置文件 hadoop-2.5.1/etc/hadoop
1.hadoop-env.shexport JAVA_HOME=/data/java/jdk1.8.0_31
2. yarn-env.sh
export JAVA_HOME=/data/java/jdk1.8.0_31
3.core-site.xml
<configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> <description>change your own hostname</description> </property> <property> <name>hadoop.tmp.dir</name> <value>/data/hadoop/tmp/hadoop-${user.name}</value> </property> </configuration>
4.hdfs-site.xml
<configuration> <property> <name>dfs.namenode.name.dir</name> <value>file:/data/hadoop/dfs/name</value> </property> <property> <name>dfs.namenode.data.dir</name> <value>file:/data/hadoop/dfs/dfs/data</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.permissions</name> <value>false</value> <description>为了防止后面eclipse存在拒绝读写而设置</description> </property> </configuration>
5.mapred-site.xml
默认情况下,/usr/local/hadoop/etc/hadoop/文件夹下有mapred.xml.template文件,要复制该文件,并命名为mapred.xml,该文件用于指定MapReduce使用的框架。
<configuration> <property> <name>mapreduce.jobtracker.address</name> <value>localhost:9001</value> </property> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration></span>
6.yarn-site.xml
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration></span>
格式化HDFS(只需要一次)
$ hadoop namenode –format
成功的话,最后的提示如下,Exitting with status 0 表示成功,Exitting with status 1: 则是出错。千万注意,别用bin/hadoop namenode –format。
启动、停止服务
启动:$ sbin/start-dfs.sh $ sbin/start-yarn.sh </span>
停止:
$ sbin/stop-dfs.sh $ sbin/stop-yarn.sh</span>
验证
查看一下开启的进程:# jps6513 NameNode 6964 ResourceManager 7301 Jps 7081 NodeManager 6827 SecondaryNameNode 6655 DataNode</span>(现在的ResourceManager和NodeManager代替了原来的JobTracker和TaskTracker)
或通过浏览器访问:
http://127.0.0.1:50070/ http://127.0.0.1:9000/
如需修改host文件:
$ gedit /etc/hosts
$ /etc/init.d/networking restart
相关文章推荐
- Linux 常用函数
- linux中C语言获取高精度时钟gettimeofday函数
- 【Hadoop系列第十章】(二)数据分析系统Pig
- Tomcat部署发布JSP应用程序的三种方法
- TOMCAT启动提示NB: JAVA_HOME should point to a JDK not a JRE解决
- 【Hadoop系列第十章】(一)数据分析系统Hive
- Tomcat性能调优方案
- 恢复误删除的nginx日志
- opencv 打开摄像头却捕捉不到图像解决方法
- win7下tomcat和iis共用80端口(20150810)
- 【Hadoop系列第九章】(二)实践:HBase部署及应用
- linux下编译sqlite3的API遇到问题解决
- 【Hadoop系列第九章】(一)理论:HBase应用场景、原理与基本架构
- 【Hadoop系列第八章】Flume 和 sqoop(下)之 sqoop
- oop_day04_继承、重写_20150812
- Linux Pthread——1
- 显示器 Linux 性能 18 (一个命令行工具传递)
- Apache和Nginx的特点
- 【Hadoop系列第八章】Flume 和 sqoop(上)之 Flume
- Hadoop API的改变