centos配置hadoop伪分布式环境
2017-05-14 16:02
363 查看
配置hadoop环境的步骤如下:
准备软件
vmware10 centos6.4 jdk-6u24-linux-xxx.bin hadoop-1.1.2.tar.gz http://download.csdn.net/detail/two_people/9842106[/code]
1、关闭防火墙
关闭防火墙命令(1)service iptables stop
查看防火墙状态(2)service iptables status
设置开机不自启
查看命令(3)chkconfig --list | grep iptables
会发现有些仍然是on,设置问哦off
执行命令(4)chkconfig iptables off
2、修改ip
执行命令vi /etc/hosts
3、修改hostname
分为两步:
1、修改本次窗口下的:hostname nodename
2、修改配置文件做到一次修改的vi /etc/sysconfig/network
4、设置ssh自动登录
执行命令$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa $ cp ~/.ssh/id_dsa.pub ~/.ssh/authorized_key
5、安装jdk
1、我采用的是jdk1.6,你可以下载不同的版本,上传到linux服务器
执行命令./jdk-6u24-linux-i586.bin
然后重名mv jdk1.6.0_24 jdk1.6
2、配置环境变量
打开配置vi /etc/profile
修改如图
上面有涉及到hadoop的配置先不用管 等会会配置
执行命令pource /etc/profile
执行java和javac能看到安装成功
6、安装hadoop
1、我这里上传的是hadoop-1.1.2.tar
2、解压 执行tar -xzvf hadoop-1.1.2.tar.gz
3、重命名为hadoop 命令就不再多说了
4、修改配置文件在hadoop的conf下
(1)hadoop-env.sh
添加如下配置export JAVA_HOME=/usr/local/jdk/
(2)core-site.xml<configuration> <property> <name>fs.default.name</name> <value>hdfs://nodename:9000</value> <description>change your own hostname</description> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop/tmp</value> </property> </configuration>
(3)、hdfs-site.xml<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> </configuration>
(4)、mapred-site.xml<configuration> <property> <name>mapred.job.tracker</name> <value>nodename:9001</value> <description>change your own hostname</description> </property> </configuration>
5、添加环境配置 和刚才jdk配置一个文件 修改即可
6、执行hadoop namenode -format
然后启动start-all.sh
检查进程jps
7、也可以访问网址http://192.168.14.66:50070能正常访问也能证明启动成功
相关文章推荐
- Hadoop 2.7.2 linux分布式环境配置(centos 6.8 32bit)
- centos下搭建单机和伪分布式hadoop环境-(3)配置hadoop的伪分布式模式
- centos7下配置Hadoop全分布式环境
- 64位CentOS 6.5下配置Hadoop 2.5.1伪分布式环境
- Centos7.0配置Hadoop2.6.3单机/伪分布式环境
- Hadoop2.7.2 Centos 完全分布式集群环境搭建 (2) - Hadoop安装与配置(完全分布式)
- Hadoop(2.5.1)伪分布式环境CentOS(6.5 64位)配置
- Hadoop学习6_CentOS6.5系统下Hadoop2.6.0完全分布式环境安装与配置信息介绍
- Hadoop(2.7.0)伪分布式环境CentOS(7.0 64位)配置
- Hadoop伪分布式安装—Linux环境配置
- Hadoop伪分布式环境配置
- hadoop+hive+zookeeper+hbase全分布式环境配置
- hadoop+zookeeper+hbase分布式环境配置之hbase分布式环境搭建
- Hadoop 2.4 完全分布式环境安装与配置
- hadoop 伪分布式环境配置
- Hadoop的伪分布式与分布式环境配置
- Hadoop自学笔记(五)配置分布式Hadoop环境
- Hadoop2.X/YARN环境搭建--CentOS7.0系统配置
- Hadoop -分布式环境搭建安装配置
- Hadoop的伪分布式与分布式环境配置