MapReduce and MachineLearning——笔记三(配置hadoop环境)
2011-10-08 16:19
519 查看
1.安装hadoop
用hadoop用户登录master节点,直接将hadoop压缩包解压到master节点的/home/hadoop目录下,我安装的的hadoop版本是hadoop-0.20.203.0,解压完毕后进入hadoop-0.20.203.0目录。
2.修改配置文件
2.1 进入conf目录,修改core-site.xml,加入以下内容:
2.2 修改hdfs-site.xml,加入以下内容:
2.3 修改mapred-site.xml
2.4 修改masters,slaves文件
在masters里面加入:
master
在salves文件中加入:
slave1
slave2
2.5 修改hadoop-env.sh
把JAVA_HOME改成本机的JAVA路径即可
3.将/home/hadoop/hadoop-0.20.203.0目录整个拷贝到另外两台机器
cd /home/hadoop
scp -r hadoop-0.20.203.0 hadoop@slave1:~/hadoop-0.20.203.0
scp -r hadoop-0.20.203.0 hadoop@slave2:~/hadoop-0.20.203.0
4.在master节点格式化DFS
cd /home/hadoop/hadoop-0.20.203.0
bin/hadoop namenode -format
5.关闭三台机子的防火墙
sudo /etc/init.d/iptables stop
6.测试
进入master的的hadoop-0.20.203.0目录,执行sh bin/start-all.sh
用hadoop用户登录master节点,直接将hadoop压缩包解压到master节点的/home/hadoop目录下,我安装的的hadoop版本是hadoop-0.20.203.0,解压完毕后进入hadoop-0.20.203.0目录。
2.修改配置文件
2.1 进入conf目录,修改core-site.xml,加入以下内容:
<property> <name>fs.default.name</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>hadoop_work/tmp/</value> </property>
2.2 修改hdfs-site.xml,加入以下内容:
<property> <name>dfs.name.dir</name> <value>hadoop_work/name/</value> </property> <property> <name>dfs.data.dir</name> <value>hadoop_work/data/</value> </property> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.block.size</name> <value>67108864</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> <property> <name>dfs.web.ugi</name> <value>hadoop,supergroup</value> </property>
2.3 修改mapred-site.xml
<property> <name>mapred.job.tracker</name> <value>hdfs://master:9001/</value> </property> <property> <name>mapred.child.java.opts</name> <value>-Xmx512M</value> </property>
2.4 修改masters,slaves文件
在masters里面加入:
master
在salves文件中加入:
slave1
slave2
2.5 修改hadoop-env.sh
把JAVA_HOME改成本机的JAVA路径即可
3.将/home/hadoop/hadoop-0.20.203.0目录整个拷贝到另外两台机器
cd /home/hadoop
scp -r hadoop-0.20.203.0 hadoop@slave1:~/hadoop-0.20.203.0
scp -r hadoop-0.20.203.0 hadoop@slave2:~/hadoop-0.20.203.0
4.在master节点格式化DFS
cd /home/hadoop/hadoop-0.20.203.0
bin/hadoop namenode -format
5.关闭三台机子的防火墙
sudo /etc/init.d/iptables stop
6.测试
进入master的的hadoop-0.20.203.0目录,执行sh bin/start-all.sh
相关文章推荐
- MapReduce and MachineLearning——笔记一(安装虚拟机和配置JAVA环境)
- MapReduce and MachineLearning——笔记四(配置开发环境—上)
- MapReduce and MachineLearning——笔记二(配置三个结点SSH无密码登录)
- Hbase入门笔记( 二 )-- Hadoop单机环境配置
- 第120讲:Hadoop的MapReduce和Yarn的配置实战详解学习笔记
- Hbase入门笔记( 二 )-- Hadoop单机环境配置
- 【李宏毅老师机器学习课程笔记】第一课:What is Machine Learning, Deep Learning and Structured Learning?
- Hadoop自学笔记(五)配置分布式Hadoop环境
- Hadoop环境搭建之一安装jdk,hadoop基本配置及运行MapReduce案例在本地模式下
- machine learning in action 之一 —— 环境配置
- hadoop学习笔记3 hadoop2.5.2单机模式环境配置和eclipse运行
- Hadoop学习笔记—1.基本介绍与环境配置
- 攻城狮在路上(陆)-- 配置hadoop本地windows运行MapReduce程序环境
- hadoop学习笔记之-生产环境Hadoop大集群配置安装
- Hadoop学习笔记—1.基本介绍与环境配置
- Eclipse下hadoop开发调试环境配置笔记
- 在Windows上使用Eclipse配置Hadoop MapReduce开发环境
- building machine learning system with Python 学习笔记--从零开始机器学习(1)搭建环境
- hadoop eclipse mapreduce开发环境配置
- Applied Math and Machine Learning Basics 摘要笔记