hadoop实战之分布式模式
2011-10-22 13:33
246 查看
本文地址:/article/1416060.html
1. 首先为hadoop的集群准备几台机器,这里机器名如下:
3. 在上面每个机器上的相同位置分别安装hadoop,这里安装的都是hadoop-0.20.203.0rc1.tar.gz包,并且假定安装路径都是/data/fkong/hadoop-0.20.203.0;
4. 修改所有机器上的${HADOOP_HOME}/conf/hadoop-env.sh文件,将J***A_HOME指定到正确的jdk路径上;
5. 修改master机器上的${HADOOP_HOME}/conf/slaves文件,修改后文件内容如下:
6.1 编辑${HADOOP_HOME}/conf/core-site.xml文件,内容修改如下:
7. 格式化一个新的分布式文件系统:
8.1 启动hadoop后台daemon
1. 首先为hadoop的集群准备几台机器,这里机器名如下:
fkongnix0 (master) fkongnix1 (slave1) fkongnix2 (slave2)2. 修改每个机器的/etc/hosts文件,确保每个机器都可以通过机器m名互相访问;
3. 在上面每个机器上的相同位置分别安装hadoop,这里安装的都是hadoop-0.20.203.0rc1.tar.gz包,并且假定安装路径都是/data/fkong/hadoop-0.20.203.0;
4. 修改所有机器上的${HADOOP_HOME}/conf/hadoop-env.sh文件,将J***A_HOME指定到正确的jdk路径上;
5. 修改master机器上的${HADOOP_HOME}/conf/slaves文件,修改后文件内容如下:
fkongnix1 fkongnix26. 修改和部署配置文件
6.1 编辑${HADOOP_HOME}/conf/core-site.xml文件,内容修改如下:
<configuration> <property> <name>fs.default.name</name> <value>hdfs://fkongnix0:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/data/fkong/hadoop-0.20.203.0/hadoop-${user.name}</value> </property> </configuration>6.2 编辑${HADOOP_HOME}/conf/hdfs-site.xml文件,内如修改如下:
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>6.3 编辑${HADOOP_HOME}/conf/mapred-site.xml文件,内如修改如下:
<configuration> <property> <name>mapred.job.tracker</name> <value>fkongnix0:9001</value> </property> </configuration>6.4 将以上三个配置文件分别部署的每个slave节点上;
7. 格式化一个新的分布式文件系统:
$ bin/hadoop namenode -format8. 执行hadoop
8.1 启动hadoop后台daemon
$ bin/start-all.sh启动后可以通过以下网页方式查看NameNode和JobTracker状态,此时可以从NameNode状态网页上看到"Live Nodes"的数量变成了两个,此时表示已经部署成功
NameNode - http://localhost:50070/ JobTracker - http://localhost:50030/[/code]8.2 运行测试
在hadoop默认提供了一些可以运行的测试工具在安装包目录下,下面就用这些测试程序来验证分布式模式是否成功
8.2.1 测试一
运行下面的命令将从本地复制一个文件到hdfs文件系统的/test/目录下$ bin/hadoop fs -copyFromLocal /data/fkong/hadoop-0.20.203.0/hadoop-examples-0.20.203.0.jar /test/hadoop-examples-0.20.203.0.jar运行下面的命令将显示hdfs文件系统上/test/目录下的文件$ bin/hadoop fs -ls /test/输出结果如下:Found 1 items -rw-r--r-- 1 fkong supergroup 142469 2011-10-20 21:01 /test/hadoop-examples-0.20.203.0.jar运行完上面的命令以后,可以通过http://localhost:50070/来查看hdfs上的文件,此时可以看到slave节点上已经有刚才命令上传的文件存在了。
8.2.2 测试二
运行下面的命令$ bin/hadoop jar hadoop-examples-0.20.203.0.jar sleep 300然后访问http://localhost:50030/,可以看到会有job在cluster里运行
8.2.3 测试三
首先准数据,下面两个命令是在hdfs上创建一个/test/input目录,然后从本地复制一下文件到此目录下$ bin/hadoop fs -mkdir /test/input $ bin/hadoop fs -copyFromLocal /data/fkong/hadoop-0.20.203.0/conf/*.xml /test/input运行测试来查找一些字符串$ bin/hadoop jar hadoop-examples-*.jar grep /test/input /test/output 'dfs[a-z.]+'查看测试结果$ bin/hadoop fs -ls /test/output/ $ bin/hadoop fs -cat /test/output/part-000008.3 停止hadoop后台daemon$ bin/stop-all.sh
相关文章推荐
- hadoop实战之分布式模式
- hadoop实战之分布式模式
- hadoop实战之伪分布式模式
- Hadoop实战之分布式模式
- hadoop实战之伪分布式模式
- hive2.1.0+mysql5.1本地模式+Hadoop完全分布式集群的安装与配置
- Hadoop2.6.2完全分布式集群HA模式安装配置详解
- [参考]Hadoop集群完全分布式模式环境部署
- Hadoop伪分布式模式 配置
- [Nutch]Hadoop单机伪分布式模式的使用(deploy)
- 王家林 第四讲Hadoop图文训练课程:实战构建真正的Hadoop分布式集群环境
- 一脸懵逼学习Hadoop分布式集群HA模式部署(七台机器跑集群)
- 伪分布式模式安装hadoop-2.6.0
- Hadoop群集环境搭建-- 伪分布式模式
- Hadoop/spark安装实战(系列篇3) Hadoop 伪分布模式安装
- Hadoop的单机模式、伪分布式模式和完全分布式模式
- centOS6.3下的hadoop2.x基本配置(本地模式和伪分布式模式)
- centos7 安装hadoop:伪分布式配置、全分布模式配置
- Hadoop单机模式和伪分布式搭建教程CentOS
- Hadoop实战——Hadoop架构思想、伪分布式无密登陆部署