Hadoop官方文档(1) — 设置单节点集群
2018-02-11 23:42
274 查看
Hadoop官方文档 — 设置单节点集群 来源
目标
本文档介绍如何设置和配置单节点hadoop的安装,以便您可以使用hadoop mapreduce和hadoop分布式文件系统(hdfs)快速执行简单的操作。准备工作
支持平台
gnu / linux被支持作为开发和生产平台。hadoop已经在具有2000个节点的gnu / linux集群上进行了演示。Windows也是一个受支持的平台,但以下步骤仅适用于Linux。在windows上设置hadoop,请参阅wiki页面。
需要的软件
系统必须安装Java。HadoopJavaVersion描述了推荐的Java版本如果要使用可选的启动和停止脚本,则必须安装ssh,并且必须运行sshd才能使用管理远程hadoop守护进程的hadoop脚本。此外,建议安装pdsh以获得更好的ssh资源管理。
安装软件
如果你的集群没有以上必须的软件,那么你应该先安装。在ubuntu中可以使用以下方式安装:sudo apt-get install ssh sudo apt-get install pdsh
下载
要获得hadoop发行版,请从apache下载镜像下载最近的稳定发行版启动hadoop集群前的准备工作
解压下载的hadoop二进制压缩包。编辑etc/hadoop/hadoop-env.sh,定义以下参数:
# 设置你的Java安装路径(JAVA_HOME),这里我以我自己的系统为例 export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_152
尝试运行以下命令:
bin/hadoop
这个命令会显示hadoop脚本的使用文档。
现在你可以通过以下三种模式启动你的hadoop集群:
本地(单机)模式
伪分布式模式
完全分布式模式
单机操作
默认情况下,hadoop被设置为以Java单进程的形式运行在非分布式模式下。这有助于我们进行调试。以下示例将我们解压缩的conf目录复制作为输入,然后在里面查找并显示给定正则表达式的每个匹配项。输出被写入到给定的输出目录中。
mkdir input cp etc/hadoop/*.xml input bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0.jar grep input output 'dfs[a-z.]+' cat output/*
伪分布式操作
hadoop也可以在伪分布式模式下的单个节点上运行,其中每个hadoop守护进程都在独立的java进程中运行。配置
使用以下配置:etc/hadoop/core-site.xml
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
etc/hadoop/hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
设置不需要密码的ssh
现在检查你能不能不使用密码就通过ssh登录到localhost:ssh localhost
如果你不能不使用密码就登录到localhost,执行以下命令:
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys
执行
以下说明是在本地运行mapreduce作业。如果您想要在YARN上执行作业,请参考YARN on Single Node。格式化文件系统
bin/hdfs namenode -format
启动NameNode守护进程和DataNode守护进程
sbin/start-dfs.sh
hadoop守护进程的日志被写入
$HADOOP_LOG_DIR目录下。(默认为
$HADOOP_HOME/logs)
浏览NameNode的web界面,默认为:
NameNode - http://localhost:9870/
创建执行MapReduce作业所需要的HDFS文件夹:
bin/hdfs dfs -mkdir /user # 这里的username是你ssh登录时的文件名 bin/hdfs dfs -mkdir /user/<username>
复制输入文件到分布式文件系统
bin/hdfs dfs -mkdir input bin/hdfs dfs -put etc/hadoop/*.xml input
运行实例:
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0.jar grep input output 'dfs[a-z.]+'
检查输出文件:将输出文件从分布式文件系统复制到本地并进行检查:
bin/hdfs dfs -get output output cat output/*
或者,直接查看分布式文件系统上的输出文件:
bin/hdfs dfs -cat output/*
以上命令运行结束后,可执行下面的命令停止守护进程:
sbin/stop-dfs.sh
在单节点上使用YARN
您可以通过设置几个参数并运行resourcemanager守护进程和nodemanager守护进程,以伪分布模式在YARN上运行mapreduce作业。以下说明假设已经执行了上述指令的1〜4个步骤。
按照以下内容配置参数:
etc/hadoop/mapred-site.xml:
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
etc/hadoop/yarn-site.xml
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.env-whitelist</name> <value>JAVA_HOME, HADOOP_COMMON_HOME, HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value> </property> </config 9e8d uration>
启动ResourceManager守护进程和NodeManager守护进程:
sbin/start-yarn.sh
浏览ResourceManager的Web界面;默认情况下它位于:
ResourceManager - http://localhost:8088/
运行MapReduce作业
执行完所有操作后,可以使用以下命令停止守护进程:
sbin/stop-yarn.sh
完全分布式操作
参考Cluster Setup相关文章推荐
- hadoop2.8.2官方文档之单节点集群
- 【大数据系列】hadoop集群设置官方文档翻译
- 5节点Hadoop分布式集群搭建-超详细文档
- 5节点Hadoop分布式集群搭建-超详细文档
- hadoop2官方文档中文翻译(2)---单节点配置
- Hadoop学习笔记(二)设置单节点集群
- Hadoop学习笔记(两)设置单节点集群
- 5节点Hadoop分布式集群搭建-超详细文档
- 5节点Hadoop分布式集群搭建-超详细文档
- hadoop2.8.2官方文档之分布式集群
- HADOOP集群安装(官方文档翻译)
- 5节点Hadoop分布式集群搭建-超详细文档
- 5节点Hadoop分布式集群搭建-超详细文档
- 关于hadoop2.x(2.7.1 2.7.2)集群配置和测试运行中Ubuntu虚拟机VM设置nat方式导致节点传输问题
- hadoop2.6.2集群环境搭建在经过几天的环境搭建,终于搭建成功,其中对于hadoop的具体设置倒是没有碰到很多问题,反而在hadoop各节点之间的通信遇到了问题,而且还反复了很多遍,光虚拟机就重
- Hadoop(2.7.3)集群配置-官方文档
- Hadoop-2.2.0中文文档——MapReduce 下一代 —配置一个单节点集群
- Hadoop学习笔记(二)设置单节点集群
- Hadoop集群设置文档_hadoop_2.7.3.docx
- Hadoop --MapReduce2 - 群集设置(多个节点以及大集群中数千个节点进行安装)