hadoop 2.5 伪分布安装
2014-09-10 18:04
134 查看
最新的hadoop2.5 安装目录做了一定修改,安装变得稍微简单一点
首先安装准备工具
进入etc/hadoop/hadoop-env.sh 配置运行环境
配置hdfs端口和备份数
etc/hadoop/core-site.xml:
etc/hadoop/hdfs-site.xml:
配置使用yarn
etc/hadoop/mapred-site.xml:
etc/hadoop/yarn-site.xml:
NodeManager 在 启 动 时 加 载shuffle server,shuffle server 实 际 上 是 Jetty/Netty Server,Reduce Task 通 过 该 server 从 各 个NodeManager 上远程复制 Map Task 产生的中间结果
启动过程:
hdfs
在hdfs上创建文件夹
yarn
关闭:
bin/hadoop dfsadmin -safemode leave 退出安全模式
如需使用spark 只需在集群节点安装scala,spark,并在spark-env.sh中添加配置
export SCALA_HOME=/home/juxinli/scala-2.11.5
export JAVA_HOME=/usr/lib/jvm/java-8-sun
export HADOOP_HOME=/home/juxinli/hadoop-2.5.0
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop-2.5.0
export SPARK_JAR=/home/juxinli/spark-1.2.0-bin-hadoop2.4/lib/spark-assembly-1.2.0-hadoop2.4.0.jar
在slaves添加节点主机名
首先安装准备工具
$ sudo apt-get install ssh $ sudo apt-get install rsync
配置ssh
$ ssh localhostIf you cannot ssh to localhost without a passphrase, execute the following commands:
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
进入etc/hadoop/hadoop-env.sh 配置运行环境
# set to the root of your Java installation export JAVA_HOME=/usr/java/latest # Assuming your installation directory is /usr/local/hadoop export HADOOP_PREFIX=/usr/local/hadoop
配置hdfs端口和备份数
etc/hadoop/core-site.xml:
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property>
<property>#ClientDatanodeProtocol 调用getBlockLocalPathInfo的时候 <name>dfs.block.local-path-access.user</name> <value>infomorrow</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/infomorrow/hadoop-tmp</value> </property>
</configuration>
etc/hadoop/hdfs-site.xml:
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
配置使用yarn
etc/hadoop/mapred-site.xml:
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
etc/hadoop/yarn-site.xml:
NodeManager 在 启 动 时 加 载shuffle server,shuffle server 实 际 上 是 Jetty/Netty Server,Reduce Task 通 过 该 server 从 各 个NodeManager 上远程复制 Map Task 产生的中间结果
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>
启动过程:
hdfs
$ bin/hdfs namenode -format (初次使用时)
$ sbin/start-dfs.sh
进入监控页查看 - http://localhost:50070/
在hdfs上创建文件夹
$ bin/hdfs dfs -mkdir /user $ bin/hdfs dfs -mkdir /user/<username>
查看hdfs上创建的文件夹 bin/hadoop fs -ls /
yarn
$ sbin/start-yarn.sh
进入监控页查看 - http://localhost:8088/
关闭:
$ sbin/stop-dfs.sh$ sbin/stop-yarn.sh
bin/hadoop dfsadmin -safemode leave 退出安全模式
如需使用spark 只需在集群节点安装scala,spark,并在spark-env.sh中添加配置
export SCALA_HOME=/home/juxinli/scala-2.11.5
export JAVA_HOME=/usr/lib/jvm/java-8-sun
export HADOOP_HOME=/home/juxinli/hadoop-2.5.0
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop-2.5.0
export SPARK_JAR=/home/juxinli/spark-1.2.0-bin-hadoop2.4/lib/spark-assembly-1.2.0-hadoop2.4.0.jar
在slaves添加节点主机名
相关文章推荐
- hadoop 2.5 伪分布安装 -- fedora20安装hadoop-2.5.1
- Linux CentOS下Hadoop伪分布模式安装笔记
- HBase入门笔记(三)-- 完全分布模式Hadoop集群安装配置
- 【hadoop】在虚拟机上hadoop伪分布模式安装(问题集锦)
- ubuntu 下 Hadoop1.0.4 安装过程 (单机伪分布模式)
- Hadoop之Hive 安装_在hadoop 伪分布上
- [Hadoop系列]Hadoop的安装-2.伪分布模式
- Hadoop Hdfs 分布文件系统安装与部署
- hadoop学习笔记之--完全分布模式安装
- Linux(CentOS)下伪分布模式安装Hadoop
- 伪分布模式安装Hadoop
- Linux CentOS下Hadoop伪分布模式安装笔记
- ubuntu安装hadoop(伪分布)
- 完全分布模式hadoop集群安装配置之二 添加新节点组成分布式集群
- Hadoop全分布模式安装和测试
- hadoop-伪分布安装
- 完全分布模式hadoop集群安装配置之一安装第一个节点
- 完全分布模式hadoop集群安装配置之二 添加新节点组成分布式集群
- hadoop学习笔记之-hbase完全分布模式安装
- Linux CentOS下Hadoop伪分布模式安装笔记