hadoop2.2伪分布安装加2.2源码编译
2015-07-11 08:41
501 查看
配置linux基本环境:
--> java、ip、hostname、hosts、iptables、chkconfig、ssh环境配置hadoop2.2安装在linux64位机器上,需要对源码进行编译:
首先安装google的protobufyum install glibc-header
yum install gcc
yum install gcc-c++
yum install make
yum install cmake
yum install openssl-devel
yum install ncurses-devel
tar zxvf protobuf-2.5.0.tar.gz
cd protobuf-2.5.0 && ./configure && make check && make install
然后安装maven-3.0.5,配置 环境变量
下载hadoop2.20-src,解压后,执行mvn package -DskipTests -Pdist native 编译。
修改hadoop配置文件,etc/hadoop 目录下的配置文件core-site.xml,hdfs-site.xml,yarn-site.xml,mapred-site.xml
文件core-site.xml<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop0:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop-2.2.0/tmp</value> </property> <property> <name>fs.trash.interval</name> <value>1440</value> </property> </configuration>
文件hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> </configuration>
文件yarn-site.xml
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>
文件mapred-site.xml
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
启动
启动——格式化:bin/hdfs namenode -format
启动——hdfs
sbin/hadoop-daemon.sh start namenode 对应端口:50070
sbin/hadoop-daemon.sh start datanode
启动——yarn
sbin/yarn-daemon.sh start resourcemanager 对应端口:8088
sbin/yarn-daemon.sh start nodemanager
启动——historyserver
sbin/mr-jobhistory-daemon.sh start historyserver
测试上传:bin/hadoop fs -put LICENSE.txt /license
hadoop1默认block大小是64兆,hadoop2默认大小是128兆
测试单词计数:
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /license /out启动jobhistory 查看作业运行日志 sbin/mr-jobhistory-daemon.sh start historyserver
hadoop应用在nodemanager上跑的。
MapReduce的ApplicationMaster叫MRAppMaster
nodemanager是有多个,resourcemanager只有一个
相关文章推荐
- linux 安装jdk-7u45-linux-x64.tar.gz
- 服务器的问题1:为什么需要Apache或Tomcat ?????
- chrome developer tool 调试技巧
- debian软件安装基础(同tomcat案件)
- tomcat开始批量——setclasspath.bat
- 大型网站系统架构演化之路
- linux下syslog使用说明
- Linux技术手册
- 《架构之美》笔记
- log4j 日志配置 -- properties 和 xml两种形式
- linux分区和文件系统
- shell编程技术之-基础知识
- centos 7 启动tomcat服务
- 【只需3步】Linux php的安装与配置[源码安装]
- tomcat 配置
- [Ubuntu--Shell]yum和apt-get的用法与区别
- 58沈剑:秒杀系统架构优化思路
- Mybatis-There is no getter for property named 'tj' in 'class
- [Dropbox]一款很实用的个人文件同步利器
- [Optimize]让C更高效的10种方法