mac下安装伪分布hadoop2.6.0和hbase1.0.1.1
2015-09-02 16:43
357 查看
1、安装JDK,我安装的是java1.7
2、创建管理员账户
3、安装ssh服务(如果已有跳过此步)
4、ssh无密码验证登陆
以上过程略,可参考ubuntu下安装hadoop一文。5、下载并解压hadoop2.6.0安装包
tar -xzvf hadoop-2.6.0.tar.gz /Users/hadoop
6、配置hadoop-env.sh,core-site.xml,mapred-site.xml,hdfs-site.xml,yarn-site.xml。
hadoop-env.sh中加入JAVA_HOME路径:export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.7.0_75.jdk/Contents/Home
core-site.xml配置如下:
<configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/Users/hadoop/hadoop-2.6.0/tmp</value> </property> </configuration>
mapred-site.xml配置如下:
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
hdfs-site.xml配置如下:
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/Users/hadoop/hadoop-2.6.0/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/Users/hadoop/hadoop-2.6.0/tmp/dfs/data</value> </property> </configuration>
yarn-site.xml配置如下:
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration>
7、配置系统环境变量
打开/etc/profile加入以下内容:export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.7.0_75.jdk/Contents/Home export HADOOP_HOME=/Users/hadoop/hadoop-2.6.0 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
8、格式化hdfs文件系统
hdfs namenode -format
9、启动hadoop服务
start-all.sh
安装正确的话,此时应该有以下5个java线程:
NameNode DataNode SecondaryNameNode NodeManager ResourceManager
在浏览器中输入localhost:50070可以查看hadoop集群概述
10、解压hbase安装包
tar -xzvf hbase-1.0.1.1-bin.tar.gz /Users/hadoop
11、配置hbase-env.sh、hbase-site.xml。
hbase-env.sh配置如下:export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.7.0_75.jdk/Contents/Home export HBASE_MANAGES_ZK=true
hbase-site.xml配置如下:
<configuration> <property> <name>hbase.rootdir</name> <value>hdfs://localhost:9000/hbase</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.tmp.dir</name> <value>/Users/hadoop/hbase-1.0.1.1/tmp</value> </property> <property> <name>zookeeper.session.timeout</name> <value>120000</value> </property> </configuration>
12、启动hbase
首先启动hadoop,然后启动hbasestart-all.sh start-hbase.sh
安装正确的话,应该有以下3个hbase相关线程:
HMaster HRegionServer HQuorumPeer
13、存在的问题
1)hadoop官网提供的安装包是32位的,安装到64位机器上会出现“WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable ”的提示,暂时未发现影响使用。如果想消除这条提示,可以在官网下载src源文件在64位机器上进行手动编译。
2)hbase的线程会出现自动中断的情况,目前尝试了网上找到的多种方法,依然没有解决,暂时只能通过重启hbase的方法处理该问题。
相关文章推荐
- Linux软件管理——yum命令详解
- 在Linux下查看环境变量
- 类shell程序的简化实现
- opencv3.0 + vs2012 +win7 + x64 安装
- topcoder powerOutage
- linux学习笔记0.2---gstreamer命令
- shell中&&和||的使用方法
- centos安装pil,windows64位pil,及导入字库报错问题
- 打通windows和Linux下的传输问题解决只能使用SSH协议下的22端口来传输文件(Openssh for windows)
- Linux脚本-chmod
- tomcat 监听问题
- FPC查询网站
- linux之间建立信任关系
- L3 关于vim,find,bash,磁盘管理总结与练习题
- Openwrt LuCI模块练习详细步骤
- Openwrt LuCI模块练习详细步骤
- Linux VFS文件系统之创建文件
- Docker-容器互联访问之数据容器操作过程
- openwrt下加载snmp模块
- Shell脚本编程-判断当前用户是否为root