Ubuntu 14.04 单机版 Hadoop2.2.0+hbase0.96.2 安装练习

需要用到，尝试安装，整理一下步骤，以后可以查看。

1、ssh 免密码登录配置

这部分因为是伪分布式安装，所以需要本机可以于本机进行数据交互，基本来说是使用 ssh-keygen ssh-copy-id 就可以了，不过之间遇到了一些 permission denied的问题，列出实际操作的流程如下：

(1) 首先使用 ps -e | grep ssh 命令查看是否存在 sshd 进程，发现不存在；

(2) 通过 sudo apt-get install openssh-server 安装 openssh-server 后，到 /etc/init.d/ssh -start 开启 server 进程。

(3) ssh-keygen -t rsa 本机 ～.ssh/ 生成 id_rsa id_rsa.pub 两个文件；

(4) 设置了这个权限 chmod 700 -R .ssh

(5) ssh-copy_id 127.0.0.1 将 ssh 登录本机的权限赋予本机本身，即可。

(6) 尝试 scp xx.txt 127.1:/ 不需要密码就可以传输表明成功 （也可以直接尝试 ssh 127.0.0.1）

(7*) 之后尝试从 sbin 下启动 start-all.sh 时候遇到 “Starting namenodes on [localhost] mymiss@localhost's password: localhost: Agent admitted failure to sign using the key.”问题，尝试使用 "
ssh-add ~/.ssh/id_rsa" 后成功

2、JDK1.6安装

JDK安装看说有从 J***A 的官网上下载来装和使用 terminal 命令行进行安装两种，一直比较反感 Oracle Java 那个眼花缭乱的官网所以尝试了第二种方法点击打开链接 ：

(1) sudo apt-get install python-software-properties

(2) sudo add-apt-repository ppa:webupd8team/java

(3) sudo apt-get update

(4) sudo apt-get install oracle-java6-installer

(5) java -version 查看 确实安装了 1.6.0

删除 /usr/lib/java-6-xx

sudo apt-get update

sudo dpkg --configure -a 完成 java 升级

3、Hadoop2.2.0安装

namenode -format 问题 删除文件夹

中见开启时候遇到一些内容没有开启的问题，解决方案修改端口号+创建目录

所有的都遇到这种 warning 14/08/11 15:55:45 WARN conf.Configuration: core-site.xml:an attempt to override final parameter: fs.defaultFS; Ignoring. 找到 core-site.xml 里面的 fs.defaultFS 参数配置所在，注视掉 就可以了。

默认端口 www.sqlparty.com/hadoop默认端口应用一览/ 其中8088

browse the file system 时候遇到 Error 500 错误 /etc/hosts 里面写了 127.0.0.1 127.1 不知道什么时候用到的。

执行 wordcount blog.csdn.net/bamuta/article/details/14226243 ok



4、Hbase-0.96.2 安装

设置 hbase 存储路径 www.linuxidc.com/Linux/2014-04/100384.htm conf/hbase_site.xml 里面

设置J***A_HOME 路径 /conf/hbase-env.sh 里面

export J***A_HOME=/usr/lib/jvm/java-6-oracle

export J***A_HOME=${J***A_HOME}

//start_hbase.sh 后看到 jps 出现 两个 HMaster ..

启动后查看 jps 只有一个 HMaster ，再就是通过 hbase shell 后输入 list 会有如下错误：

"ERROR [main] client.HConnectionManager$HConnectionImlementation: Can't get connection to ZooKeeper: KeeperErrorCode = ConnectionLoss for /hbase"

查看 log 日志如下所示：

2014-08-12 17:36:10,988 INFO  [M:0;G460:34944] server.FinalRequestProcessor: shutdown of request processor complete
2014-08-12 17:36:10,989 INFO  [M:0;G460:34944] zookeeper.MiniZooKeeperCluster: Shutdown MiniZK cluster with all ZK servers
2014-08-12 17:36:12,000 INFO  [SessionTracker] server.SessionTrackerImpl: SessionTrackerImpl exited loop!
2014-08-12 17:36:12,396 INFO  [RS:0;G460:43511-SendThread(localhost:2181)] zookeeper.ClientCnxn: Opening socket connection to server localhost/127.0.0.1:2181. Will not attempt to authenticate using SASL (unknown error)
2014-08-12 17:36:12,397 WARN  [RS:0;G460:43511-SendThread(localhost:2181)] zookeeper.ClientCnxn: Session 0x147c9931b130001 for server null, unexpected error, closing socket connection and attempting reconnect
java.net.ConnectException: 拒绝连接
        at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
        at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:739)
        at org.apache.zookeeper.ClientCnxnSocketNIO.doTransport(ClientCnxnSocketNIO.java:350)
        at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:1068)

搜索一些内容大多数涉及到 /etc/hosts 的修改，不过看官网上说 0.94x之前才需要考虑 /etc/hosts，继续在官网找内容，看到这里
hbase.apache.org/book/quickstart.html Example 1.2 里面只有两个值的配置

<configuration>
  <property>
    <name>hbase.rootdir</name>
    <value>file:///home/testuser/hbase</value>
  </property>
  <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/home/testuser/zookeeper</value>
  </property>
</configuration>

修改成上面那样，继续看 log 内容发现说相应路径建立不了，于是修改成本机路径如下：

<configuration>
    <property>
        <name>hbase.rootdir</name>
        <value>file:///home/mymiss/mymiss/hadoop/hadoop-2.2.0/data/hbase</value>
        <description>the directory shared by RegionServers</description>
    </property>
    <property>
       <name>hbase.zookeeper.property.dataDir</name>
       <value>file:///home/mymiss/mymiss/hadoop/hadoop-2.2.0/data/zookeeper</value>
    </property>
</configuration>

重新 start-hbase.sh 就一切OK了～