NUTCH2.3 hadoop2.7.1 hbase1.0.1.1 solr5.2.1部署(二)
Precondition:
hadoop 2.7.1
hbase 1.0.1.1 / hbase 0.98.13
192.168.1.106 ->master
192.168.1.105 ->slave / regionservers
hbase部署
直接下载hbase bin文件
hbase1.0.1.1 还有hbase 0.98.13 和hadoop2.7.1 / hadoop 2.5.2 配合并没有问题。
仅仅只是
Nutch2.3 似乎和hbase 0.98.13 配合比較好。
1. 配置hbase-site.xml
<configuration> <property> <name>hbase.zookeeper.quorum</name> <value>192.168.1.105,192.168.1.106</value> </property> <property> <name>hbase.master</name> <value>192.168.1.106:60000</value> </property> <property> <name>hbase.tmp.dir</name> <value>/disk2/hbase/hbase-1.0.1.1/tmp</value> </property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/disk2/hbase/hbase-1.0.1.1/zookeepertmp</value> </property> <property> <name>hbase.rootdir</name> <value>hdfs://192.168.1.106:9000/hbase</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> </configuration>
2. 配置regionservers,仅仅把192.168.1.105作为regionservers
true > regionservers
echo 192.168.1.105 >> regionservers
3. 配置hbase-env.sh
export JAVA_HOME=/disk2/java/jdk1.8.0_45
4. 将hbases整个文件夹拷贝到其它机器中。
scp -r hbase/ 192.168.1.105:/disk2/
5. 启动
bin/start-hbase.sh(先启动hadoop)
6. 測试查看
http://192.168.1.106:60010/master-status (0.98.13)
http://192.168.1.106:16010/master-status (1.0.1.1)
7. 过程中最多的问题是HMaster 和 HRegionServer不能共存,常常当中一个就退出:
master.HMasterCommandLine: Master exiting
java.lang.RuntimeException: HMaster Aborted
解决的方法:
rm /tmp/hbase-root/ -rf
bin/hbase-cleanup.sh --cleanAll
bin/zookeepers.sh clear
- NUTCH2.3 hadoop2.7.1 hbase1.0.1.1 solr5.2.1部署(一)
- NUTCH2.3 hadoop2.7.1 hbase1.0.1.1 solr5.2.1部署(三)
- NUTCH2.3 hadoop2.7.1 hbase1.0.1.1 solr5.2.1部署(一)
- NUTCH2.3 hadoop2.7.1 hbase1.0.1.1 solr5.2.1部署(二)
- NUTCH2.3 hadoop2.7.1 hbase1.0.1.1 solr5.2.1部署(三)
- 【Nutch2.3基础教程】集成Nutch/Hadoop/Hbase/Solr构建搜索引擎:安装及运行【集群环境】
- 【Nutch2.3基础教程】集成Nutch/Hadoop/Hbase/Solr构建搜索引擎:安装及运行【集群环境】
- 【Nutch2.3基础教程】集成Nutch/Hadoop/Hbase/Solr构建搜索引擎:安装及运行【集群环境】
- 【Nutch2.3基础教程】集成Nutch/Hadoop/Hbase/Solr构建搜索引擎:安装及运行【集群环境】
- [Nutch]Nutch2.3+Hadoop+HBase+Solr在Ubuntu环境搭建
- 【Nutch2.3基础教程】集成Nutch/Hadoop/Hbase/Solr构建搜索引擎:安装及运行【集群环境】
- 【Nutch2.3基础教程】集成Nutch/Hadoop/Hbase/Solr构建搜索引擎:安装及运行【集群环境】 分类: 1_Nutch 0_jediael开发 2015-01-24 17:24 3522人阅读 评论(1) 收藏
- nutch2.3 hadoop2.6.0 hbase0.98.8 分布式爬虫NoClassDefFoundError HBaseConfigurati
- 使用 Hadoop,Nutch ,Hbase,Solr 搭建搜索引擎之Hadoop1.2.1搭建
- 使用 Hadoop,Nutch ,Hbase,Solr 搭建搜索引擎之Nutch2.2.1
- nutch-2.2.1 hadoop-1.2.1 hbase-0.92.1 集群部署(实用)
- nutch-2.2.1 hadoop-1.2.1 hbase-0.92.1 集群部署
- [Linux] Nutch 2.3.1+ Hbase + Hadoop + Solr 单机指南(一)
- [Linux] Nutch 2.3.1+ Hbase + Hadoop + Solr 单机指南(二)
- nutch-2.2.1 hadoop-1.2.1 hbase-0.92.1 集群部署