hadoop环境搭建hbase的一些问题
2016-06-30 15:33
483 查看
最近在学习hadoop的相关的工具,首先从环境入手,发现一些在搭建过程中遇到的一些问题,现在总结一下。
1,hadoop的hdfs的问题,主要是进行多次格式化造成的
dfs的data,中的version与dfs的name中的version的clusterID不一致,造成datanode或者namenode启动异常。
这种问题的解决方法主要是可以将clusterID复制到对应的节点的version中。或是将对应的文件夹删除,重新格式化。
2,hbase的:60010的页面打不开,原因主要是由于在1.0版本之后需要在hbase-site.xml中配置
添加
<property>
<name>hbase.master.info.port</name>
<value>60010</value>
</property>
即可。
3,hbase的时间差值问题,最好将不同主机上的时间调整一下,最好不要差别太大。
对于时间不一致问题,可以使用手东区设置时间,时区。
还有就是使用服务器时间同步。
独立主机
rm -rf /etc/localtime
ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime #修改时区到东8区。
date -R #查看的时区设置。
接下来调整系统时间与时间服务器同步
Debian系统安装NTP校时包:
apt-get install ntpdate #安装ntp
CentOS系统安装NTP校时包:
yum -y install ntpdate ntp #安装ntp
Ubuntu系统安装NTP校时包:
sudo apt-get install -y ntpdate ntp
修改/etc/ntp.conf
vi /etc/ntp.conf 就会看到以下内容:
server 0.centos.ntp.org
server time.windows.com
server time.nist.gov
这是默认的ntp同步服务器,大家可以自己改,全球ntp服务器地址:http://www.pool.ntp.org/
可以改为下面的:
server cn.pool.ntp.org //这中国的ntp服务器
server time-a.nist.gov
server time.windows.com
server time.nist.gov
接着输入下面的命令:
ntpdate -d cn.pool.ntp.org #调试查看时间差异
ntpdate cn.pool.ntp.org #同步时间
date -R # 检查时间是否同步
4,遇到下面的问题就需要看一下hdfs的存储空间够不够了
could only be replicated to 0 nodes instead of minReplication (=1)
[grid@h4 ~]$ hadoop dfsadmin -report h4 节点
Configured Capacity: 19865944064 (18.5 GB) 分配总容量
Present Capacity: 8934457344 (8.32 GB)
DFS Remaining: 8933957632 (8.32 GB) DFS剩余容量
DFS Used: 499712 (488 KB) DFS已使用容量
DFS Used%: 0.01% DFS已使用百分比
Under replicated blocks: 1 复制成功块数
Blocks with corrupt replicas: 0 复制失败块数
Missing blocks: 0 丢失块数
-------------------------------------------------
Datanodes available: 2 (2 total, 0 dead) 数据节点有效
Name: 192.168.2.103:50010 h2数据节点ip和端口
Decommission Status : Normal 状态正常
Configured Capacity: 9932972032 (9.25 GB) 配置总容量
DFS Used: 249856 (244 KB) DFS使用量
Non DFS Used: 5350871040 (4.98 GB) linux容量非DFS使用的
DFS Remaining: 4581851136(4.27 GB) DFS剩余容量
DFS Used%: 0% DFS已使用百分比
DFS Remaining%: 46.13% DFS未用百分比
Last contact: Tue Sep 18 19:34:32 CST 2012 最后的联接
Name: 192.168.2.105:50010 h2数据节点ip和端口
Decommission Status : Normal 状态正常
Configured Capacity: 9932972032 (9.25 GB) 配置总容量
DFS Used: 249856 (244 KB) DFS使用量
Non DFS Used: 5580615680 (5.2 GB) linux容量非DFS使用的
DFS Remaining: 4352106496(4.05 GB) DFS剩余容量
DFS Used%: 0% DFS已使用百分比
DFS Remaining%: 43.81% DFS未用百分比
Last contact: Tue Sep 18 19:34:32 CST 2012 最后的联接
5,regionserver.HRegionServer: 16000 exiting问题是进入
zookeeper中使用./zkCli.sh中把 hbase的缓存给删掉就行。
重启hbase即可。
以上就是这几天大环境的一些认识。
1,hadoop的hdfs的问题,主要是进行多次格式化造成的
dfs的data,中的version与dfs的name中的version的clusterID不一致,造成datanode或者namenode启动异常。
这种问题的解决方法主要是可以将clusterID复制到对应的节点的version中。或是将对应的文件夹删除,重新格式化。
2,hbase的:60010的页面打不开,原因主要是由于在1.0版本之后需要在hbase-site.xml中配置
添加
<property>
<name>hbase.master.info.port</name>
<value>60010</value>
</property>
即可。
3,hbase的时间差值问题,最好将不同主机上的时间调整一下,最好不要差别太大。
对于时间不一致问题,可以使用手东区设置时间,时区。
还有就是使用服务器时间同步。
独立主机
rm -rf /etc/localtime
ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime #修改时区到东8区。
date -R #查看的时区设置。
接下来调整系统时间与时间服务器同步
Debian系统安装NTP校时包:
apt-get install ntpdate #安装ntp
CentOS系统安装NTP校时包:
yum -y install ntpdate ntp #安装ntp
Ubuntu系统安装NTP校时包:
sudo apt-get install -y ntpdate ntp
修改/etc/ntp.conf
vi /etc/ntp.conf 就会看到以下内容:
server 0.centos.ntp.org
server time.windows.com
server time.nist.gov
这是默认的ntp同步服务器,大家可以自己改,全球ntp服务器地址:http://www.pool.ntp.org/
可以改为下面的:
server cn.pool.ntp.org //这中国的ntp服务器
server time-a.nist.gov
server time.windows.com
server time.nist.gov
接着输入下面的命令:
ntpdate -d cn.pool.ntp.org #调试查看时间差异
ntpdate cn.pool.ntp.org #同步时间
date -R # 检查时间是否同步
4,遇到下面的问题就需要看一下hdfs的存储空间够不够了
could only be replicated to 0 nodes instead of minReplication (=1)
[grid@h4 ~]$ hadoop dfsadmin -report h4 节点
Configured Capacity: 19865944064 (18.5 GB) 分配总容量
Present Capacity: 8934457344 (8.32 GB)
DFS Remaining: 8933957632 (8.32 GB) DFS剩余容量
DFS Used: 499712 (488 KB) DFS已使用容量
DFS Used%: 0.01% DFS已使用百分比
Under replicated blocks: 1 复制成功块数
Blocks with corrupt replicas: 0 复制失败块数
Missing blocks: 0 丢失块数
-------------------------------------------------
Datanodes available: 2 (2 total, 0 dead) 数据节点有效
Name: 192.168.2.103:50010 h2数据节点ip和端口
Decommission Status : Normal 状态正常
Configured Capacity: 9932972032 (9.25 GB) 配置总容量
DFS Used: 249856 (244 KB) DFS使用量
Non DFS Used: 5350871040 (4.98 GB) linux容量非DFS使用的
DFS Remaining: 4581851136(4.27 GB) DFS剩余容量
DFS Used%: 0% DFS已使用百分比
DFS Remaining%: 46.13% DFS未用百分比
Last contact: Tue Sep 18 19:34:32 CST 2012 最后的联接
Name: 192.168.2.105:50010 h2数据节点ip和端口
Decommission Status : Normal 状态正常
Configured Capacity: 9932972032 (9.25 GB) 配置总容量
DFS Used: 249856 (244 KB) DFS使用量
Non DFS Used: 5580615680 (5.2 GB) linux容量非DFS使用的
DFS Remaining: 4352106496(4.05 GB) DFS剩余容量
DFS Used%: 0% DFS已使用百分比
DFS Remaining%: 43.81% DFS未用百分比
Last contact: Tue Sep 18 19:34:32 CST 2012 最后的联接
5,regionserver.HRegionServer: 16000 exiting问题是进入
zookeeper中使用./zkCli.sh中把 hbase的缓存给删掉就行。
重启hbase即可。
以上就是这几天大环境的一些认识。
相关文章推荐
- 虚拟化基础架构Windows 2008篇之6-启动Windows部署服务
- 《Linux内核设计与实现》笔记——进程管理
- linux中cheat命令给我们带来了什么好处?
- 调试设备驱动程序
- 每天一个linux命令-touch
- 搭建Solr6.0.1+tomcat8服务器
- Linux shell 命令
- hadoop环境快速搭建
- 在linux下安装jira
- linux 正则表达式基础篇
- 虚拟化基础架构Windows 2008篇之5-安装Windows部署服务
- docker设置引用国内镜像加速
- linux 下查看各个errno的含义
- nginx install
- 你了解现在的招聘网站吗?
- 怎样测试UDP端口
- 网站提交入口
- Linux SSH服务 运维
- Linux正则表达式与文件格式化处理
- 《Linux内核设计与实现》笔记——内核编译过程以及内核编程特点