Hbase在HDFS上的各个目录作用
2017-10-19 00:00
225 查看
1、/hbase/.META.
就是存储1中介绍的 META 表的存储路径。
2、/hbase/.archive
HBase 在做 Split或者 compact 操作完成之后,会将 HFile 移到.archive 目录中,然后将之前的 hfile 删除掉,该目录由 HMaster 上的一个定时任务定期去清理。
3、/hbase/.corrupt
存储HBase做损坏的日志文件,一般都是为空的。
4、/hbase/.hbck
HBase 运维过程中偶尔会遇到元数据不一致的情况,这时候会用到提供的 hbck 工具去修复,修复过程中会使用该目录作为临时过度缓冲。
5、/hbase/WAL
大家都知道 HBase 是支持 WAL(Write Ahead Log) 的,HBase 会在第一次启动之初会给每一台 RegionServer 在.log 下创建一个目录,若客户端如果开启WAL 模式,会先将数据写入一份到.log 下,当 RegionServer crash 或者目录达到一定大小,会开启 replay 模式,类似 MySQL 的 binlog。
6、/hbase/oldlogs
当.logs 文件夹中的 HLog 没用之后会 move 到.oldlogs 中,HMaster 会定期去清理。
7、/hbase/.snapshot
hbase若开启了 snapshot 功能之后,对某一个用户表建立一个 snapshot 之后,snapshot 都存储在该目录下,如对表test 做了一个 名为sp_test 的snapshot,就会在/hbase/.snapshot/目录下创建一个sp_test 文件夹,snapshot 之后的所有写入都是记录在这个 snapshot 之上。
8、/hbase/.tmp
当对表做创建或者删除操作的时候,会将表move 到该 tmp 目录下,然后再去做处理操作。
9、/hbase/hbase.id
它是一个文件,存储集群唯一的 cluster id 号,是一个 uuid。
10、/hbase/hbase.version
同样也是一个文件,存储集群的版本号,貌似是加密的,看不到,只能通过web-ui 才能正确显示出来。
就是存储1中介绍的 META 表的存储路径。
2、/hbase/.archive
HBase 在做 Split或者 compact 操作完成之后,会将 HFile 移到.archive 目录中,然后将之前的 hfile 删除掉,该目录由 HMaster 上的一个定时任务定期去清理。
3、/hbase/.corrupt
存储HBase做损坏的日志文件,一般都是为空的。
4、/hbase/.hbck
HBase 运维过程中偶尔会遇到元数据不一致的情况,这时候会用到提供的 hbck 工具去修复,修复过程中会使用该目录作为临时过度缓冲。
5、/hbase/WAL
大家都知道 HBase 是支持 WAL(Write Ahead Log) 的,HBase 会在第一次启动之初会给每一台 RegionServer 在.log 下创建一个目录,若客户端如果开启WAL 模式,会先将数据写入一份到.log 下,当 RegionServer crash 或者目录达到一定大小,会开启 replay 模式,类似 MySQL 的 binlog。
6、/hbase/oldlogs
当.logs 文件夹中的 HLog 没用之后会 move 到.oldlogs 中,HMaster 会定期去清理。
7、/hbase/.snapshot
hbase若开启了 snapshot 功能之后,对某一个用户表建立一个 snapshot 之后,snapshot 都存储在该目录下,如对表test 做了一个 名为sp_test 的snapshot,就会在/hbase/.snapshot/目录下创建一个sp_test 文件夹,snapshot 之后的所有写入都是记录在这个 snapshot 之上。
8、/hbase/.tmp
当对表做创建或者删除操作的时候,会将表move 到该 tmp 目录下,然后再去做处理操作。
9、/hbase/hbase.id
它是一个文件,存储集群唯一的 cluster id 号,是一个 uuid。
10、/hbase/hbase.version
同样也是一个文件,存储集群的版本号,貌似是加密的,看不到,只能通过web-ui 才能正确显示出来。
相关文章推荐
- Hbase在HDFS上的各个目录作用
- Hbase在HDFS上的目录及含义
- HBase HDFS 上目录分析
- HBase 在HDFS 上的目录树
- HBase在HDFS上的目录结构
- HBase在HDFS上的目录树
- HBase 在HDFS 上的目录树
- Hbase在HDFS上的各个目录
- Hbase在HDFS上的各个目录
- HBase 在HDFS 上的目录树
- Hbase在HDFS上的目录树
- HBase 在HDFS 上的目录树
- hdfs 上 hbase目录下的文件组织格式
- HBase 在HDFS 上的目录树
- hadoop 添加本机文件夹到HDFS目录以及一些简单命令
- linux 目录结构和目录的作用
- hive和hbase本质区别——hbase本质是OLTP的nosql DB,而hive是OLAP 底层是hdfs,需从已有数据库同步数据到hdfs;hive可以用hbase中的数据,通过hive表映射到hbase表
- hbase-1.1.2的oldWALs占用过大hdfs空间问题的解决
- Visual Studio 2008 环境变量、工作目录、vc++目录、 命令等 的配置和作用
- linux 目录结构作用说明