用Python操作HBase之happybase

安装Thrift

安装Thrift的具体操作，请点击链接

安装happybase

pip install happybase

连接(happybase.Connection)

happybase.Connection(host=’localhost’, port=9090, timeout=None, autoconnect=True, table_prefix=None, table_prefix_separator=b’_’, compat=’0.98’, transport=’buffered’, protocol=’binary’)：获取连接实例

host：主机名

port：端口

timeout：超时时间

autoconnect：连接是否直接打开

table_prefix：用于构造表名的前缀

table_prefix_separator：用于table_prefix的分隔符

compat：兼容模式

transport：运输模式

protocol：协议

connection = happybase.Connection(host="192.168.0.156",port=9090,timeout=None,autoconnect=True,table_prefix=None,table_prefix_separator=b'_',compat='0.98', transport='buffered',protocol='binary')

open()：打开传输，无返回值

connection.open()

close()：关闭传输，无返回值

connection.close()

compact_table(name,major=False)：压缩指定表格，无返回值

name：表名

major：是否主要压缩

connection.compact_table(name,major=False)

create_table(name,families)：创建表，无返回值

name：表名

families：列族

families = {
"cf":dict(),
"df":dict()
}
connection.create_table(name,families)      # 如果连接时，有传递表前缀参数时，真实表名将会是："{}_{}".format(table_prefix,name)

delete_table(name,disable=False)：删除表，无返回值

name：表名

disable：是否先禁用表

connection.delete_table(name,disable=False)

disable_table(name)：禁用表，无返回值

name：表名

connection.disable_table(name)

enable_table(name)：启用表，无返回值

name：表名

connection.enable_table(name)

is_table_enabled(name)：表是否已经被启用，返回一个bool值

name：表名

connection.is_table_enabled(name)

connection.table(name,user_prefix=True)：获取一个表对象，返回一个

happybase.Table

对象

name：表名

user_prefix：是否使用表前缀，默认为True

table = connection.table(name,user_prefix=True)     # table为happybase.table.Table类型

connection.tables()：获取Hbase实例中的表名列表，返回一个list

table_name_list = connection.tables()

表(happybase.Table)

happybase.Table(name,connection)：获取表实例

name：表名

connection：连接

table = happybase.Table(name,connection)

cells(row, column, versions=None, timestamp=None, include_timestamp=False)：获取单元格数据，返回一个list

row：行

column：列

versions：获取的最大版本数量，默认None，即获取所有

timestamp：时间戳，默认None，即获取所有时间戳版本的数据。可指定一个时间戳，获取小于此时间戳版本的所有数据

include_timestamp：是否返回时间戳，默认False

content = table.cells('row1','cf:1',5,timestamp=1514861929124,include_timestamp=True)
print content   # [('1', 1514861925674L)]

counter_set(row,column,value=0)：设置计数器列为特定值，此方法在指定列中存储一个64位有符号整数值。无返回值

row：行

column：列

value：默认值，默认为0

table.counter_set(row,column,value=0)

table.counter_get(row,column)：获取计数器列的值，返回当前单元格的值

row：行

column：列

content = table.counter_get(row,column)

counter_dec(row,column,value=1)：计数器列递减，返回递减后单元格的值

row：行

column：列

value：每次递减的值，默认为1

content = table.counter_dec(row,column,value=1)

counter_inc(row,column,value=1)：计数器列递增，返回递增后单元格的值

row：行

column：列

value：每次递增的值，默认为1

content = table.counter_inc(row,column,value=1)

delete(row, columns=None, timestamp=None, wal=True)：删除指定行数据，无返回值

row：行

columns：列，默认为None，即删除所有列，可传入一个list或tuple来指定删除列

timestamp：时间戳，默认为None，即删除所有，可传入一个时间戳来删除小于等于此时间戳的所有数据

wal：是否写入wal，默认为True

table.delete(row, columns=None, timestamp=None, wal=True)

families()：获取所有列族信息，返回一个dict

info = table.families()
print info

{
'cf': {
'max_versions': 3,
'bloom_filter_vector_size': 0,
'name': 'cf: ',
'bloom_filter_type': 'NONE',
'bloom_filter_nb_hashes': 0,
'time_to_live': 2147483647,
'in_memory': False,
'block_cache_enabled': False,
'compression': 'NONE'
},
'cd': {
'max_versions': 3,
'bloom_filter_vector_size': 0,
'name': 'cd: ',
'bloom_filter_type': 'NONE',
'bloom_filter_nb_hashes': 0,
'time_to_live': 2147483647,
'in_memory': False,
'block_cache_enabled': False,
'compression': 'NONE'
}
}

put(row, data, timestamp=None, wal=True)：插入数据，无返回值

row: 行

data: 数据，dict类型，{列:值}构成，列与值皆为str类型

timestamp：时间戳，默认None，即写入当前时间戳

wal：是否写入wal，默认为True

# 在row1行,cf:1列插入值1
table.put("row1",{"cf:1":"1"})

regions()：检索此表的区域服务器信息

info = table.regions()
print info

# [{'name': 'ddd_ch,,1514948783663.caccaafa3df04cd75737a9effb5615d4.', 'server_name': 'slave3', 'port': 16020, 'end_key': '', 'version': 1, 'start_key': '', 'id': 1514948783663L}]

row(row, columns=None, timestamp=None, include_timestamp=False)：获取一行数据，返回一个dict

row：行

columns: 列，默认为None，即获取所有列，可传入一个list或tuple来指定获取列

timestamp：时间戳。默认为None，即返回最大的那个时间戳的数据。可传入一个时间戳来获取小于此时间戳的最大时间戳的版本数据

include_timestamp：是否返回时间戳数据，默认为False

info = table.row(row, columns=None, timestamp=None, include_timestamp=False)

rows(rows, columns=None, timestamp=None, include_timestamp=False)：获取多行数据，返回一个list

rows：行，可传入一个list或tuple来指定获取

columns: 列，默认为None，即获取所有列，可传入一个list或tuple来指定获取列

timestamp：时间戳。默认为None，即返回最大的那个时间戳的数据。可传入一个时间戳来获取小于此时间戳的最大时间戳的版本数据

include_timestamp：是否返回时间戳数据，默认为False

info = table.rows(rows, columns=None, timestamp=None, include_timestamp=False)

scan(row_start=None, row_stop=None, row_prefix=None, columns=None, filter=None, timestamp=None, include_timestamp=False, batch_size=1000, scan_batching=None, limit=None, sorted_columns=False, reverse=False)：获取一个扫描器，返回一个generator

row_start：起始行，默认None，即第一行，可传入行号指定从哪一行开始

row_stop：结束行，默认None，即最后一行，可传入行号指定到哪一行结束(不获取此行数据)

row_prefix：行号前缀，默认为None，即不指定前缀扫描，可传入前缀来扫描符合此前缀的行

columns：列，默认为None，即获取所有列，可传入一个list或tuple来指定获取列

filter：过滤字符串

timestamp：时间戳。默认为None，即返回最大的那个时间戳的数据。可传入一个时间戳来获取小于此时间戳的最大时间戳的版本数据

include_timestamp：是否返回时间戳数据，默认为False

batch_size：用于检索结果的批量大小

scan_batching：服务端扫描批处理

limit：数量

sorted_columns：是否返回排序的列(根据行名称排序)

reverse：是否执行反向扫描

scanner = table.scan(row_start=None, row_stop=None, row_prefix=None, columns=None, filter=None, timestamp=None, include_timestamp=False, batch_size=1000, scan_batching=None, limit=None, sorted_columns=False, reverse=False)

常见问题

thriftpy.parser.exc.ThriftParserError: ThriftPy does not support generating module with path in protocol ‘e’\

解决：找到虚拟环境下的

Lib\site-packages\thriftpy\parser\parser.py

，line 488，进行如下操作：

if url_scheme == '':

修改为：

if len(url_scheme) <= 1:

相较于

Hbase-Thrift

，博主更建议使用

HappyBase

。