高速查询hive数据仓库表中的总条数
2017-05-05 09:44
951 查看
Author: kwu
高速查询hive数据仓库中的条数。在查询hive表的条数,通常使用count(*)。可是数据量大的时候,mr跑count(*)往往须要几分钟的时间。
1、传统方式获得总条数例如以下:
执行时间为91.208s
2、与关系库一样hive表也能够通过查询元数据来得到总条数:
仅仅需0.071s就可以返回
3、说明通过hive元数据的查询总条数,仅仅适用于有partition的表,我们正式表基本都是有partition的,仅仅有部分小表。小于1万条的没有partition,这样的小表count(*)是很快的。
高速查询hive数据仓库中的条数。在查询hive表的条数,通常使用count(*)。可是数据量大的时候,mr跑count(*)往往须要几分钟的时间。
1、传统方式获得总条数例如以下:
select count(*) from ods.tracklog;
执行时间为91.208s
2、与关系库一样hive表也能够通过查询元数据来得到总条数:
select d.NAME,t.TBL_NAME,t.TBL_ID,p.PART_ID,p.PART_NAME,a.PARAM_VALUE from TBLS t left join DBS d on t.DB_ID = d.DB_ID left join PARTITIONS p on t.TBL_ID = p.TBL_ID left join PARTITION_PARAMS a on p.PART_ID=a.PART_ID where t.TBL_NAME='tracklog' and d.NAME='ods' and a.PARAM_KEY='numRows'; select FORMAT(sum(a.PARAM_VALUE),0) from TBLS t left join DBS d on t.DB_ID = d.DB_ID left join PARTITIONS p on t.TBL_ID = p.TBL_ID left join PARTITION_PARAMS a on p.PART_ID=a.PART_ID where t.TBL_NAME='tracklog' and d.NAME='ods' and a.PARAM_KEY='numRows';
仅仅需0.071s就可以返回
3、说明通过hive元数据的查询总条数,仅仅适用于有partition的表,我们正式表基本都是有partition的,仅仅有部分小表。小于1万条的没有partition,这样的小表count(*)是很快的。
相关文章推荐
- 快速查询hive数据仓库表中的总条数
- 快速查询hive数据仓库表中的总条数
- Hive数据仓库--HiveQL查询
- 数据仓库(十四)--java--presto---hive的分页查询
- 数据仓库(十)---分布式SQL查询引擎---presto安装部署和连接hive使用
- 数据仓库(十三)--java--presto---SpringMVC使用presto查询hive
- 06分布式数据仓库 HIVE -- 数据的查询(HQL Hive Query Language)
- SQL Server 2008-数据仓库查询性能
- hive从查询中获取数据插入到表或动态分区
- 【转】SQL Server 2008数据仓库查询性能
- 数据仓库入门(实验10)在Excel中查询层次结构
- 数据仓库入门(实验9)查询多维数据集
- SQL、MySQL、Oracle、 Sqlite、Informix数据库查询指定条数数据的方法
- 王家林的81门一站式云计算分布式大数据&移动互联网解决方案课程第七门课程:云计算分布式大数据Hive数据仓库最佳实践
- Hive与并行数据仓库的体系结构比较
- hive数据仓库摘录和总结
- Hive-数据仓库
- sqlserver查询表空间大小,使用大小,数据条数
- hadoop和hive的实践应用(二)——基于Hadoop的数据仓库工具hive搭建
- 参加Hive和Pig(两个hadoop数据查询、处理工具)培训的一些体会