您的位置:首页 > 其它

[hive小技巧]使用limit查询变成抽样,而不是全盘扫描

2015-12-17 17:12 148 查看
将set hive.limit.optimize.enable=true 时,limit限制数据时就不会全盘扫,而是根据限制的数量进行抽样。

同时还有两个配置项需要注意:

1、hive.limit.row.max.size 我理解这个是控制最大的抽样数量

2、 hive.limit.optimize.limit.file 我理解这个是抽样的最大文件数量
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: