Etl之HiveSql调优(union all)
2015-10-12 23:55
387 查看
相信在Etl的过程中不可避免的实用union all来拼装数据,那么这就涉及到是否并行处理的问题了。
在hive中是否适用并行map,可以通过参数来设定:
那么还是实用上一篇博客的数据,链接:http://www.cnblogs.com/liqiu/p/4873238.html
如果咱们需要一些数据:
就是模拟分别从两个表里面获取数据,如果不开启并行,实用的时间是开启时间的两倍,所以这个地方多加注意!
在hive中是否适用并行map,可以通过参数来设定:
set hive.exec.parallel=true;
那么还是实用上一篇博客的数据,链接:http://www.cnblogs.com/liqiu/p/4873238.html
如果咱们需要一些数据:
select * from (select sight_id from order_sight where create_time="2015-10-10" and sight_id = 9718 union all select id as sight_id from sight where id = 9718) a;
就是模拟分别从两个表里面获取数据,如果不开启并行,实用的时间是开启时间的两倍,所以这个地方多加注意!
相关文章推荐
- Oracle系统数据表恢复及迁移
- SQL 查询中not in 与 not exists 的区别
- MySQL利用正则匹配函数实现多个条件查询
- Spring Data与MongoDB:不协调的设计
- 学一点 mysql 双机异地热备份—-mysql主从,主主备份原理及实践
- Etl之HiveSql调优(left join where的位置)
- redis安装
- Etl之HiveSql调优(left join where的位置)
- MySQL索引题目分析
- iOS中sqlite的基本使用
- 3.Oracle数据库SQL开发之 创建store的schema
- 2.Oracle数据库SQL开发之 SQL DEVELOPER使用
- 1.Oracle数据库SQL开发指南之开篇
- 数据库的相关操作
- java连接数据库代码sqlserver2008(在netbeans中)
- mysql的autocommit
- mysql命令
- Oracle的存储过程
- SQL分页的三种方法
- oracle(二)