您的位置:首页 > 数据库

Spark和Hive的ANSI SQL支持情况

2017-03-09 17:04 197 查看
Spark 2.0.x支持的SQL:
-----------------

Spark SQL2003支持情况:社区目前主要是支持缺少的大功能subquery,细节功能主要是IBM的人在系统地添加(https://issues.apache.org/jira/secure/Dashboard.jspa?selectPageId=12326761)。

具体缺少的2003细节功能可查看http://www.savage.net.au/SQL/sql-2003-2.bnf.html 中的BNF文档
6 Scalar expressions

7 Query expressions

8 Predicates

10 Additional common elements
这几个关于查询的语法的章节内容逐个对照语法来确认缺少的SQL支持。

Spark的语法支持稍滞后于Hive的支持。Hive的目前活跃的SQL支持主要在这些功能https://issues.apache.org/jira/browse/HIVE-13554

Hive支持的SQL:
-----------------
1.支持66个tpc-ds测例。
2.支持主要的sql2003功能:
<1>基本subquery有,缺失的稍复杂的subquery的功能如在and/or中出现的multi-subquery, 在select子句中的in/exist/correlated subquery,scalar subquery values可出现在value expression primary语句能出现的所有位置,在不等谓词条件中的subquery in comparison predicate这些细节功能意识到了还在添加,主要是hortonworks的工程师在做,但社区添加速度不快。
<2>缺失的non-equi join功能社区没确定是否添加
<3>缺失的集合功能Intersect (distinct/all) Except (distinct/all) Minus (distinct/all)已添加还没发布
3.sql2011兼容:基本都还是sql2003的内容,没有涉及sql2011的核心的时态temporal查询功能。

参考:
1. https://github.com/apache/spark/pull/10509    inline hive资料,spark中去掉hive parser依赖
2. http://www.spark.tc/the-arrival-of-apache-spark-2-0-2/   IBM spark technology center的贡献
3. http://zh.hortonworks.com/blog/stinger-next-enterprise-sql-hadoop-scale-apache-hive/
  hortonwork对hive的改进思路
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: 
相关文章推荐