Impala各版本新特性

本文主要整理一下 Impala 每个版本的新特性，方便了解 Impala 做了哪些改进、修复了哪些 bug。

Impala 目前最新版本为 1.4.0，其下载地址为：http://archive.cloudera.com/impala/redhat/6/x86_64/impala/

不得不说的事情：

1.3.1 用于 CDH4
1.4.0 用于 CDH5

1.4.0

CDH5 中增加
DECIMAL 数据类型，可以设置精度，其语法为：

DECIMAL[(precision[,scale])]

CDH5 中，impala 可以使用 HDFS 缓存特性加快频繁访问的数据的速度，减少 cpu 使用率。当数据缓存到 hdfs cache 中时，impala 可以直接从缓存中读取数据而不需要读磁盘并且减少额外的内存拷贝。

Centralized
Cache Management in HDFS
impala 中使用 HDFS Caching，参考 sing
HDFS Caching with Impala (CDH 5 Only)

Impala 可以使用基于 Sentry 的授权策略，详细说明可以参考：Enabling
Sentry Authorization for Impala
Impala 支持其他 hadoop 组件创建的 Parquet 格式的文件，你可以在建表语句中指定 Parquet 格式，Impala 中创建 parquet 格式的表，请参考：Using
the Parquet File Format with Impala Tables
ORDER BY 查询不再要求一个 limit 语句，如果需要排序的结果集的大小超过了内存限制，则会使用临时的磁盘空间用于排序，ORDER BY 语法为：

ORDER
BY col1 [, col2 ...] [ASC | DESC] [NULLS FIRST | NULLS LAST]

，详细说明见：ORDER
BY Clause
LDAP 连接可以使用 SSL 或者 TLS 加密，详细说明参考：Enabling
LDAP Authentication for Impala
增加以下内建函数：

EXTRACT()

，用于从一个 TIMESTAMP 字段返回一个 date 或者
time 的字段，详细说明参考：Date
and Time Functions

TRUNC()

，用于将一个 date/time 类型的字段裁剪为一个特定格式的值，如年、月、日、小时等等，详细说明参考：Date
and Time Functions

ADD_MONTHS()

ROUND()

，对 DECIMAL 类型的值四舍五入，详细说明参考：Mathematical
Functions

STDDEV

,

STDDEV_SAMP

,

STDDEV_POP

Functions 和

VARIANCE

,

VARIANCE_SAMP

,

VARIANCE_POP

Functions

MAX_INT()

、

MIN_SMALLINT()

等，用于判断数组是否超过最大值和最小值。

IS_INF()

和

IS_NAN()

，用于判断是否为数值。

SHOW PARTITIONS

语句用于查看分区情况，详细说明参考：SHOW
Statement
添加 impalad 进程设置参数让你设置所有查询的初始化内存值，详细说明参考：Using
YARN Resource Management with Impala (CDH 5 Only)
CDH 5.1 中可以利用 Llama 高可用的特性，详细说明参考：Using
Impala with a Llama High Availability Configuration

CREATE TABLE

语句支持

STORED
AS AVRO

，详细说明参考：Using the
Avro File Format with Impala Tables
impala-shell 中添加

SUMMARY

命令用于查看摘要信息，详细说明参考：Using
the SUMMARY Report for Performance Tuning

COMPUTE STATS

语句性能改进：

NDV

函数通过生成本地代码加快速度
在 1.4.0 或者更高版本，不再统计 NULL 值，其值被看做为 -1，详细说明参考：How
Impala Uses Statistics for Query Optimization

分区性能改进。之前只能处理3000个分区，现在没有这个限制，详细说明参考：Partition
Pruning for Queries
impala-shell 支持 UTF-8 字符的输入和输出，可以通过参数

--strict_unicode

控制是否忽略不合法的
Unicode 字符。

1.3.1

该版本主要是 bug 修复，可以在 CDH 4 和 CDH 5 中使用。

在 impalad 启动参数中，添加

--insert_inherit_permissions

参数用于设置创建分区的用户。默认的，INSERT
会使用 HDFS 权限为新分区创建目录，详细说明参考：INSERT
Statement

SHOW

函数显示每个函数的返回类型，详细说明参考：SHOW
Statement

CREATE TABLE

语句可以使用

FIELDS
TERMINATED BY '\0'

语句，详细说明参考：Using
Text Data Files with Impala Tables
在 1.3.1 以及更高版本后，

REGEXP

和

RLIKE

的语义进行修正，和数据库中的语义进行兼容，详细说明参考：REGEXP
Operator。

regexp_extract()

和

regexp_replace()

可以不再使用。

1.3.0

Admission
Control and Query Queuing

EXPLAIN

以一种更容易读的格式显示更加详细的内容，详细说明参考：EXPLAIN
Statement 和 Understanding
Impala Query Performance - EXPLAIN Plans and Query Profiles

UNIX_TIMESTAMP

、

FROM_UNIXTIME

和

INTERVAL

增加条件函数：

NULLIF()

、

NULLIFZERO()

、

ZEROIFNULL()

，详细说明参考：Conditional
Functions
添加新的功能函数：

CURRENT_DATABASE()

，详细说明参考：Miscellaneous
Functions
和 yarn 集成，只在 CDH5 中可用，详细说明参考：Using
YARN Resource Management with Impala (CDH 5 Only)

1.2.4

该版本用于 CDH4，主要针对 1.2.3 做了一些 bug 修复。

增加

INVALIDATE METADATA table_name

语法刷新新建的一个表
添加 catalogd 启动参数：

--load_catalog_in_background

，是否后台运行

--num_metadata_loading_threads

，并行加载线程

1.2.3

Impala 1.2.3 works with CDH 4 and with CDH 5 beta 2. The resource management feature requires CDH 5 beta.

该版本主要是在 1.2.2 基础上修复 Parquet 兼容性，详细说明参考：Known
Issues and Workarounds in Impala

1.2.2

Impala 1.2.2 works with CDH 4. Its feature set is a superset of features in the Impala 1.2.0 beta, with the exception of resource management, which relies on CDH 5.

Join order optimizations

，详细说明参考：Performance
Considerations for Join Queries

COMPUTE STATS

STRAIGHT_JOIN

，详细说明参考：Overriding
Join Reordering with STRAIGHT_JOIN

CROSS JOIN

，详细说明参考：Cross
Joins and Cartesian Products with the CROSS JOIN Operator
LDAP 支持
添加

GROUP_CONCAT()

INSERT

语句可以添加

SHUFFLE

或者

NOSHUFFLE

，主要是用在插入数据到
Parquet 表的分区的时候。
添加

CAST()

用于类型转换
添加

fnv_hash()

用于计算 hash 值，详细说明参考：Mathematical
Functions
支持

STORED AS PARQUET

语句。

1.2.1

添加

SHOW TABLE STATS table_name

和

SHOW
COLUMN STATS table_name

语法
添加

CREATE TABLE AS SELECT

语法
支持

OFFSET

语句，用于分页查询

ORDER BY

语句中添加

NULLS
FIRST

和

NULLS LAST

语法支持
添加内置函数：

least()

,

greatest()

,

initcap()

添加

ndv()

函数来计算

COUNT(DISTINCT
col)

LIMIT

语句接受数值表达式作为参数

SHOW CREATE TABLE

添加两个参数：

--idle_query_timeout

和

--idle_session_timeout

，详细说明参考：Setting
Timeout Periods for Daemons, Queries, and Sessions
支持 UDFs，详细说明参考：CREATE
FUNCTION Statement 和 DROP
FUNCTION Statement
添加新的同步元数据的机制，详细参考：The
Impala Catalog Service
添加

CREATE TABLE ... AS SELECT

语法

CREATE TABLE

和

ALTER
TABLE

支持

TBLPROPERTIES

和

WITH
SERDEPROPERTIES

语句，详细说明参考：CREATE
TABLE Statement 和 ALTER TABLE Statement

EXPLAIN

SHOW CREATE TABLE

LIMIT

语句支持算术表达式

1.0

· 支持ALTER TABLE。

· 支持通过Hints指定join策略。支持的Hints：

o [broadcast]：broadcast
join策略（将小表放到所有节点上与大表进行分片join）

o [shuffle]： partitionedjoin策略（分片join）

· 支持刷新单个表的元数据。元数据的自动刷新仍然不支持。

· 动态资源管理，允许高并发的查询。

0.7

· 支持Parquet文件格式。Parquet是列存储的格式，对查询特别是面向列的查询性能提升有非常大的提升。

· 支持Avro。

· 支持内存限制。之前Impala进程对内存使用没有限制，会造成节点内存耗尽。

· 通过提供broadcast join提供更大和更快的join。

· 完全分布式的聚合（aggregations）计算。之前的计算需要所有数据拖到一个节点上进行聚合处理。

· 完全分布式的top计算。之前的计算需要所有数据拖到一个节点上进行top处理。

· 支持创建和修改表。

· 支持对floats和doubles的GROUP
BY。

0.6.

· 支持SUSE和Debian/Ubuntu，目前支持以下OS：

o RHEL5.7/6.2 and Centos5.7/6.2

o SUSE 11 with Service Pack 1 or later

o Ubuntu 10.04/12.04 and Debian 6.03

· 支持RCFile文件格式。

0.5

· 添加JDBC驱动，运行用户从java客户端访问Impala。