【Impala篇】---Hue从初始到安装应用
2018-01-30 21:07
204 查看
一、前述
Cloudera公司推出,提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能。基于Hive使用内存计算,兼顾数据仓库、具有实时、批处理、多并发等优点 是CDH平台首选的PB级大数据实时查询分析引擎.一般公司选择使用CDH部署集群,可以考虑下Impala。
二、具体原理
优点:
1、基于内存进行计算,能够对PB级数据进行交互式实时查询、分析
2、无需转换为MR,直接读取HDFS数据
3、C++编写,LLVM统一编译运行
4、兼容HiveSQL
5、具有数据仓库的特性,可对hive数据直接做数据分析
6、支持Data Local
7、支持列式存储
8、支持JDBC/ODBC远程访问
缺点:
1、对内存依赖大
2、C++编写 开源?!
3、完全依赖于hive
4、实践过程中 分区超过1w 性能严重下降
5、稳定性不如hive
6. 此外,Impala不支持HiveQL以下特性:
可扩展机制,例如:TRANSFORM、自定义文件格式、自定义SerDes
XML、JSON函数
某些聚合函数:
covar_pop, covar_samp, corr, percentile, percentile_approx, histogram_numeric, collect_set
Impala仅支持:AVG,COUNT,MAX,MIN,SUM
多Distinct查询
UDF、UDAF
以下语句:
ANALYZE TABLE (Impala:COMPUTE STATS)、DESCRIBE COLUMN、DESCRIBE DATABASE、EXPORT TABLE、IMPORT TABLE、SHOW TABLE EXTENDED、SHOW INDEXES、SHOW COLUMNS、
架构:
解释:
真正计算进程:
整条sql的分发。中心功能。将任务分发给对应的executor计算。汇总结果返回给客户端:
解析器,解析执行计划:
executor 关联子查询,没有子查询就没有关联了:
Statestore Daemon(负责健康集群)
实例*1 - statestored
负责收集分布在集群中各个impalad进程的资源信息、各节点健康状况,同步节点信息.
负责query的调度
Catalog Daemon(分发元数据信息)
实例*1 - catalogd
分发表的元数据信息到各个impalad中
接收来自statestore的所有请求
Impala Daemon(真正处理节点)
实例*N – impalad
接收client、hue、jdbc或者odbc请求、Query执行并返回给中心协调节点
子节点上的守护进程,负责向statestore保持通信,汇报工作
Impala Shell(控制台外部执行时命令)
-h(--help)帮助
-v(--version)查询版本信息
-V(--verbose)启用详细输出
--quiet 关闭详细输出
-p 显示执行计划
-i hostname(--impalad=hostname) 指定连接主机
格式hostname:port 默认端口21000
-r(--refresh_after_connect)刷新所有元数据
-q query(--query=query)从命令行执行查询,不进入impala-shell
-d default_db(--database=default_db)指定数据库
-B(--delimited)去格式化输出
--output_delimiter=character 指定分隔符
--print_header 打印列名
-f query_file(--query_file=query_file)执行查询文件,以分号分隔
-o filename(--output_file filename)结果输出到指定文件
-c 查询执行失败时继续执行(一般项目升级的时候,二期可以执行一期的业务看下具体哪些业务语句失败了)
-k(--kerberos) 使用kerberos安全加密方式运行impala-shell
-l 启用LDAP认证
-u 启用LDAP时,指定用户名
Impala Shell(控制台内部执行时命令)
help
connect <hostname:port> 连接主机,默认端口21000
refresh <tablename> 增量刷新元数据库
invalidate metadata 全量刷新元数据库
explain <sql> 显示查询执行计划、步骤信息(不执行sql)
set explain_level 设置显示级别(0,1,2,3)
shell <shell> 不退出impala-shell执行Linux命令
profile (查询完成后执行) 查询最近一次查询的底层信息
实例:
去格式化:
[b][b]
[/b][/b]
指定规则。
可以用于以后的结果的使用!!!!
备注:
1.在hive中创建表不会同步到impala
2.StateStore 健康检查和Daemon 计算节点一般不会再一个节点上.
3.StateStore 健康检查和元数据同步catalog在一个节点上。
4.Hive中创建的表 impala中执行全量更新,其他条件下最好不用。
Impala HBase整合(实际上hive与hbase整合即可,共用同一套元数据)
Impala可以通过Hive外部表方式和HBase进行整合,步骤如下:
步骤1:创建hbase 表,向表中添加数据
create 'test_info', 'info'
put 'test_info','1','info:name','zhangsan'
put 'test_info','2','info:name','lisi'
步骤2:创建hive表
CREATE EXTERNAL TABLE test_info(key string,name string )
ROW FORMAT SERDE 'org.apache.hadoop.hive.hbase.HBaseSerDe'
STORED by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping"=":key,info:name")
TBLPROPERTIES
("hbase.table.name" = "test_info");
步骤3:刷新Impala表
invalidate metadata
Impala 存储&&分区
Impala 存储&&分区
Impala 性能优化
1.执行计划
查询sql执行之前,先对该sql做一个分析,列出需要完成这一项查询的详细方案
命令:explain sql、profile。
2.要点:
[b]1、SQL优化,使用之前调用执行计划
2、选择合适的文件格式进行存储
3、避免产生很多小文件(如果有其他程序产生的小文件,可以使用中间表)
4、使用合适的分区技术,根据分区粒度测算
5、使用compute stats进行表信息搜集
6、网络io的优化:
a.避免把整个数据发送到客户端
b.尽可能的做条件过滤
c.使用limit字句
d.输出文件时,避免使用美化输出
7、使用profile输出底层信息计划,在做相应环境优化
[/b]
备注:
中间表 可以解决insert语句造成的小表问题 。建立一个同样的表结构的表,insert select查出来相当于放入一个表里面,即小文件规模减小。
可以解决 格式不支持问题。利用中间表转一下,将结果放到中间表,写入本来的表。
Cloudera公司推出,提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能。基于Hive使用内存计算,兼顾数据仓库、具有实时、批处理、多并发等优点 是CDH平台首选的PB级大数据实时查询分析引擎.一般公司选择使用CDH部署集群,可以考虑下Impala。
二、具体原理
优点:
1、基于内存进行计算,能够对PB级数据进行交互式实时查询、分析
2、无需转换为MR,直接读取HDFS数据
3、C++编写,LLVM统一编译运行
4、兼容HiveSQL
5、具有数据仓库的特性,可对hive数据直接做数据分析
6、支持Data Local
7、支持列式存储
8、支持JDBC/ODBC远程访问
缺点:
1、对内存依赖大
2、C++编写 开源?!
3、完全依赖于hive
4、实践过程中 分区超过1w 性能严重下降
5、稳定性不如hive
6. 此外,Impala不支持HiveQL以下特性:
可扩展机制,例如:TRANSFORM、自定义文件格式、自定义SerDes
XML、JSON函数
某些聚合函数:
covar_pop, covar_samp, corr, percentile, percentile_approx, histogram_numeric, collect_set
Impala仅支持:AVG,COUNT,MAX,MIN,SUM
多Distinct查询
UDF、UDAF
以下语句:
ANALYZE TABLE (Impala:COMPUTE STATS)、DESCRIBE COLUMN、DESCRIBE DATABASE、EXPORT TABLE、IMPORT TABLE、SHOW TABLE EXTENDED、SHOW INDEXES、SHOW COLUMNS、
架构:
解释:
真正计算进程:
整条sql的分发。中心功能。将任务分发给对应的executor计算。汇总结果返回给客户端:
解析器,解析执行计划:
executor 关联子查询,没有子查询就没有关联了:
Statestore Daemon(负责健康集群)
实例*1 - statestored
负责收集分布在集群中各个impalad进程的资源信息、各节点健康状况,同步节点信息.
负责query的调度
Catalog Daemon(分发元数据信息)
实例*1 - catalogd
分发表的元数据信息到各个impalad中
接收来自statestore的所有请求
Impala Daemon(真正处理节点)
实例*N – impalad
接收client、hue、jdbc或者odbc请求、Query执行并返回给中心协调节点
子节点上的守护进程,负责向statestore保持通信,汇报工作
Impala Shell(控制台外部执行时命令)
-h(--help)帮助
-v(--version)查询版本信息
-V(--verbose)启用详细输出
--quiet 关闭详细输出
-p 显示执行计划
-i hostname(--impalad=hostname) 指定连接主机
格式hostname:port 默认端口21000
-r(--refresh_after_connect)刷新所有元数据
-q query(--query=query)从命令行执行查询,不进入impala-shell
-d default_db(--database=default_db)指定数据库
-B(--delimited)去格式化输出
--output_delimiter=character 指定分隔符
--print_header 打印列名
-f query_file(--query_file=query_file)执行查询文件,以分号分隔
-o filename(--output_file filename)结果输出到指定文件
-c 查询执行失败时继续执行(一般项目升级的时候,二期可以执行一期的业务看下具体哪些业务语句失败了)
-k(--kerberos) 使用kerberos安全加密方式运行impala-shell
-l 启用LDAP认证
-u 启用LDAP时,指定用户名
Impala Shell(控制台内部执行时命令)
help
connect <hostname:port> 连接主机,默认端口21000
refresh <tablename> 增量刷新元数据库
invalidate metadata 全量刷新元数据库
explain <sql> 显示查询执行计划、步骤信息(不执行sql)
set explain_level 设置显示级别(0,1,2,3)
shell <shell> 不退出impala-shell执行Linux命令
profile (查询完成后执行) 查询最近一次查询的底层信息
实例:
去格式化:
[b][b]
[/b][/b]
指定规则。
可以用于以后的结果的使用!!!!
备注:
1.在hive中创建表不会同步到impala
2.StateStore 健康检查和Daemon 计算节点一般不会再一个节点上.
3.StateStore 健康检查和元数据同步catalog在一个节点上。
4.Hive中创建的表 impala中执行全量更新,其他条件下最好不用。
Impala HBase整合(实际上hive与hbase整合即可,共用同一套元数据)
Impala可以通过Hive外部表方式和HBase进行整合,步骤如下:
步骤1:创建hbase 表,向表中添加数据
create 'test_info', 'info'
put 'test_info','1','info:name','zhangsan'
put 'test_info','2','info:name','lisi'
步骤2:创建hive表
CREATE EXTERNAL TABLE test_info(key string,name string )
ROW FORMAT SERDE 'org.apache.hadoop.hive.hbase.HBaseSerDe'
STORED by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping"=":key,info:name")
TBLPROPERTIES
("hbase.table.name" = "test_info");
步骤3:刷新Impala表
invalidate metadata
Impala 存储&&分区
Impala 存储&&分区
Impala 性能优化
1.执行计划
查询sql执行之前,先对该sql做一个分析,列出需要完成这一项查询的详细方案
命令:explain sql、profile。
2.要点:
[b]1、SQL优化,使用之前调用执行计划
2、选择合适的文件格式进行存储
3、避免产生很多小文件(如果有其他程序产生的小文件,可以使用中间表)
4、使用合适的分区技术,根据分区粒度测算
5、使用compute stats进行表信息搜集
6、网络io的优化:
a.避免把整个数据发送到客户端
b.尽可能的做条件过滤
c.使用limit字句
d.输出文件时,避免使用美化输出
7、使用profile输出底层信息计划,在做相应环境优化
[/b]
备注:
中间表 可以解决insert语句造成的小表问题 。建立一个同样的表结构的表,insert select查出来相当于放入一个表里面,即小文件规模减小。
可以解决 格式不支持问题。利用中间表转一下,将结果放到中间表,写入本来的表。
相关文章推荐
- silverlight 初始页面进行安装主应用(初始安装xap,本地加载xap),实现silverlight程序成桌面应用程序。
- BT宝塔Linux服务器管理助手架设VPS面板(安装及初始设置应用)
- LAMP应用架构部署指南II--Linux安装及初始环境设置
- android检测手机是否有某个应用以及启动安装另一个应用的问题
- Android技术点笔记--(安装应用和卸载应用广播)
- Android中使用GridView分页显示系统所安装的应用,支持拖动与手势滑动
- APK安装成功后点击"打开",按Home键,在桌面点击图标后应用重启
- ActiveMQ应用(1)-安装及示例
- 如何为BB10 Cascades环境安装应用签名。
- postGIS在windows下的安装与应用(转载)
- 获取手机中已安装apk文件信息(PackageInfo、ResolveInfo)(应用...
- 堡垒机应用发布软件安装手册
- HUE 3.7.0 安装与配置
- Windows Server应用之32位系统如何安装64位打印机驱动
- Win10应用商店查找下载安装应用教程
- Android7.0应用内更新跳转安装界面出现解析包出错
- 以无线方式安装企业内部应用
- cygwin下安装应用 cyg-apt Package nano not found or ambiguous name, exiting 更新不成功
- Win8系统应用商店安装软件提示错误代码0x80070585的故障原因及解决方法
- Hadoop入门进阶课程9--Mahout介绍、安装与应用案例