impala基本用法和jdbc连接
2017-12-08 22:21
411 查看
--=======================
使用impala-shell 登录
--=======================
impala-shell --auth_creds_ok_in_clear -l -i ip_address -u user_name
--=======================
impala JDBC 查询GUI工具
--=======================
SQL workbench/J: 推荐, 可以通过impala jdbc 连接 impala
dbeaver: 可以通过impala jdbc 连接 impala
DBVisualizer: Dbvis 9暂时还不能使用impala jdbc连接, 但可以通过hive jdbc连接.
jdbc url 的写法:
需要密码的jdbc url写法(test为默认数据库)
jdbc:impala://ip_address:21050/test;AuthMech=3;SSL=0
免密码的jdbc url写法(test为默认数据库)
jdbc:impala://ip_address:21050/test;AuthMech=0;SSL=0
在配置过程中碰到了好几个错误, [Simba][ImpalaJDBCDriver](500151) Error setting/closing session: {0}. 需要注意的是端口 和 jdbc 参数 AuthMech 和 SSL.
也可以这些查询工具或Kettle上为jdbc connectionjdbc设置下面经常使用的参数:
set request_pool=etl; -- 设置使用 etl 资源池
set mem_limit=-1; -- 取消内存限制
set mem_limit=10G; -- 设置工具级别的内存10G(单节点上的内存量)
--=======================
impala 常用命令
--=======================
show databases; --查看所有schema;
show tables; --查看默认schema下的表
show tables in schema_name; --查看指定schema下的表
show tables in schema_name like 'dim'; --在指定schema 下查看dim表;
use schema_name; --进入指定的schema_name
desc table_name; --查看指定表的表字段;
create database some_schema; --创建一个schema
show create table some_schema.some_table; --显示建表语句
SHOW TABLE STATS table_name ; -- 显示一个表的统计信息
COMPUTE STATS table_name; --对表收集统计信息
SHOW PARTITIONS [database_name.]table_name ; -- 显示partition
show files in table_name ; -- 显示指定表后台的数据文件
SHOW ROLES ; -- 显示impala中的角色
SHOW CURRENT ROLES ; -- 显示当前用户的角色
impala session 级别设置:
set request_pool=etl; -- 设置使用 etl 资源池
set mem_limit=-1; -- 取消内存限制
set mem_limit=10G; -- 设置内存10G(单节点上的内存量), impala 经常会over estimate SQL语句需要的资源, 所以强烈建议在执行SQL之前, 使用 set mem_limit 限制SQL的内存消耗, 一个查询可以使用的最大内存为MEM_LIMIT * 节点数
--=======================
impala 默认的连接端口:
--=======================
port:21000, for impala-shell and ODBC driver 1.2.
port:21050, for JDBC and for ODBC driver 2.
其他服务端口见 https://www.cloudera.com/documentation/enterprise/5-7-x/topics/impala_ports.html
--=======================
jdbc连接常见错误
--=======================
更多内容参考 jdbc 安装包中的说明文档: Cloudera-JDBC-Driver-for-Impala-Install-Guide.pdf
java 程序的连接字符串示例 jdbc:impala://node1.example.com:21050/default2;AuthMech=3;UID=cloudera;PWD=cloudera
https://stackoverflow.com/questions/38775150/impala-jdbc-connection-error-setting-closing-session-open-session-error
AuthMech 参数
Set the value to one of the following numbers:
0 for No Authentication
1 for Kerberos
2 for User Name
3 for User Name and Password
SSL 参数
0, not connect to SSL-enabled sockets.
1, through an SSL-enabled socket.
使用impala-shell 登录
--=======================
impala-shell --auth_creds_ok_in_clear -l -i ip_address -u user_name
--=======================
impala JDBC 查询GUI工具
--=======================
SQL workbench/J: 推荐, 可以通过impala jdbc 连接 impala
dbeaver: 可以通过impala jdbc 连接 impala
DBVisualizer: Dbvis 9暂时还不能使用impala jdbc连接, 但可以通过hive jdbc连接.
jdbc url 的写法:
需要密码的jdbc url写法(test为默认数据库)
jdbc:impala://ip_address:21050/test;AuthMech=3;SSL=0
免密码的jdbc url写法(test为默认数据库)
jdbc:impala://ip_address:21050/test;AuthMech=0;SSL=0
在配置过程中碰到了好几个错误, [Simba][ImpalaJDBCDriver](500151) Error setting/closing session: {0}. 需要注意的是端口 和 jdbc 参数 AuthMech 和 SSL.
也可以这些查询工具或Kettle上为jdbc connectionjdbc设置下面经常使用的参数:
set request_pool=etl; -- 设置使用 etl 资源池
set mem_limit=-1; -- 取消内存限制
set mem_limit=10G; -- 设置工具级别的内存10G(单节点上的内存量)
--=======================
impala 常用命令
--=======================
show databases; --查看所有schema;
show tables; --查看默认schema下的表
show tables in schema_name; --查看指定schema下的表
show tables in schema_name like 'dim'; --在指定schema 下查看dim表;
use schema_name; --进入指定的schema_name
desc table_name; --查看指定表的表字段;
create database some_schema; --创建一个schema
show create table some_schema.some_table; --显示建表语句
SHOW TABLE STATS table_name ; -- 显示一个表的统计信息
COMPUTE STATS table_name; --对表收集统计信息
SHOW PARTITIONS [database_name.]table_name ; -- 显示partition
show files in table_name ; -- 显示指定表后台的数据文件
SHOW ROLES ; -- 显示impala中的角色
SHOW CURRENT ROLES ; -- 显示当前用户的角色
impala session 级别设置:
set request_pool=etl; -- 设置使用 etl 资源池
set mem_limit=-1; -- 取消内存限制
set mem_limit=10G; -- 设置内存10G(单节点上的内存量), impala 经常会over estimate SQL语句需要的资源, 所以强烈建议在执行SQL之前, 使用 set mem_limit 限制SQL的内存消耗, 一个查询可以使用的最大内存为MEM_LIMIT * 节点数
--=======================
impala 默认的连接端口:
--=======================
port:21000, for impala-shell and ODBC driver 1.2.
port:21050, for JDBC and for ODBC driver 2.
其他服务端口见 https://www.cloudera.com/documentation/enterprise/5-7-x/topics/impala_ports.html
--=======================
jdbc连接常见错误
--=======================
更多内容参考 jdbc 安装包中的说明文档: Cloudera-JDBC-Driver-for-Impala-Install-Guide.pdf
java 程序的连接字符串示例 jdbc:impala://node1.example.com:21050/default2;AuthMech=3;UID=cloudera;PWD=cloudera
https://stackoverflow.com/questions/38775150/impala-jdbc-connection-error-setting-closing-session-open-session-error
AuthMech 参数
Set the value to one of the following numbers:
0 for No Authentication
1 for Kerberos
2 for User Name
3 for User Name and Password
SSL 参数
0, not connect to SSL-enabled sockets.
1, through an SSL-enabled socket.
相关文章推荐
- 2:jdbc 连接步骤及基本用法
- 5 -- Hibernate的基本用法 --4 3 JDBC连接属性
- java通过jdbc连接impala
- Adb大全|基本用法|设备连接管理
- JDBC连接Oracle数据库,以及基本的插入查询操作
- JDBC:基本用法
- JDBC连接常用数据库 基本的CURD
- 学习笔记_JDBC_1_Demo1_连接数据库的基本操作和步骤
- JDBC 连接数据库的 基本操作 增 ,查
- Java连接Mysql的基本用法
- java之路——jdbc(一)基本的jdbc连接
- jdbc连接数据库的基本操作
- JDBC的连接及基本操作
- JDBC中的四个最基本对象功能及其用法
- 学习笔记_JDBC_1_Demo1_连接数据库的基本操作和步骤
- JDBC 数据库连接 创建表格、插入、查询、删除、修改数据 基本操作
- Jdbc连接数据库基本步骤
- JDBCTools 工具类(c3p0连接池获取连接,关闭连接,基本事务)
- php连接mysql 基本用法
- java jdbc 与mysql连接的基本步骤