HIVE---HIve的JavaAPI操作
2015-08-18 23:03
597 查看
基于hadoop的Hive数据仓库JavaAPI简单调用的实例,关于Hive的简介在此不赘述。hive提供了三种用户接口:CLI,JDBC/ODBC和 WebUI
CLI,即Shell命令行
JDBC/ODBC 是 Hive 的Java,与使用传统数据库JDBC的方式类似
WebGUI是通过浏览器访问 Hive
本文主要介绍的就是第二种用户接口,直接进入正题。
1、Hive 安装:
1)hive的安装请参考网上的相关文章,测试时只在hadoop一个节点上安装hive即可。
2)测试数据data文件’\t’分隔:
1 zhangsan
2 lisi
3 wangwu
3)将测试数据data上传到linux目录下,我放置在:/home/hadoop01/data
2、在使用 JDBC 开发 Hive 程序时, 必须首先开启 Hive 的远程服务接口。使用下面命令进行开启:
Java代码 收藏代码
hive –service hiveserver >/dev/null 2>/dev/null &
3、测试代码:
Java代码 收藏代码
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;
import org.apache.log4j.Logger;
/**
* Hive的JavaApi
*
* 启动hive的远程服务接口命令行执行:hive –service hiveserver >/dev/null 2>/dev/null &
*
* @author 吖大哥
*
*/
public class HiveJdbcCli {
}
4、测试结果
5、终端查询结果:
hive> select * from testHive;
OK
1 zhangsan
2 lisi
3 wangwu
Time taken: 11.232 seconds
hive>
CLI,即Shell命令行
JDBC/ODBC 是 Hive 的Java,与使用传统数据库JDBC的方式类似
WebGUI是通过浏览器访问 Hive
本文主要介绍的就是第二种用户接口,直接进入正题。
1、Hive 安装:
1)hive的安装请参考网上的相关文章,测试时只在hadoop一个节点上安装hive即可。
2)测试数据data文件’\t’分隔:
1 zhangsan
2 lisi
3 wangwu
3)将测试数据data上传到linux目录下,我放置在:/home/hadoop01/data
2、在使用 JDBC 开发 Hive 程序时, 必须首先开启 Hive 的远程服务接口。使用下面命令进行开启:
Java代码 收藏代码
hive –service hiveserver >/dev/null 2>/dev/null &
3、测试代码:
Java代码 收藏代码
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;
import org.apache.log4j.Logger;
/**
* Hive的JavaApi
*
* 启动hive的远程服务接口命令行执行:hive –service hiveserver >/dev/null 2>/dev/null &
*
* @author 吖大哥
*
*/
public class HiveJdbcCli {
private static String driverName = "org.apache.hadoop.hive.jdbc.HiveDriver"; private static String url = "jdbc:hive://hadoop3:10000/default"; private static String user = "hive"; private static String password = "mysql"; private static String sql = ""; private static ResultSet res; private static final Logger log = Logger.getLogger(HiveJdbcCli.class); public static void main(String[] args) { Connection conn = null; Statement stmt = null; try { conn = getConn(); stmt = conn.createStatement(); // 第一步:存在就先删除 String tableName = dropTable(stmt); // 第二步:不存在就创建 createTable(stmt, tableName); // 第三步:查看创建的表 showTables(stmt, tableName); // 执行describe table操作 describeTables(stmt, tableName); // 执行load data into table操作 loadData(stmt, tableName); // 执行 select * query 操作 selectData(stmt, tableName); // 执行 regular hive query 统计操作 countData(stmt, tableName); } catch (ClassNotFoundException e) { e.printStackTrace(); log.error(driverName + " not found!", e); System.exit(1); } catch (SQLException e) { e.printStackTrace(); log.error("Connection error!", e); System.exit(1); } finally { try { if (conn != null) { conn.close(); conn = null; } if (stmt != null) { stmt.close(); stmt = null; } } catch (SQLException e) { e.printStackTrace(); } } } private static void countData(Statement stmt, String tableName) throws SQLException { sql = "select count(1) from " + tableName; System.out.println("Running:" + sql); res = stmt.executeQuery(sql); System.out.println("执行“regular hive query”运行结果:"); while (res.next()) { System.out.println("count ------>" + res.getString(1)); } } private static void selectData(Statement stmt, String tableName) throws SQLException { sql = "select * from " + tableName; System.out.println("Running:" + sql); res = stmt.executeQuery(sql); System.out.println("执行 select * query 运行结果:"); while (res.next()) { System.out.println(res.getInt(1) + "\t" + res.getString(2)); } } private static void loadData(Statement stmt, String tableName) throws SQLException { String filepath = "/home/hadoop01/data"; sql = "load data local inpath '" + filepath + "' into table " + tableName; System.out.println("Running:" + sql); res = stmt.executeQuery(sql); } private static void describeTables(Statement stmt, String tableName) throws SQLException { sql = "describe " + tableName; System.out.println("Running:" + sql); res = stmt.executeQuery(sql); System.out.println("执行 describe table 运行结果:"); while (res.next()) { System.out.println(res.getString(1) + "\t" + res.getString(2)); } } private static void showTables(Statement stmt, String tableName) throws SQLException { sql = "show tables '" + tableName + "'"; System.out.println("Running:" + sql); res = stmt.executeQuery(sql); System.out.println("执行 show tables 运行结果:"); if (res.next()) { System.out.println(res.getString(1)); } } private static void createTable(Statement stmt, String tableName) throws SQLException { sql = "create table " + tableName + " (key int, value string) row format delimited fields terminated by '\t'"; stmt.executeQuery(sql); } private static String dropTable(Statement stmt) throws SQLException { // 创建的表名 String tableName = "testHive"; sql = "drop table " + tableName; stmt.executeQuery(sql); return tableName; } private static Connection getConn() throws ClassNotFoundException, SQLException { Class.forName(driverName); Connection conn = DriverManager.getConnection(url, user, password); return conn; }
}
4、测试结果
5、终端查询结果:
hive> select * from testHive;
OK
1 zhangsan
2 lisi
3 wangwu
Time taken: 11.232 seconds
hive>
相关文章推荐
- Java---IndexOf、LastIndexOf、Substring
- Java多线程(三)锁对象和线程池
- java 子类重写父类的方法应注意的问题
- JAVA为什么子类继承父类方法之后,不能抛出比父类更多的异常?
- java泛型(三)、通配符的使用
- Java 如何直接获得字符串形式计算的结果
- java泛型(二)、泛型的内部原理:类型擦除以及类型擦除带来的问题
- 三大框架之hibernate教程入门1
- Java心得16
- hdu 2085 java 核反应堆
- Java 实现m个数全排列组合以及从M中选取N个数(有序)
- 简单解析三种JAVA调用方式-同步,异步,回调
- Map集合知识点
- Java接口回调
- Java 高效并发编程初探
- 集合的知识点
- JAVA_SE基础——23.类的定义
- 描述一下你最常用的编程风格---JAVA
- 水仙花数
- 接口与内部类的总结概要