Hive:使用beeline连接和在eclispe中连接
2017-07-17 16:23
996 查看
在mysql5.7.18安装、Hive2.1.1安装和配置(基于Hadoop2.7.3集群)中,已经讲到了mysql和hive的安装和配置。本篇博客第一部分讲的是使用beeline连接hive的方法,第二部分讲的是在eclipse中远程连接hive。
2、启动mysql服务
注意:建议使用hive.log来观察是否有错误之类的,hive.log默认存储在/tmp/${user.name}/下。我本人在操作这一步的时候等了一大会仍然没有停止,也没有强制关闭此进程(强制关闭可能会带来问题:Hive启动提示端口10000被占用:SelectChannelConnector@0.0.0.0:10000: java.net.BindException),所以我直接又开了一个命令行窗口,在另一个窗口进行的以下操作。
Step2: 输入
Step3: 连接成功之后,便可以进行数据库的查询等操作了,查询结果应该和直接用hive进入的命令行的执行结果相同。
如下图:
Step2: 导入jar包
Build Path->Configure Build Path->Libraries,将下列jar包添加到项目中:
$HIVE_INSTALL/lib下的全部jar包和
/hadoop-2.5.1/share/hadoop/common下所有jar包,及里面的lib目录下所有jar包
/hadoop-2.5.1/share/hadoop/hdfs下所有jar包,不包括里面lib下的jar包
/hadoop-2.5.1/share/hadoop/mapreduce下所有jar包,不包括里面lib下的jar包
/hadoop-2.5.1/share/hadoop/yarn下所有jar包,不包括里面lib下的jar包
Step3: 代码如下:
Step4: 右击代码 –> Run As –> Run on Hadoop,运行结果如下:
注:HWI的使用详见:http://www.cnblogs.com/xinlingyoulan/p/6025692.html
参考文章:http://blog.csdn.net/hyj_13/article/details/51027604
准备工作
1、启动hadoop服务2、启动mysql服务
使用beeline连接
1、启动hiveserver2服务
在根目录下, 使用下面的命令启动hiveserver2服务:hive --service hiveserver2
注意:建议使用hive.log来观察是否有错误之类的,hive.log默认存储在/tmp/${user.name}/下。我本人在操作这一步的时候等了一大会仍然没有停止,也没有强制关闭此进程(强制关闭可能会带来问题:Hive启动提示端口10000被占用:SelectChannelConnector@0.0.0.0:10000: java.net.BindException),所以我直接又开了一个命令行窗口,在另一个窗口进行的以下操作。
2、beeline操作
Step1: 在根目录下输入beeline命令,会出现beeline的版本信息
Step2: 输入
!connect jdbc:hive2://localhost:10000,会提示你输入用户名和密码。因为在hive-site.xml文件中默认不认证,我们也没有更改,所以这里用户名和密码直接回车即可。
Step3: 连接成功之后,便可以进行数据库的查询等操作了,查询结果应该和直接用hive进入的命令行的执行结果相同。
如下图:
在eclispe中连接
1、启动hiveserver2服务
使用命令开启hiveserver2服务:hive --service hiveserver2
2、Eclispe中连接hadoop
详见:Eclipse中使用Hadoop集群模式开发配置及简单程序示例(Windows下),主要是HDFS的连接。3、简单代码示例
Step1: 新建一个Java Project,在新建一个class文件Step2: 导入jar包
Build Path->Configure Build Path->Libraries,将下列jar包添加到项目中:
$HIVE_INSTALL/lib下的全部jar包和
/hadoop-2.5.1/share/hadoop/common下所有jar包,及里面的lib目录下所有jar包
/hadoop-2.5.1/share/hadoop/hdfs下所有jar包,不包括里面lib下的jar包
/hadoop-2.5.1/share/hadoop/mapreduce下所有jar包,不包括里面lib下的jar包
/hadoop-2.5.1/share/hadoop/yarn下所有jar包,不包括里面lib下的jar包
Step3: 代码如下:
import java.sql.Connection; import java.sql.DriverManager; import java.sql.ResultSet; import java.sql.SQLException; import java.sql.Statement; public class hiveTest { //连接函数 public static Connection getConnection(){ Connection connection = null; try { Class.forName("org.apache.hive.jdbc.HiveDriver"); connection = DriverManager.getConnection("jdbc:hive2://192.168.163.131:10000", "", ""); } catch (Exception e) { // TODO Auto-generated catch block e.printStackTrace(); } return connection; } public static void main(String[] args) throws Exception { Connection con = getConnection(); Statement stmt = con.createStatement(); String querySQL = "SELECT * FROM default.student"; ResultSet res = stmt.executeQuery(querySQL); //输出查询结果 while (res.next()) { System.out.println(res.getString(1)+" " + res.getString(2)); } } }
Step4: 右击代码 –> Run As –> Run on Hadoop,运行结果如下:
注:HWI的使用详见:http://www.cnblogs.com/xinlingyoulan/p/6025692.html
参考文章:http://blog.csdn.net/hyj_13/article/details/51027604
相关文章推荐
- 启动./hiveserver2查看10000端口 使用beeline连接服务
- 由“Beeline连接HiveServer2后如何使用指定的队列(Yarn)运行Hive SQL语句”引发的一系列思考
- Hive用户接口(二)—使用Hive JDBC驱动连接Hive操作实例
- 数据仓库(十)---分布式SQL查询引擎---presto安装部署和连接hive使用
- Hive的安装配置和使用Java连接
- hive安装——mysql作为元数据,使用beeline
- HIVE beeline使用shell 批量执行sql语句
- 如何使用kettle连接hive和hive2
- 大数据技术学习笔记之hive框架基础2-hive中常用DML和UDF和连接接口使用
- 使用java连接hive,并执行hive语句详解
- linux服务器上cloudera:cdh5.8使用python连接hiveServer2
- 使用java连接hive过程中遇到的问题
- 解决java使用jdbc连接hive2出现Required field 'client_protocol' is unset! Struct:TOpenSessionReq
- hiveserver2以及beeline客户端的使用
- 基于CDH5.x 下面使用eclipse 操作hive 。使用java通过jdbc连接HIVESERVICE 创建表
- hive2中使用beeline:Required field 'serverProtocolVersion' is unset!
- 使用Hive Rest API 连接HDInsight
- Hive用户接口(二)—使用Hive JDBC驱动连接Hive操作实例
- 在java应用中使用JDBC连接Spark SQL(HiveServer2)