hive自定义函数udf,hiveserver2的使用
2018-02-09 00:00
1471 查看
先在idea中编写自定义函数,继承udf类,实现execut,打包程序。
在hive的shell中,添加jar包---add jar /opt/hive/xxx.jar
注册函数:create temporary function xxx as “com.bigdata.hive.udf.xxxUDF” ;
使用show functions;可以查看所有的函数。
hive最新可以直接使用指令创建自定义函数:
create function xxx as “com.bigdata.hive.udf.xxxUDF” using jar ‘hdfs:///warehouse/user/hive/xxx.jar’
jar包需要放在hdfs上。
使用beeline模式:
在hiveServer2开启的情况下,进入bin目录,开启beeline---./beeline;
链接数据库:
hostname填写hiveserver2的地址
用户名默认为hive,密码为空。
压缩格式(保存为orc格式,同时用snappy压缩):
stored as orc tblproperties("orc.compress"="SNAPPY")
hive的transform的使用:
针对直接在hive的shell操作的,也可以不用写UDF,可以通过transform算子实现运行脚本来进行函数运算。
1.编写Python脚本:
2.进入hive的shell后,添加脚本文件:
add file /root/hive/lower.py
3.调用transform算子做预算出来:
select transform(ykd018) using 'python lower.py'
在hive的shell中,添加jar包---add jar /opt/hive/xxx.jar
注册函数:create temporary function xxx as “com.bigdata.hive.udf.xxxUDF” ;
使用show functions;可以查看所有的函数。
hive最新可以直接使用指令创建自定义函数:
create function xxx as “com.bigdata.hive.udf.xxxUDF” using jar ‘hdfs:///warehouse/user/hive/xxx.jar’
jar包需要放在hdfs上。
使用beeline模式:
在hiveServer2开启的情况下,进入bin目录,开启beeline---./beeline;
链接数据库:
!connect jdbc:hive2://name2:10000 hive
hostname填写hiveserver2的地址
用户名默认为hive,密码为空。
压缩格式(保存为orc格式,同时用snappy压缩):
stored as orc tblproperties("orc.compress"="SNAPPY")
hive的transform的使用:
针对直接在hive的shell操作的,也可以不用写UDF,可以通过transform算子实现运行脚本来进行函数运算。
1.编写Python脚本:
import sys import datetime for line in sys.stdin: value=line.split('\001') for word in value: print (word.upper())//将字段都转为小写
2.进入hive的shell后,添加脚本文件:
add file /root/hive/lower.py
3.调用transform算子做预算出来:
select transform(ykd018) using 'python lower.py'
相关文章推荐
- Hive udf函数的使用
- hive下UDF函数的使用
- hive中使用自定义函数(UDF)实现分析函数row_number的功能
- hive下UDF函数的使用
- Hive扩展功能(三)--使用UDF函数将Hive中的数据插入MySQL中
- HIVE UDF函数使用
- hive中使用自定义函数(UDF)实现分析函数row_number的功能
- hive 使用udf函数实现数据导入到mysql
- HiveServer2 的jdbc方式创建udf的修改(add jar 最好不要使用),否则会造成异常: java.sql.SQLException: Error while processing statement: null
- 内置函数 & UDF函数在Hive中的使用
- 利用eclipse编写自定义hive udf函数
- 使用Hive UDF和GeoIP库为Hive加入IP识别功能
- hive中添加自定义udf udaf udtf等函数的jar文件的三种方法
- hive中UDF和UDAF使用说明
- hive中UDF和UDAF使用说明
- hive中UDF、UDAF和UDTF使用
- hive中的udf时间函数用法
- hive UDF实现一个字符串解码函数
- hive中UDF和UDAF使用说明
- Hive中UDF和UDAF详细介绍和使用