hive笔记-通过修改源码注册永久UDF

准备：先下载对应版本的源码，并源码编译一次。

1、找出对应的java文件，并对其修改

[root@hadoop001 hive-1.1.0-cdh5.7.0]# find . -name FunctionRegistry.java
./ql/src/java/org/apache/hadoop/hive/ql/exec/FunctionRegistry.java
2、修改FunctionRegistry.java文件，在文件的static块中参考其它函数的注册方法和导入自定义的java文件即可。
例如参考：Substr这个函数

import org.apache.hadoop.hive.ql.udf.UDFSubstr;
import org.apache.hadoop.hive.ql.udf.HelloWord; // 添加自定义UDF的包

static {
system.registerGenericUDF("concat", GenericUDFConcat.class);
system.registerUDF("my_hello", HelloWord.class, false, new FunctionResource[0]); // 添加注册信息
system.registerUDF("substr", UDFSubstr.class, false);
...
}

3、进入UDFSubstr.java(实现Substr的文件)的同级目录，直接vi HelloWord.java ,然后复制黏贴感觉更效率。

[root@hadoop001 hive-1.1.0-cdh5.7.0]# find . -name UDFSubstr.java
./ql/src/java/org/apache/hadoop/hive/ql/udf/UDFSubstr.java

HelloWord.java代码如下

package org.apache.hadoop.hive.ql.udf;

import org.apache.hadoop.hive.ql.exec.Description;
import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

@Description(
name = "my_hello",
value = "my_hello(String)",
extended = "return new Text(\"HelloWord:\" + s.toString());"
)

public class HelloWord  extends UDF {
public Text evaluate(final Text s) {
if (s == null) { return null; }
return new Text("HelloWord:" + s.toString());
}

public static void main(String str[]) {
System.out.println("hello");
Text s = new Text("abc");
System.out.println(new HelloWord().evaluate(s).toString());
}
}

4、编译 mvn clean package -Phadoop-2 -DskipTests -Pdist5、替换lib（替换前别忘了备份、替换前别忘了备份、替换前别忘了备份），这里别忘了把原来lib中mysql驱动拷贝回来
6、进入hive检查是否存在该函数
hive> desc function my_hello;
OK
my_hello(String)
Time taken: 0.018 seconds, Fetched: 1 row(s)

OK。
hive> select my_hello(ename) from emp_dept_partition limit 3;
OK
HelloWord:SMITH
HelloWord:JONES
HelloWord:SCOTT
Time taken: 0.108 seconds, Fetched: 3 row(s)
【来自@若泽大数据】