MaxCompute UDF配置汇总

MaxCompute UDF为数据开发人员提供了较SQL更加灵活的数据处理方式，使得在数据处理过程中，不再只是局限在SQL提供的能力，可以根据自己的需求对功能进行定制，也可以引入其他优秀的程序包简化开发的难度和工作量。有的时候一个UDF因为经过多轮迭代和长时间积累，可能功能会变的非常丰富同时又非常的复杂，常常需要利用配置进行控制，本文对几种通用的配置方案进行了汇总，供各位参考。

---

一、函数参数方式

执行示例：

select udf1(param1, param2) from dual; select udf1(param1,map("k","v")) from dual;

实现代码

public class udf1 extends UDF { public String evaluate(String a) { return "default value:" + a; } public String evaluate(String a, String b) { return "new value:" + a + "," + b; } public String evaluate(String a, String b, String c) { return "new value:" + a + "," + b + "," + c; } public String evaluate(String a, Integer b,List<String> c) { return "new value:" + c.get(b); } public String evaluate(String a,Map<String,String> map) { return "new value" + map.get(a); } public String evaluate(String a,Struct struct) { return "new value" + struct.getFieldValue(a); } }

特殊说明：
1，在本例最后一个实现中的Struct类型，为com.aliyun.odps.data.Struct
2，更多复杂参数类型，可以参考https://yq.aliyun.com/articles/225026

---

二、执行参数方式

注册函数

create function udf2 as com.aliyun.udf. udf2 using "udf-1.0-SNAPSHOT.jar";

执行示例

set myconfig.config.a=hello; set myconfig.config.other=2; select udf2(param1) from dual;

实现代码

public class udf2 extends UDF { // TODO define parameters and return type, e.g: public String evaluate(String a, String b) private String flags; public void setup(ExecutionContext ctx) throws UDFException { Properties ps= ctx.getConfigurations(); flags = ps.getProperty("myconfig.config.a"); /* 说明，目前ctx.getConfigurations();仅能kv返回，不能支持便利操作，所以如下代码并不能返回全部变量 System.out.println("keys count : "+ps.size()); Set<Map.Entry<Object, Object>> ent = ps.entrySet() ; Iterator<Map.Entry<Object, Object>> it = ent.iterator(); while(((Iterator) it).hasNext()) { Map.Entry<Object,Object> kv = it.next(); System.out.println("key : "+kv.getKey() + " value : " + kv.getValue()); } */ } public String evaluate(String s) { if (flags == null) { return "default value:" + s; } else { return "new value:" + flags + s; } } }

特殊说明：
1，set 的kv对在getProperty的时候以“等号”区分，所以内容中不能再包含等号
2，set 设置的变量会在当前session中一直保留，设置一次后续的多个sql都能读取到，要注意范围

---

三、配置文件方式

注册函数

add file ./cfg.txt; create function udf3 as com.aliyun.udf.udf3 using "udf-1.0-SNAPSHOT.jar, cfg.txt";

执行示例

select udf3(param1) from dual;

实现代码

 public class udf3 extends UDF { private String flags; public void setup(ExecutionContext ctx) throws UDFException { try { InputStream in = ctx.readResourceFileAsStream("cfg.txt"); BufferedReader br = new BufferedReader(new InputStreamReader(in)); flags = br.readLine(); }catch (IOException e) { System.out.println("read error, "+e.toString()); throw new UDFException(e); } } public String evaluate(String s) { if (flags == null) { return "default value:"+ s; } else{ return "new value:" + flags + s; } } }

特殊说明：
1，要使用resource配置文件，必须要在注册函数的时候using相应的resource，才能被UDF发现
2，除了使用resource文件外，其实还可以使用odps table，与本例相似，所以不再说明
3，函数注册完成后，对resource配置文件进行跟新覆盖，即可更新配置

---

以上三种方式基本上可以覆盖绝大多数情况，除此之外还可以组合使用，例如：某个功能复杂的特征工程的UDF，通过第一种和第二种方式，都需要在执行的时候配置多个参数，那么不如把他写成resource配置文件，同时组内开发人员众多，每个人都想使用自己的配置文件，另外又想根据情况随时做变量的微调；那么就可以将如上三种方案融合，变成一种综合方案，示例如下：

注册函数：

 add file usr1.txt; add file usr2.txt; add file usr3.txt; add file usr4.txt; create function udf4 as com.aliyun.udf.udf4 using "udf-1.0-SNAPSHOT.jar, usr1.txt,usr2.txt, usr3.txt,usr4.txt";

执行示例

select udf4(param1, map()) from dual; -- 默认分支 set myconfig.config.file=usr3.txt; select udf4(param1,map()) from dual; --有配置文件的分支 set myconfig.config.file=usr3.txt; select udf4(param1, map("k","v")) from dual; --有配置文件，但是通过函数参数调整配置的分支

实现代码

public class udf4 extends UDF { private String flags; public void setup(ExecutionContext ctx) throws UDFException { try { Properties ps= ctx.getConfigurations(); String path = ps.getProperty("myconfig.config.file"); if (path == null || path.length() <= 0) return ; InputStream in = ctx.readResourceFileAsStream(path); BufferedReader br = new BufferedReader(new InputStreamReader(in)); flags = br.readLine(); }catch (IOException e) { System.out.println("read error, "+e.toString()); throw new UDFException(e); } } public String evaluate(String s, Map<String,String> mflags) { if (mflags.size() > 0) { return "new value 1:" + s; } if (flags == null) { return "default value:"+ s; } else{ return "new value 2:" + flags + s; } } }

特殊说明
1，在注册函数的时候，必须将所有可能用到的配置文件都注册，不然函数无法注册成功

除了普通的UDF外，UDAF、UDTF可用同样的方法进行配置。Python UDF的处理方式可参见：https://help.aliyun.com/document_detail/73359.html?spm=a1z2e.8101737.webpage.dtitle2.bb2a6a6c6Di3vt