日志服务CLI ETL - 扩展UDF
背景
CLI的命令中,可以看到有一个重要的参数config进行ETL的规则配置。这其实是一个Python模块,通过import其他Python模块,或者直接编写符合协议的UDF来扩展ETL的规则。本篇介绍CLI ETL规则的扩展协议与机制。
扩展与UDF
条件式事件转换UDF
在转换列表中支持UDF扩展:
UDF (Python):
@support_event_list_simple # 自动支持多事件处理
def update_fields(e):
e["some_field_x"] = "100"
del e["some_feild_y"]
return e # 也可以返回None(表示丢弃), 返回列表(表示分裂)
TRANSFORM_LIST_data = [ ({"data": "^LTE