日志服务CLI ETL - 扩展UDF
背景
CLI的命令中,可以看到有一个重要的参数config
进行ETL的规则配置。这其实是一个Python模块,通过import其他Python模块,或者直接编写符合协议的UDF来扩展ETL的规则。本篇介绍CLI ETL规则的扩展协议与机制。
扩展与UDF
条件式事件转换UDF
在转换列表中支持UDF扩展:
UDF (Python): @support_event_list_simple # 自动支持多事件处理 def update_fields(e): e["some_field_x"] = "100" del e["some_feild_y"] return e # 也可以返回None(表示丢弃), 返回列表(表示分裂) TRANSFORM_LIST_data = [ ({"data": "^LTE
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
日志服务CLI ETL - 编排与转换
背景 CLI的命令中,可以看到有一个重要的参数config进行ETL的规则配置。这其实是一个Python模块,通过使用内置的模块对事件进行编排和处理。本篇介绍CLI ETL规则配置文件的使用细则, 编排和转换 一个例子 这里我们举一个服务器上多钟复杂日志格式的混合通过syslog发送给日志服务后的ETL的例子: # 丢弃所有无关的元字段,例如__tag:...___等 DROP_FIELDS_f1 = [F_TAGS, "uselss1", "useless2"] # 分发:根据正则表达式规则,设置__topic__的值 DISPATCH_EVENT_data = [ ({"data": "^LTE_Information .+"}, {"__topic__": "let_info"}), ({"data": "^Stat
- 下一篇
Redisson是GitHub里星星最多的Redis Java客户端
经过近4年日日夜夜的努力,Redisson终于在2019年1月16日成为GitHub里星星最多的Redis Java客户端。在此十分感谢大家的这些年来对Redisson的支持和信赖,我们会再接再厉让项目变得更好。 谢谢大家! 项目网站:https://redisson.org源码地址:https://github.com/redisson/redisson
相关文章
文章评论
共有0条评论来说两句吧...