日志服务CLI ETL - 扩展UDF
背景
CLI的命令中,可以看到有一个重要的参数config
进行ETL的规则配置。这其实是一个Python模块,通过import其他Python模块,或者直接编写符合协议的UDF来扩展ETL的规则。本篇介绍CLI ETL规则的扩展协议与机制。
扩展与UDF
条件式事件转换UDF
在转换列表中支持UDF扩展:
UDF (Python):
@support_event_list_simple # 自动支持多事件处理
def update_fields(e):
e["some_field_x"] = "100"
del e["some_feild_y"]
return e # 也可以返回None(表示丢弃), 返回列表(表示分裂)
TRANSFORM_LIST_data = [ ({"data": "^LTE

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
-
上一篇
日志服务CLI ETL - 编排与转换
背景 CLI的命令中,可以看到有一个重要的参数config进行ETL的规则配置。这其实是一个Python模块,通过使用内置的模块对事件进行编排和处理。本篇介绍CLI ETL规则配置文件的使用细则, 编排和转换 一个例子 这里我们举一个服务器上多钟复杂日志格式的混合通过syslog发送给日志服务后的ETL的例子: # 丢弃所有无关的元字段,例如__tag:...___等 DROP_FIELDS_f1 = [F_TAGS, "uselss1", "useless2"] # 分发:根据正则表达式规则,设置__topic__的值 DISPATCH_EVENT_data = [ ({"data": "^LTE_Information .+"}, {"__topic__": "let_info"}), ({"data": "^Stat
-
下一篇
Redisson是GitHub里星星最多的Redis Java客户端
经过近4年日日夜夜的努力,Redisson终于在2019年1月16日成为GitHub里星星最多的Redis Java客户端。在此十分感谢大家的这些年来对Redisson的支持和信赖,我们会再接再厉让项目变得更好。 谢谢大家! 项目网站:https://redisson.org源码地址:https://github.com/redisson/redisson
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2整合Redis,开启缓存,提高访问速度
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- MySQL数据库在高并发下的优化方案
- MySQL8.0.19开启GTID主从同步CentOS8
- SpringBoot2全家桶,快速入门学习开发网站教程
- SpringBoot2整合Thymeleaf,官方推荐html解决方案