日志服务CLI ETL - 编排与转换
背景 CLI的命令中,可以看到有一个重要的参数config进行ETL的规则配置。这其实是一个Python模块,通过使用内置的模块对事件进行编排和处理。本篇介绍CLI ETL规则配置文件的使用细则, 编排和转换 一个例子 这里我们举一个服务器上多钟复杂日志格式的混合通过syslog发送给日志服务后的ETL的例子: # 丢弃所有无关的元字段,例如__tag:...___等 DROP_FIELDS_f1 = [F_TAGS, "uselss1", "useless2"] # 分发:根据正则表达式规则,设置__topic__的值 DISPATCH_EVENT_data = [ ({"data": "^LTE_Information .+"}, {"__topic__": "let_info"}), ({"data": "^Stat