日志服务数据加工:语法功能概述
自由编排
通过一个Python兼容ETL语言进行自由编排,对各种逻辑进行复杂组合, 可以满足大部分数据加工的需求和自由度.
例如, 可以自由编排达到如下一个场景:
完整的加工功能
支持近30种全局步骤函数, 支持通过各种参数调节行为, 且可以接受其他表达式函数的调用组合的结果作为参数, 其中控制的函数不仅可以搭配表达式函数, 也可以搭配其他步骤函数操作.
- 控制: 支持基于条件判断后的流程分支, 包括if-else, if条件-操作配对组合, switch分派, compose组合等场景. 借助e_search等简单搜索语法可以对不同类型日志进行灵活的加工.
- 事件操作: 支持对事件进行丢弃, 保留, 分裂, 输出, 复制等
- 字段操作: 支持保留, 删除, 重命名字段等
- 字段赋值: 支持基于任意表达式组合结果设置字段的值
- 字段值提取: 支持基于正则

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
日志服务数据加工:快速开始(SLB日志加工实战)
背景 这里我们拿一个Logstore中的网关数据(阿里云SLB日志)举例,对其数据进行加工并分发到不同的Logstore中。 数据 源logstore(slb-log)的数据内容是一个阿里云SLB的网络日志,格式样例如下: __source__: log_service __tag__:__receive_time__: 1559799897 __topic__: body_bytes_sent: 740 client_ip: 1.2.3.4 host: m.abcd.com http_host: m.abcd.com http_referer: - http_x_forwarded_for: - http_x_real_ip: - read_request_time: 0 request_length: 0 r
- 下一篇
日志服务数据加工:语法框架与样例
概述 目前数据加工全面支持ETL语言, 更简单灵活. 参考ETL语言介绍 1. 全局操作事件 1.1. 字段赋值(set event) 1.1.1. 语法介绍 语法: SET_EVENT_新字段 = 固定值 SET_EVENT_新字段 = 表达式函数 说明 设置单个字段值,字段名为新字段,如果已经存在,则会覆盖现有字段值 新字段的字符约束是:中英文数字_组成,但不能以数字开头。注意:支持中文,但不支持:,因此不能通过这种方式设置日志的tag等,可以参考通用操作完成这类需求。 表达式函数返回无值None时,该操作会被忽略 表达式函数返回的任何类型的值都会被转化成字符串(例如,数字会被格式化为字符串,放回到事件中) 完整的表达式函数信息,请参考表达式函数 1.1.2. 样例 例子1:设置固定值添加一个新字段city值为上海。 SET_EVENT_city = "上
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- CentOS6,CentOS7官方镜像安装Oracle11G
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- SpringBoot2全家桶,快速入门学习开发网站教程
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- CentOS7安装Docker,走上虚拟化容器引擎之路
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- CentOS8编译安装MySQL8.0.19