日志服务数据加工：语法功能概述-低调大师

日志服务数据加工：语法功能概述

2019-06-09 681

自由编排

通过一个Python兼容ETL语言进行自由编排，对各种逻辑进行复杂组合, 可以满足大部分数据加工的需求和自由度.

例如, 可以自由编排达到如下一个场景:

完整的加工功能

支持近30种全局步骤函数, 支持通过各种参数调节行为, 且可以接受其他表达式函数的调用组合的结果作为参数, 其中控制的函数不仅可以搭配表达式函数, 也可以搭配其他步骤函数操作.

控制: 支持基于条件判断后的流程分支, 包括if-else, if条件-操作配对组合, switch分派, compose组合等场景. 借助e_search等简单搜索语法可以对不同类型日志进行灵活的加工.
事件操作: 支持对事件进行丢弃, 保留, 分裂, 输出, 复制等
字段操作: 支持保留, 删除, 重命名字段等
字段赋值: 支持基于任意表达式组合结果设置字段的值
字段值提取: 支持基于正则

微信关注我们

原文链接：https://yq.aliyun.com/articles/704937

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

日志服务数据加工：快速开始（SLB日志加工实战）

背景这里我们拿一个Logstore中的网关数据（阿里云SLB日志）举例，对其数据进行加工并分发到不同的Logstore中。数据源logstore（slb-log）的数据内容是一个阿里云SLB的网络日志，格式样例如下： __source__: log_service __tag__:__receive_time__: 1559799897 __topic__: body_bytes_sent: 740 client_ip: 1.2.3.4 host: m.abcd.com http_host: m.abcd.com http_referer: - http_x_forwarded_for: - http_x_real_ip: - read_request_time: 0 request_length: 0 r

2019-06-10

720

概述目前数据加工全面支持ETL语言, 更简单灵活. 参考ETL语言介绍 1. 全局操作事件 1.1. 字段赋值(set event) 1.1.1. 语法介绍语法： SET_EVENT_新字段 = 固定值 SET_EVENT_新字段 = 表达式函数说明设置单个字段值，字段名为新字段，如果已经存在，则会覆盖现有字段值新字段的字符约束是：中英文数字_组成，但不能以数字开头。注意：支持中文，但不支持:，因此不能通过这种方式设置日志的tag等，可以参考通用操作完成这类需求。表达式函数返回无值None时，该操作会被忽略表达式函数返回的任何类型的值都会被转化成字符串（例如，数字会被格式化为字符串，放回到事件中）完整的表达式函数信息，请参考表达式函数 1.1.2. 样例例子1：设置固定值添加一个新字段city值为上海。 SET_EVENT_city = "上

2019-06-10

640

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。