日志服务数据加工：语法功能概述-低调大师

日志服务数据加工：语法功能概述

2019-06-09 645

自由编排

通过一个Python兼容ETL语言进行自由编排，对各种逻辑进行复杂组合, 可以满足大部分数据加工的需求和自由度.

例如, 可以自由编排达到如下一个场景:

完整的加工功能

支持近30种全局步骤函数, 支持通过各种参数调节行为, 且可以接受其他表达式函数的调用组合的结果作为参数, 其中控制的函数不仅可以搭配表达式函数, 也可以搭配其他步骤函数操作.

控制: 支持基于条件判断后的流程分支, 包括if-else, if条件-操作配对组合, switch分派, compose组合等场景. 借助e_search等简单搜索语法可以对不同类型日志进行灵活的加工.
事件操作: 支持对事件进行丢弃, 保留, 分裂, 输出, 复制等
字段操作: 支持保留, 删除, 重命名字段等
字段赋值: 支持基于任意表达式组合结果设置字段的值
字段值提取: 支持基于正则

微信关注我们

原文链接：https://yq.aliyun.com/articles/704937

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

日志服务数据加工：快速开始（SLB日志加工实战）

背景这里我们拿一个Logstore中的网关数据（阿里云SLB日志）举例，对其数据进行加工并分发到不同的Logstore中。数据源logstore（slb-log）的数据内容是一个阿里云SLB的网络日志，格式样例如下： __source__: log_service __tag__:__receive_time__: 1559799897 __topic__: body_bytes_sent: 740 client_ip: 1.2.3.4 host: m.abcd.com http_host: m.abcd.com http_referer: - http_x_forwarded_for: - http_x_real_ip: - read_request_time: 0 request_length: 0 r

2019-06-10

688

概述目前数据加工全面支持ETL语言, 更简单灵活. 参考ETL语言介绍 1. 全局操作事件 1.1. 字段赋值(set event) 1.1.1. 语法介绍语法： SET_EVENT_新字段 = 固定值 SET_EVENT_新字段 = 表达式函数说明设置单个字段值，字段名为新字段，如果已经存在，则会覆盖现有字段值新字段的字符约束是：中英文数字_组成，但不能以数字开头。注意：支持中文，但不支持:，因此不能通过这种方式设置日志的tag等，可以参考通用操作完成这类需求。表达式函数返回无值None时，该操作会被忽略表达式函数返回的任何类型的值都会被转化成字符串（例如，数字会被格式化为字符串，放回到事件中）完整的表达式函数信息，请参考表达式函数 1.1.2. 样例例子1：设置固定值添加一个新字段city值为上海。 SET_EVENT_city = "上

2019-06-10

609

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。