日志服务数据加工:快速开始(SLB日志加工实战)
背景
这里我们拿一个Logstore中的网关数据(阿里云SLB日志)举例,对其数据进行加工并分发到不同的Logstore中。
数据
源logstore(slb-log)的数据内容是一个阿里云SLB的网络日志,格式样例如下:
__source__: log_service
__tag__:__receive_time__: 1559799897
__topic__:
body_bytes_sent: 740
client_ip: 1.2.3.4
host: m.abcd.com
http_host: m.abcd.com
http_referer: -
http_x_forwarded_for: -
http_x_real_ip: -
read_request_time: 0
request_length: 0
r

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
-
上一篇
《阿里云前端技术周刊》第八期
作者:若欢校对:染陌 知乎:阿里云中台前端/全栈团队专栏Github:阿里云前端技术周刊 给我们投稿:传送门参与交流:传送门 前端速报 Angular 8 发布,想知道新版本都有哪些特性,快来戳我瞧瞧吧。 TypeScript 3.5 版本发布,这不是一个大的版本迭代,但改进的性能,增量编译和Omit帮助类型,肯定会受到 TypeScript 用户的欢迎,不信就来试试看。 趣前端 你用的那些CSS转场动画可以换一换了传统转场动画就是滑来滑去,淡入淡出这些。时代在召唤,技术在发展,可以试一试使用一些新的转场动画了。此文乃张鑫旭大神出品,必属精品,值得一读。 StylieStylie 是一个动画曲线代码导出工具,你只需要调整好曲线即可导出 CSS。 GB StudioGB Studio是适用于Mac,Linux和Windows的免费且易于使用的Game
-
下一篇
日志服务数据加工:语法功能概述
自由编排 通过一个Python兼容ETL语言进行自由编排,对各种逻辑进行复杂组合, 可以满足大部分数据加工的需求和自由度. 例如, 可以自由编排达到如下一个场景: 完整的加工功能 支持近30种全局步骤函数, 支持通过各种参数调节行为, 且可以接受其他表达式函数的调用组合的结果作为参数, 其中控制的函数不仅可以搭配表达式函数, 也可以搭配其他步骤函数操作. 控制: 支持基于条件判断后的流程分支, 包括if-else, if条件-操作配对组合, switch分派, compose组合等场景. 借助e_search等简单搜索语法可以对不同类型日志进行灵活的加工. 事件操作: 支持对事件进行丢弃, 保留, 分裂, 输出, 复制等 字段操作: 支持保留, 删除, 重命名字段等 字段赋值: 支持基于任意表达式组合结果设置字段的值 字段值提取: 支持基于正则
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- MySQL8.0.19开启GTID主从同步CentOS8
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装