日志服务数据加工最佳实践: 加工多层数组对象嵌套的复杂JSON
本实践案例主要是从多层数组对象嵌套的场景,向读者介绍如何使用LOG DSL解决工作中的具体需求。
需求
这里以一个复杂的包括多层数组嵌套的对象举例, 希望可以将users
下的每个对象中的login_histories
的每个登录信息都拆成一个登录事件.
原始日志举例
__source__: 1.2.3.4 __topic__: content:{ "users": [ { "name": "user1", "login_historis": [ { "date": "2019-10-10 0:0:0", "login_ip": "1.1.1.1" }, { "
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
日志服务数据加工最佳实践: 多子键为数组的复杂JSON加工
加工需求 统计类日志形式 程序构建的日志经常会以一种统计性质的JSON格式写入, 通常其包含一个基础信息, 以及多个子健为数组的形式. 例如一个服务器每隔1分钟写入一条日志, 包含当前信息状态, 以及相关服务器和客户端节点的统计状态信息. 样例: __source__: 1.2.3.4 __topic__: content:{ "service": "search_service", "overal_status": "yellow", "servers": [ { "host": "1.2.3.4", "status": "green" }, { "host": "1.
- 下一篇
日志服务数据加工最佳实践: 构建字典与表格做数据富化
字典和表格是数据富化(映射)过程中主要使用的两种数据结构,本文主要介绍这两种数据结构的常见构建方式,并对比不同构建方式的优缺点。 字典构建 直接构建 e_dict_map({"400": "错误", "200": "正常", "*": "其他"}, "status", "message") 优点: 直观、简单、方便. 从任务配置资源构建 e_dict_map(res_local("http_code_map"), "status", "message") 其中http_code_map是任务高级配置项, 值为: {"400": "错误", "200": "正常", "*": "其他"} 优点: 如果内容较多, 且经常修改的话, 更易于维护. 从表格构建 使用tab_to_dict从表格构建, 而表格的构建参考本文后续的表格构建. e_dict_map(t
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2全家桶,快速入门学习开发网站教程
- CentOS8编译安装MySQL8.0.19
- SpringBoot2整合Redis,开启缓存,提高访问速度
- CentOS7,CentOS8安装Elasticsearch6.8.6
- CentOS6,CentOS7官方镜像安装Oracle11G
- Windows10,CentOS7,CentOS8安装Nodejs环境
- Red5直播服务器,属于Java语言的直播服务器
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7