日志服务数据加工最佳实践: 构建字典与表格做数据富化
字典和表格是数据富化(映射)过程中主要使用的两种数据结构,本文主要介绍这两种数据结构的常见构建方式,并对比不同构建方式的优缺点。
字典构建
直接构建
e_dict_map({"400": "错误", "200": "正常", "*": "其他"}, "status", "message")
优点: 直观、简单、方便.
从任务配置资源构建
e_dict_map(res_local("http_code_map"), "status", "message")
其中http_code_map是任务高级配置项, 值为:
{"400": "错误", "200": "正常", "*": "其他"}
优点: 如果内容较多, 且经常修改的话, 更易于维护.
从表格构建
使用tab_to_dict
从表格构建, 而表格的构建参考本文后续的表格构建.
e_dict_map(t
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
日志服务数据加工最佳实践: 加工多层数组对象嵌套的复杂JSON
本实践案例主要是从多层数组对象嵌套的场景,向读者介绍如何使用LOG DSL解决工作中的具体需求。 需求 这里以一个复杂的包括多层数组嵌套的对象举例, 希望可以将users下的每个对象中的login_histories的每个登录信息都拆成一个登录事件. 原始日志举例 __source__: 1.2.3.4 __topic__: content:{ "users": [ { "name": "user1", "login_historis": [ { "date": "2019-10-10 0:0:0", "login_ip": "1.1.1.1" }, { "
- 下一篇
日志服务数据加工最佳实践: 从RDS-MySQL拉取数据做富化
概述 使用全局富化函数做富化时, 需要传递一个字典或者表格结构做富化. 参考构建字典与表格做数据富化的各种途径比较. 本篇介绍从使用资源函数res_rds_mysql从RDS-MySQL拉取数据的做富化的详细实践.关于res_rds_mysql的参数说明, 参考这里. 背景 这里我们在RDS中存放用户信息表格userinfo. 原始数据库表中内容: id province city uid 1 jiangsu nanjing 01234 2 henan zhengzhou 01235 3 heilongjiang haerbin 01236 4 jiangsu yantai 01237 场景1:定期刷新拉取所有 富化数据如果定期会全量刷新时, 希望数据加工任务能够自动定期去拉取, 可以如下配置: res_rds_mysql(..., refresh_interval=300) 上述语
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
-
Docker使用Oracle官方镜像安装(12C,18C,19C)
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8编译安装MySQL8.0.19
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果