日志服务数据加工最佳实践: 从RDS-MySQL拉取数据做富化-低调大师

日志服务数据加工最佳实践: 从RDS-MySQL拉取数据做富化

2019-08-01 762

概述

使用全局富化函数做富化时, 需要传递一个字典或者表格结构做富化. 参考构建字典与表格做数据富化的各种途径比较.
本篇介绍从使用资源函数res_rds_mysql从RDS-MySQL拉取数据的做富化的详细实践.关于res_rds_mysql的参数说明, 参考这里.

背景

这里我们在RDS中存放用户信息表格userinfo.
原始数据库表中内容:

id	province	city	uid
1	jiangsu	nanjing	01234
2	henan	zhengzhou	01235
3	heilongjiang	haerbin	01236
4	jiangsu	yantai	01237

场景1：定期刷新拉取所有

富化数据如果定期会全量刷新时, 希望数据加工任务能够自动定期去拉取, 可以如下配置:

res_rds_mysql(..., refresh_interval=300)

上述语

微信关注我们

原文链接：https://yq.aliyun.com/articles/712371

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

日志服务数据加工最佳实践: 构建字典与表格做数据富化

字典和表格是数据富化（映射）过程中主要使用的两种数据结构，本文主要介绍这两种数据结构的常见构建方式，并对比不同构建方式的优缺点。字典构建直接构建 e_dict_map({"400": "错误", "200": "正常", "*": "其他"}, "status", "message") 优点: 直观、简单、方便. 从任务配置资源构建 e_dict_map(res_local("http_code_map"), "status", "message") 其中http_code_map是任务高级配置项, 值为: {"400": "错误", "200": "正常", "*": "其他"} 优点: 如果内容较多, 且经常修改的话, 更易于维护. 从表格构建使用tab_to_dict从表格构建, 而表格的构建参考本文后续的表格构建. e_dict_map(t

2019-08-02

536

普通映射 vs 搜索映射典型映射方式不能满足富化需求时, 可以使用搜索映射, 搜索映射与传统方式映射的区别在于匹配方式不同. 普通映射方式一般映射使用文本完全匹配方式来映射, 例如NGNIX日志中, 需要将状态码转换为一个文本表示: 状态码文本 200 成功 300 跳转 400 请求错误 500 服务器错误下面规则调用e_dict_map将字段status中的http请求状态码转化为文本描述, 放入字段status_desc. e_dict_map({"400": "请求错误", "500": "服务器错误", "300": "跳转", "200": "成功"}, "status", "status_desc") 实际上, NGNIX的HTTP请求的状态是不止上述4种, 当status值是401, 404时, 需要更新字典覆盖, 否则会匹配不上. 参考

2019-08-02

735

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。