日志服务数据加工最佳实践: 从RDS-MySQL拉取数据做富化
概述
使用全局富化函数做富化时, 需要传递一个字典或者表格结构做富化. 参考构建字典与表格做数据富化的各种途径比较.
本篇介绍从使用资源函数res_rds_mysql
从RDS-MySQL拉取数据的做富化的详细实践.关于res_rds_mysql
的参数说明, 参考这里.
背景
这里我们在RDS中存放用户信息表格userinfo
.
原始数据库表中内容:
id | province | city | uid |
---|---|---|---|
1 | jiangsu | nanjing | 01234 |
2 | henan | zhengzhou | 01235 |
3 | heilongjiang | haerbin | 01236 |
4 | jiangsu | yantai | 01237 |
场景1:定期刷新拉取所有
富化数据如果定期会全量刷新时, 希望数据加工任务能够自动定期去拉取, 可以如下配置:
res_rds_mysql(..., refresh_interval=300)
上述语
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
日志服务数据加工最佳实践: 构建字典与表格做数据富化
字典和表格是数据富化(映射)过程中主要使用的两种数据结构,本文主要介绍这两种数据结构的常见构建方式,并对比不同构建方式的优缺点。 字典构建 直接构建 e_dict_map({"400": "错误", "200": "正常", "*": "其他"}, "status", "message") 优点: 直观、简单、方便. 从任务配置资源构建 e_dict_map(res_local("http_code_map"), "status", "message") 其中http_code_map是任务高级配置项, 值为: {"400": "错误", "200": "正常", "*": "其他"} 优点: 如果内容较多, 且经常修改的话, 更易于维护. 从表格构建 使用tab_to_dict从表格构建, 而表格的构建参考本文后续的表格构建. e_dict_map(t
- 下一篇
日志服务数据加工最佳实践: 使用搜索映射做高级数据富化
普通映射 vs 搜索映射 典型映射方式不能满足富化需求时, 可以使用搜索映射, 搜索映射与传统方式映射的区别在于匹配方式不同. 普通映射方式 一般映射使用文本完全匹配方式来映射, 例如NGNIX日志中, 需要将状态码转换为一个文本表示: 状态码 文本 200 成功 300 跳转 400 请求错误 500 服务器错误 下面规则调用e_dict_map将字段status中的http请求状态码转化为文本描述, 放入字段status_desc. e_dict_map({"400": "请求错误", "500": "服务器错误", "300": "跳转", "200": "成功"}, "status", "status_desc") 实际上, NGNIX的HTTP请求的状态是不止上述4种, 当status值是401, 404时, 需要更新字典覆盖, 否则会匹配不上. 参考
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Mario游戏-低调大师作品
- CentOS关闭SELinux安全模块
- CentOS7,CentOS8安装Elasticsearch6.8.6
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- Docker安装Oracle12C,快速搭建Oracle学习环境
- Red5直播服务器,属于Java语言的直播服务器
- CentOS8编译安装MySQL8.0.19
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS6,CentOS7官方镜像安装Oracle11G