日志服务数据加工最佳实践: 使用搜索映射做高级数据富化
普通映射 vs 搜索映射
典型映射方式不能满足富化需求时, 可以使用搜索映射, 搜索映射与传统方式映射的区别在于匹配方式不同.
普通映射方式
一般映射使用文本完全匹配方式来映射, 例如NGNIX日志中, 需要将状态码转换为一个文本表示:
状态码 | 文本 |
---|---|
200 | 成功 |
300 | 跳转 |
400 | 请求错误 |
500 | 服务器错误 |
下面规则调用e_dict_map
将字段status
中的http请求状态码转化为文本描述, 放入字段status_desc
.
e_dict_map({"400": "请求错误", "500": "服务器错误", "300": "跳转", "200": "成功"}, "status", "status_desc")
实际上, NGNIX的HTTP请求的状态是不止上述4种, 当status
值是401, 404时, 需要更新字典覆盖, 否则会匹配不上. 参考

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
日志服务数据加工最佳实践: 从RDS-MySQL拉取数据做富化
概述 使用全局富化函数做富化时, 需要传递一个字典或者表格结构做富化. 参考构建字典与表格做数据富化的各种途径比较. 本篇介绍从使用资源函数res_rds_mysql从RDS-MySQL拉取数据的做富化的详细实践.关于res_rds_mysql的参数说明, 参考这里. 背景 这里我们在RDS中存放用户信息表格userinfo. 原始数据库表中内容: id province city uid 1 jiangsu nanjing 01234 2 henan zhengzhou 01235 3 heilongjiang haerbin 01236 4 jiangsu yantai 01237 场景1:定期刷新拉取所有 富化数据如果定期会全量刷新时, 希望数据加工任务能够自动定期去拉取, 可以如下配置: res_rds_mysql(..., refresh_interval=300) 上述语
- 下一篇
Spring常见的十大错误,78%的老程序员都踩过这些坑!
首先我们来看一下,Spring常见错误有那些1.太过关注底2.内部结构 “泄露”3.缺乏关注点分离4.缺乏异常处理或处理不当5.多线程处理不当6.不使用基于注解的验证7.(依旧)使用基于xml的配置8.忽略 profile9.无法接受依赖项注入10.缺乏测试,或测试不当 接下来就一一介绍这些常见的错误1. 错误一:太过关注底层我们正在解决这个常见错误,是因为 “非我所创” 综合症在软件开发领域很是常见。症状包括经常重写一些常见的代码,很多开发人员都有这种症状。虽然理解特定库的内部结构及其实现,在很大程度上是好的并且很有必要的(也可以是一个很好的学习过程),但作为软件工程师,不断地处理相同的底层实现细节对个人的开发生涯是有害的。像 Spring 这种抽象框架的存在是有原因的,它将你从重复地手工劳作中解放出来,并允许你专注于更高层次的细节 —— 领域对象和业务逻辑。因此,接受抽象。下次面对特定问题时,首先进行快速搜索,确定解决该问题的库是否已被集成到 Spring 中;现在,你可能找到一个合适的现成解决方案。比如,一个很有用的库,在本文的其他部分,我将在示例中使用 Project Lomb...
相关文章
文章评论
共有0条评论来说两句吧...