日志服务数据加工最佳实践: 使用搜索映射做高级数据富化-低调大师

日志服务数据加工最佳实践: 使用搜索映射做高级数据富化

2019-08-01 743

普通映射 vs 搜索映射

典型映射方式不能满足富化需求时, 可以使用搜索映射, 搜索映射与传统方式映射的区别在于匹配方式不同.

普通映射方式

一般映射使用文本完全匹配方式来映射, 例如NGNIX日志中, 需要将状态码转换为一个文本表示:

状态码	文本
200	成功
300	跳转
400	请求错误
500	服务器错误

下面规则调用e_dict_map将字段status中的http请求状态码转化为文本描述, 放入字段status_desc.

e_dict_map({"400": "请求错误", "500": "服务器错误", "300": "跳转", "200": "成功"}, "status", "status_desc")

实际上, NGNIX的HTTP请求的状态是不止上述4种, 当status值是401, 404时, 需要更新字典覆盖, 否则会匹配不上. 参考

微信关注我们

原文链接：https://yq.aliyun.com/articles/712372

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

日志服务数据加工最佳实践: 从RDS-MySQL拉取数据做富化

概述使用全局富化函数做富化时, 需要传递一个字典或者表格结构做富化. 参考构建字典与表格做数据富化的各种途径比较. 本篇介绍从使用资源函数res_rds_mysql从RDS-MySQL拉取数据的做富化的详细实践.关于res_rds_mysql的参数说明, 参考这里. 背景这里我们在RDS中存放用户信息表格userinfo. 原始数据库表中内容: id province city uid 1 jiangsu nanjing 01234 2 henan zhengzhou 01235 3 heilongjiang haerbin 01236 4 jiangsu yantai 01237 场景1：定期刷新拉取所有富化数据如果定期会全量刷新时, 希望数据加工任务能够自动定期去拉取, 可以如下配置: res_rds_mysql(..., refresh_interval=300) 上述语

2019-08-02

768

首先我们来看一下，Spring常见错误有那些1.太过关注底2.内部结构 “泄露”3.缺乏关注点分离4.缺乏异常处理或处理不当5.多线程处理不当6.不使用基于注解的验证7.（依旧）使用基于xml的配置8.忽略 profile9.无法接受依赖项注入10.缺乏测试，或测试不当接下来就一一介绍这些常见的错误1. 错误一：太过关注底层我们正在解决这个常见错误，是因为 “非我所创” 综合症在软件开发领域很是常见。症状包括经常重写一些常见的代码，很多开发人员都有这种症状。虽然理解特定库的内部结构及其实现，在很大程度上是好的并且很有必要的（也可以是一个很好的学习过程），但作为软件工程师，不断地处理相同的底层实现细节对个人的开发生涯是有害的。像 Spring 这种抽象框架的存在是有原因的，它将你从重复地手工劳作中解放出来，并允许你专注于更高层次的细节 —— 领域对象和业务逻辑。因此，接受抽象。下次面对特定问题时，首先进行快速搜索，确定解决该问题的库是否已被集成到 Spring 中；现在，你可能找到一个合适的现成解决方案。比如，一个很有用的库，在本文的其他部分，我将在示例中使用 Project Lomb...

2019-08-02

557

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。