日志服务数据加工最佳实践: 从其他logstore拉取数据做富化
概述
使用全局富化函数做富化时, 需要传递一个字典或者表格结构做富化. 参考构建字典与表格做数据富化的各种途径比较.
本篇介绍从使用资源函数res_log_logstore_pull
从其他logstore拉取数据的做富化的详细实践.关于res_log_logstore_pull
的参数说明, 参考这里. 该语法目前支持两种模式去logstore拉取数据,一种是拉取指定时间间隔内的logstore 的数据内容,另外一种是不设置结束时间,持续的拉取目标logstore内容
背景
这里我们有两个logstore,一个是存储个人信息的source_logstore,一个是酒店存储客人入住信息的target_logstore ,我们现在将酒店的入住信息拿来做富化。
注意: 这里采用pull_log接口拉取数据, 富化的logstore并不依赖索引.
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
日志服务数据加工最佳实践: 字符串动态键值对的提取
本实践案例主要是从字符串专题进行展开,将从多方面讲解如何使用不同方案字符串,来解决用户需求。 一个快速案例: 解析URL中参数键值对 以下是一个url的数据,本文将会使用两种方案来展开这条日志内容: request: https://yz.m.sm.cn/s?ver=3.2.3&app_type=supplier&os=Android8.1.0 需求 1、对以上日志进行解析出proto, domain, param等内容2、对param中的键值对值做展开操作 原始日志 比如在控制台上收集到的日志为: __source__: 10.43.112.168 __tag__:__client_ip__: 12.120.75.130 __tag__:__receive_time__: 1563517113 __topic__:
- 下一篇
从AWS迁移Elasticsearch索引至阿里云ES
本页目录 本文为您介绍如何将Elasticsearch(ES)索引从AWS迁移到阿里云 ES索引迁移方案介绍 前提条件 注册手动快照存储库 首次快照和恢复 末次快照和恢复 总结 本次ES索引迁移方案的参考架构图如下所示 ES索引迁移方案介绍 概念相关 Elasticsearch:一个分布式的RESTful风格的搜索与分析引擎,能够解决不断涌现出的各种用例。作为Elastic Stack的核心,Elasticsearch可以集中存储您的数据,帮助您发现意料之中与意料之外的情况。 Kibana:您可以使用Kibana对您的Elasticsearch数据进行可视化并导航弹性堆栈。 亚马逊Elasticsearch服务(Amazon Elasticsearch Service): 一项完全托管的服务,可以提供各种易于使用的Elasticsearch API 和实时分析功能,还可以实现生产工作负载需要的可用性、可扩展性和安全性。您可以使用AmazonElasticsearch Service轻松部署、保护、操作和扩展Elasticsearch,以便进行日志分析、全文搜索和应用程序监控等工作。 阿...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Docker安装Oracle12C,快速搭建Oracle学习环境
- Hadoop3单机部署,实现最简伪集群
- MySQL8.0.19开启GTID主从同步CentOS8
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- CentOS7,8上快速安装Gitea,搭建Git服务器
- SpringBoot2全家桶,快速入门学习开发网站教程
- CentOS8安装Docker,最新的服务器搭配容器使用
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS8编译安装MySQL8.0.19
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池