日志服务数据加工最佳实践: 跨账号多目标logstore数据分发
概述
数据分发主要包含两种方法:跨账号多目标Logstore的分发和动态目标Logstore的分发, 其特点如下表. 需要时也可以合并两种方法.
注意 目前数据加工仅支持同Region下分发
方法 | 优点 | 缺点 |
---|---|---|
配置多个目标Logstore | 支持不同账号(AK)的目标Logstore | 多个目标时, 配置与使用较为繁琐. 目标一般在代码中静态指定. 目前最多20个目标. |
配置少量目标, 再代码中重置project, logstore参数 | 目标project, logstore可以在LOG DSL规则中动态获取与设置. 可以发送超过20个以上目标. | 秘钥使用目标中的配置, 不能动态改. 因此最多跨20个账号. |
场景1:跨账号多目标Logstore的分发
原始日志
""" 以下日志都存储在同一个logstore中,该logstore的默认逻辑名为target0 ""

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
日志服务数据加工最佳实践: 事件判断
场景1:判断字段是否存在 原始日志 a: a_vlue b: // 空串 LOG DSL编排 方案一:使用e_has, e_not_has e_if(e_has("a"), e_set("has_a", true)) e_if(e_has("b"), e_set("has_b", true)) e_if(e_has("c"), e_set("has_c", true)) e_if(e_not_has("a"), e_set("not_has_a", true)) e_if(e_not_has("b"), e_set("not_has_b", true)) e_if(e_not_has("c"), e_set("not_has_c", true)) 方案二:使用e_search e_if(e_search("a: *"), e_set("h
- 下一篇
日志服务数据加工最佳实践: 跨账号多源logstore数据汇总
概述 在跨账号同Region下的不同logstore之间操作数据并汇总数据. 日志服务数据目前支持多源logstore汇总到一个目标的方式是通过对每一个源logstore配置一份数据加工任务来实现的. 注意 目前数据加工仅支持同Region下分发 原始日志 """ 账号1的logstore中的日志 Prject区域:英国(伦敦) Project名称:Project_1 logstore名称: Logstore_1 """ "日志1" request_id: 1 http_host: m1.abcd.com http_status: 200 request_method: GET request_uri: /pic/icon.jpg "日志2" request_id: 2 http_host: m2.abcd.com http
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS8编译安装MySQL8.0.19
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- Eclipse初始化配置,告别卡顿、闪退、编译时间过长
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- Hadoop3单机部署,实现最简伪集群
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- Docker安装Oracle12C,快速搭建Oracle学习环境
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- CentOS7设置SWAP分区,小内存服务器的救世主