日志系统新贵 Loki,确实比笨重的 ELK 轻
云栖号资讯:【点击查看更多行业资讯】
在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来!
最近,在对公司容器云的日志方案进行设计的时候,发现主流的ELK或者EFK比较重,再加上现阶段对于ES复杂的搜索功能很多都用不上最终选择了 Grafana 开源的 Loki 日志系统,下面介绍下Loki的背景。
背景和动机
当我们的容器云运行的应用或者某个节点出现问题了,解决思路应该如下:
我们的监控使用的是基于 Prometheus 体系进行改造的,Prometheus 中比较重要的是 Metric 和 Alert,Metric 是来说明当前或者历史达到了某个值,Alert 设置 Metric 达到某个特定的基数触发了告警,但是这些信息明显是不够的。
我们都知道,Kubernetes 的基本单位是 Pod,Pod 把日志输出到 stdout和 stderr,平时有什么问题我们通常在界面或者通过命令查看相关的日志,举个例子:当我们的某个 Pod 的内存变得很大,触发了我们的 Alert,这个时候管理员,去页面查询确认是哪个 Pod 有问题,然后要确认 Pod 内存变大的原因,我们还需要去查询 Pod 的日志,如果没有日志系统,那么我们就需要到页面或者使用命令进行查询了:
如果,这个时候应用突然挂了,这个时候我们就无法查到相关的日志了,所以需要引入日志系统,统一收集日志,而使用 ELK 的话,就需要在 Kibana 和 Grafana 之间切换,影响用户体验。所以 ,loki 的第一目的就是最小化度量和日志的切换成本,有助于减少异常事件的响应时间和提高用户的体验。
ELK 存在的问题
现有的很多日志采集的方案都是采用全文检索对日志进行索引(如ELK方案),优点是功能丰富,允许复杂的操作。但是,这些方案往往规模复杂,资源占用高,操作苦难。很多功能往往用不上,大多数查询只关注一定时间范围和一些简单的参数(如host、service等),使用这些解决方案就有点杀鸡用牛刀的感觉了。
因此,Loki的第二个目的是,在查询语言的易操作性和复杂性之间可以达到一个权衡。
成本
全文检索的方案也带来成本问题,简单的说就是全文搜索(如ES)的倒排索引的切分和共享的成本较高。后来出现了其他不同的设计方案如:
OKlog(https://github.com/oklog/oklog),采用最终一致的、基于网格的分布策略。这两个设计决策提供了大量的成本降低和非常简单的操作,但是查询不够方便。因此,Loki的第三个目的是,提高一个更具成本效益的解决方案。
整体架构
Loki的架构如下:
不难看出,Loki 的架构非常简单,使用了和 Prometheus 一样的标签来作为索引,也就是说,你通过这些标签既可以查询日志的内容也可以查询到监控的数据,不但减少了两种查询之间的切换成本,也极大地降低了日志索引的存储。Loki将使用与Prometheus相同的服务发现和标签重新标记库,编写了pormtail,在 Kubernetes 中 promtail 以 DaemonSet 方式运行在每个节点中,通过 Kubernetes API 等到日志的正确元数据,并将它们发送到 Loki。下面是日志的存储架构:
读写
日志数据的写主要依托的是 Distributor 和 Ingester 两个组件,整体的流程如下:
Distributor
一旦 promtail 收集日志并将其发送给loki,Distributor就是第一个接收日志的组件。由于日志的写入量可能很大,所以不能在它们传入时将它们写入数据库。这会毁掉数据库。我们需要批处理和压缩数据。
Loki通过构建压缩数据块来实现这一点,方法是在日志进入时对其进行gzip操作,组件ingester是一个有状态的组件,负责构建和刷新chunck,当chunk达到一定的数量或者时间后,刷新到存储中去。每个流的日志对应一个ingester,当日志到达Distributor后,根据元数据和hash算法计算出应该到哪个 ingester 上面。
此外,为了冗余和弹性,我们将其复制 n(默认情况下为3)次。
Ingester
Ingester 接收到日志并开始构建 chunk:
基本上就是将日志进行压缩并附加到 chunk 上面。一旦 chunk “填满”(数据达到一定数量或者过了一定期限),ingester 将其刷新到数据库。我们对块和索引使用单独的数据库,因为它们存储的数据类型不同。
刷新一个chunk之后,ingester 然后创建一个新的空 chunk 并将新条目添加到该 chunk中。
Querier
读取就非常简单了,由 Querier 负责给定一个时间范围和标签选择器,Querier查看索引以确定哪些块匹配,并通过 greps 将结果显示出来。它还从 Ingester 获取尚未刷新的最新数据。
对于每个查询,一个查询器将为您显示所有相关日志。实现了查询并行化,提供分布式grep,使即使是大型查询也是足够的。
可扩展性
Loki 的索引存储可以是 cassandra/bigtable/dynamodb,而 chuncks 可以是各种对象存储,Querier 和 Distributor 都是无状态的组件。对于 ingester 他虽然是有状态的但是,当新的节点加入或者减少,整节点间的 chunk 会重新分配,已适应新的散列环。而Loki 底层存储的实现 Cortex 已经在实际的生产中投入使用多年了。有了这句话,我可以放心的在环境中实验一把了。
【云栖号在线课堂】每天都有产品技术专家分享!
课程地址:https://yqh.aliyun.com/live立即加入社群,与专家面对面,及时了解课程最新动态!
【云栖号在线课堂 社群】https://c.tb.cn/F3.Z8gvnK
原文发布时间:2020-07-06
本文作者:linkt1234
本文来自:“高效运维公众号”,了解相关信息可以关注“高效运维”
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
南卡罗莱纳医科大学利用AI助力隔离监测
云栖号资讯:【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 新冠病毒在爆发后,医院已成为美国最危险的传染源之一。如何在减少患者和医务人员接触的同时保障基本医疗服务,成为美国医疗机构现在面临的最大困难。 与国内推行线上问诊类似,远程医疗在美国的热度逐渐上升。美国当地时间3月17日,特朗普政府宣布,美国针对65岁以上老年人的国家医保Medicare将暂时承保患者的远程医疗服务。 根据2018年美国医疗主管部门统计,全美范围超过60%的健康服务机构和50%的医院在不同程度上应用了远程医疗服务,全美所有州都提供远程影像服务;49个州设立了远程精神健康服务;36个州建有各类以家庭医疗为核心的远程医疗咨询服务等。 而南卡罗莱纳医科大学,也在2020年1月美国本土报告首例新冠病例之后,就启动了远程健康服务,随后其他医疗机构也迅速响应了这项计划。 目前,南卡罗莱纳医科大学远程医疗服务已经开展了远程紧急护理、远程病人监护、连续医疗行为检测等多项服务。 根据美国医学信息学协会杂志统计的一项数据显示,3月至4月之间,共有67577名患者使用了南卡罗莱纳医科大学开展的远...
- 下一篇
SpringBoot 一个依赖搞定 session 共享,没有比这更简单的方案了!
云栖号资讯:【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 有的人可能会觉得题目有点夸张,其实不夸张,题目没有使用任何修辞手法!认真读完本文,你就知道我说的是对的了! 在传统的单服务架构中,一般来说,只有一个服务器,那么不存在 Session 共享问题,但是在分布式/集群项目中,Session 共享则是一个必须面对的问题,先看一个简单的架构图: 在这样的架构中,会出现一些单服务中不存在的问题,例如客户端发起一个请求,这个请求到达 Nginx 上之后,被 Nginx 转发到 Tomcat A 上,然后在 Tomcat A 上往 session 中保存了一份数据,下次又来一个请求,这个请求被转发到 Tomcat B 上,此时再去 Session 中获取数据,发现没有之前的数据。对于这一类问题的解决,思路很简单,就是将各个服务之间需要共享的数据,保存到一个公共的地方(主流方案就是 Redis). 当所有 Tomcat 需要往 Session 中写数据时,都往 Redis 中写,当所有 Tomcat 需要读数据时,都从 Redis 中读。这样,不同的服务...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Linux系统CentOS6、CentOS7手动修改IP地址
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- Red5直播服务器,属于Java语言的直播服务器
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- SpringBoot2全家桶,快速入门学习开发网站教程
- CentOS8编译安装MySQL8.0.19
- CentOS7,CentOS8安装Elasticsearch6.8.6
- SpringBoot2整合Redis,开启缓存,提高访问速度
- CentOS6,CentOS7官方镜像安装Oracle11G
- Windows10,CentOS7,CentOS8安装Nodejs环境