教你如何进行Prometheus 分片自动缩放-低调大师

教你如何进行Prometheus 分片自动缩放

2024-04-23 292

本文分享自华为云社区《使用 Prometheus-Operator 进行 Prometheus + Keda 分片自动缩放》，作者： Kubeservice@董江。

垂直缩放与水平缩放

Prometheus已经成为云原生时代事实上的监控工具。从监控小型花园的实例到企业中大规模的监控，Prometheus 都可以处理工作负载！但并非没有挑战…

在拥有数百个团队的大型组织中，每秒获取数百万个指标是很常见的。人们可以维护一个 Prometheus 实例，并通过投入资金来解决扩展问题：只需获得一个更大的节点即可。好吧，如果你愿意付钱，那就去吧！但是节点价格的增长速度通常高于其大小，并且管理大型和小型 Prometheus 实例之间还有另一个很大的区别：WAL 重播！

Prometheus 保留一个包含最新抓取数据的内存数据库。为了避免在可能的重新启动期间丢失数据，Prometheus 在磁盘上保留了预写日志 (WAL)。当 Prometheus 重启时，它会将 WAL 重新加载到内存中，这样最新抓取的数据就又可用了，这个操作就是我们所说的 WAL Replay。

在 WAL 重放期间，Prometheus 完全无法进行查询，也无法抓取任何目标，因此我们希望尽快完成此操作！这就是巨大的 Prometheus 实例成为问题的时候。当将数百 GiB 的数据重放到内存中时，此操作很容易需要 20 到 30 分钟，在更极端的情况下甚至需要几个小时。如果您决定保留单个 Prometheus 实例，WAL Replay 操作可能会导致监控系统出现长时间停机。

避免大型 Prometheus 实例的一种常见策略是在多个 Prometheus 之间分片抓取目标。由于每个 Prometheus 都会抓取较少量的指标，因此它们会小得多，并且 WAL Replay 不会像以前那样成为问题。为了仍然能够拥有集中式查询体验，可以将指标转发到另一个工具，例如 Thanos、Cortex 或云提供商，这些工具也能够扩展 Prometheus 查询功能。

整个时间内负载不均匀

我们已经通过使用分片而不是垂直扩展 Prometheus 取得了一些重大进展，但是当暴露的指标数量全天增加和减少时会发生什么？对于每天从数百个节点扩展到数千个节点（反之亦然）的 Kubernetes 集群来说，这是一种非常常见的情况。在决定普罗米修斯碎片的数量时，我们如何找到成本/效益比的最佳点？

您可以每天手动微调集群中的分片数量，但有更智能的方法来完成此任务。在这篇博文中，我将重点介绍 Horizontal Pod Autoscaler 策略，该策略是最近通过 Prometheus-Operator v0.71.0 版本实现的。

使用 Keda 自动缩放 Prometheus 碎片

设置

使用 Kubernetes Scale API 的任何类型的 Horizontal Pod Autoscaler，但出于演示目的，将使用Keda，它支持多种扩展策略。

让我们从创建一个小型集群开始，我建议使用KinD或Minikube：

$ kind create cluster
Creating cluster "kind" ...
 ✓ Ensuring node image (kindest/node:v1.27.1) 🖼 
 ✓ Preparing nodes 📦  
 ✓ Writing configuration 📜 
 ✓ Starting control-plane 🕹️ 
 ✓ Installing CNI 🔌 
 ✓ Installing StorageClass 💾 
Set kubectl context to "kind-kind"
You can now use your cluster with:

kubectl cluster-info --context kind-kind

Have a nice day! 👋

现在让我们安装 Keda：

$ helm repo add kedacore https://kedacore.github.io/charts
$ helm repo update
$ helm install keda kedacore/keda --namespace keda --create-namespace
$ watch kubectl get pods -n keda

一旦所有 Pod 都达到该Running状态，我们就可以继续！下一步是安装 Prometheus Operator：

$ git clone https://github.com/prometheus-operator/prometheus-operator
$ cd prometheus-operator
$ kubectl apply --server-side -f bundle.yaml

部署 Prometheus 和示例应用程序

好了，初始设置完成了。让我们部署一些公开一些指标的应用程序！为了演示目的，让我们部署一个 Alertmanager：

---
apiVersion: monitoring.coreos.com/v1
kind: Alertmanager
metadata:
  name: main
  namespace: monitoring
spec:
  image: quay.io/prometheus/alertmanager:v0.26.0
  podMetadata:
    labels:
      app.kubernetes.io/instance: main
      app.kubernetes.io/name: alertmanager
  replicas: 1
  serviceAccountName: alertmanager-main
---
apiVersion: v1
kind: Service
metadata:
  name: alertmanager-main
  namespace: monitoring
  labels:
    app.kubernetes.io/instance: main
    app.kubernetes.io/name: alertmanager
spec:
  ports:
  - name: web
    port: 9093
    targetPort: web
  - name: reloader-web
    port: 8080
    targetPort: reloader-web
  selector:
    app.kubernetes.io/instance: main
    app.kubernetes.io/name: alertmanager
---
apiVersion: v1
automountServiceAccountToken: false
kind: ServiceAccount
metadata:
  name: alertmanager-main
  namespace: monitoring
---
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: alertmanager-main
  namespace: monitoring
spec:
  endpoints:
  - interval: 30s
    port: web
  - interval: 30s
    port: reloader-web
  selector:
    matchLabels:
      app.kubernetes.io/instance: main
      app.kubernetes.io/name: alertmanager

还有一个 Prometheus 负责抓取这个 Alertmanager（以及之后部署的更多内容）。我们希望根据每秒抓取的样本进行扩展，因此我们将配置 Prometheus 来抓取自身

apiVersion: monitoring.coreos.com/v1
kind: Prometheus
metadata:
  name: k8s
spec:
  image: quay.io/prometheus/prometheus:v2.48.1
  podMetadata:
    labels:
      app.kubernetes.io/instance: k8s
      app.kubernetes.io/name: prometheus
  shards: 1
  serviceAccountName: prometheus-k8s
  serviceMonitorSelector: {}
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: prometheus-k8s
rules:
- apiGroups:
  - ""
  resources:
  - configmaps
  verbs:
  - get
- apiGroups:
  - ""
  resources:
  - services
  - endpoints
  - pods
  verbs:
  - get
  - list
  - watch
- apiGroups:
  - extensions
  resources:
  - ingresses
  verbs:
  - get
  - list
  - watch
- apiGroups:
  - networking.k8s.io
  resources:
  - ingresses
  verbs:
  - get
  - list
  - watch
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: prometheus-k8s
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: prometheus-k8s
subjects:
- kind: ServiceAccount
  name: prometheus-k8s
  namespace: default
---
apiVersion: v1
kind: Service
metadata:
  name: prometheus-k8s
  labels:
    app.kubernetes.io/instance: k8s
    app.kubernetes.io/name: prometheus
spec:
  ports:
  - name: web
    port: 9090
    targetPort: web
  - name: reloader-web
    port: 8080
    targetPort: reloader-web
  selector:
    app.kubernetes.io/instance: k8s
    app.kubernetes.io/name: prometheus
---
apiVersion: v1
automountServiceAccountToken: true
kind: ServiceAccount
metadata:
  name: prometheus-k8s
---
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: prometheus-k8s
spec:
  endpoints:
  - interval: 30s
    port: web
  - interval: 30s
    port: reloader-web
  selector:
    matchLabels:
      app.kubernetes.io/instance: k8s
      app.kubernetes.io/name: prometheus

部署完所有内容后，我们可以通过暴露其 UI 来验证 Prometheus 的表现：

$ kubectl port-forward prometheus-k8s-0 9090

如果我们查询指标
sum(rate(prometheus_tsdb_head_samples_appended_total[2m])),
我们会注意到我们稳定在每秒摄取 40~50 个样本左右。

配置 Keda 来扩展/缩小 Prometheus

Keda 的自动缩放对象是通过ScaledObject CRD配置的。 ScaledObjects 有大量不同的缩放器，但在这里我们将使用Prometheus 缩放器来缩放 Prometheus 本身。

apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
  name: prometheus
spec:
  scaleTargetRef:
    apiVersion: monitoring.coreos.com/v1
    kind: Prometheus
    name: k8s
  minReplicaCount:  1
  maxReplicaCount:  100
  fallback:
    failureThreshold: 5
    replicas: 10
  triggers:
  - type: prometheus
    metadata:
      serverAddress: http://prometheus-k8s.svc.default.cluster.local:9090 
      # Ingested samples per second across all shards
      query: sum(rate(prometheus_tsdb_head_samples_appended_total[2m])) 
      # We'll scale up/down on every 200 samples ingested per second
      threshold: '200'

要验证 ScaledObject 是否按预期工作，请运行：

$ kubectl get scaledobject prometheus

你应该看到这一点STATUS并且ACTIVE两者都应该是True。

触发扩缩容

现在让我们开始有趣的部分，首先增加 Alertmanager Pod 的数量：

$ kubectl patch alertmanager main -p '{"spec": {"replicas": 20}}' --type merge

在检查 Prometheus UI 时，我们会注意到摄取的样本快速增加:

如果我们检查 Prometheus Pod 的数量，我们会注意到正在部署新的分片：

$ kubectl get pods -l app.kubernetes.io/name=prometheus
NAME                       READY   STATUS    RESTARTS   AGE
prometheus-k8s-0           2/2     Running   0          21m
prometheus-k8s-shard-1-0   2/2     Running   0          2m54s
prometheus-k8s-shard-2-0   2/2     Running   0          2m24s
prometheus-k8s-shard-3-0   1/2     Running   0          54s

我们还验证一下，如果负载减少，Prometheus Pod 是否会缩小规模

$ kubectl patch alertmanager main -p '{"spec": {"replicas": 1}}' --type merge

几分钟后，分片将返回较少数量的摄取样本，Keda 应再次调整分片数量：

$ kubectl get pods -l app.kubernetes.io/name=prometheus
NAME               READY   STATUS    RESTARTS   AGE
prometheus-k8s-0   2/2     Running   0          30m

其他

https://www.arthursens.dev/posts/prometheus-shard-autoscaling
https://keda.sh/docs/2.13/scalers/prometheus/#integrating-cloud-offerings

点击关注，第一时间了解华为云新鲜技术~

微信关注我们

原文链接：https://my.oschina.net/u/4526289/blog/11054164

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

根据Nginx Ingress指标对指定后端进行HPA

本文分享自华为云社区《根据Nginx Ingress指标对指定后端进行HPA》，作者：可以交个朋友。背景生产场景下，Nginx Ingress的流量会通过域名和path路径最终转发至不同的应用，而有时候cpu和内存并不是nginx的性能瓶颈，此时可以基于nginx_ingress_controller_requests指标，为其对应的应用配置HPA，以实现基于不同域名和path的请求量弹性指定后端工作负载简介环境准备 nginx-ingress已部署云原生监控插件kube-prometheus-stack已安装（server模式)，插件默认监控nginx-ingress，开源环境请自行配置监控。已配置kubectl命令或使用cloudshell 注意：由于HPA规则中scaleTargetRef和describedObject两个字段都无法指定命名空间，所以指标来源、HPA和弹性目标需在同一命名空间，而nginx-ingress和业务工作负载一般处在不同命名空间；本次方案采用external类型的HPA，可以忽略指标来源的命名空间操作步骤创建演示需要的弹性目标工作负载...

2024-04-22

275

本文分享自华为云社区《世界读书日 | 开发者必读书单重磅来袭，华为云DTSE专家天团力荐》，作者：华为云社区精选。春色恰如许，读书正当时。读书，就像解锁一把神秘钥匙，为开发者洞开新世界的大门，赋予他们破译复杂难题的能力、挑战未知领域的勇气。书页翻动间，开发者得以站在巨人的肩膀上，汲取前人经验，积蓄改变世界的能量。正值世界读书日，华为云DTSE专家们分享了他们心中的宝藏书籍，并整理成这份开发者必读书单，从深度解析算法奥秘，揭秘网站架构设计原理，培养数据分析思维，到解锁开发者关系的艺术，覆盖大模型、AI、云原生、软件开发等多个技术领域。欢迎大家收藏阅读，让优质好书成为你攀登技术巅峰的阶梯。现在，分享你心中的宝藏技术书籍，与华为云DTSE专家互动，还能赢取开发者定制礼品。华为云技术专家都在读什么？ 1、《开发者思维技术如何驱动企业的未来》作者：杰夫·劳森 “值得每一位想要了解开发者生态/开发者关系的人阅读” 非常棒的一本书！不敢相信我现在才知道它，作者是Twilio公司的创始人，Twilio集聚了大量的开发者群体，产品也深受开发者们的青睐，撰写此书再合适不过。时代的发展已经...

2024-04-23

324

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。