Cloudeye对接Prometheus实现华为云全方位监控

本文分享自华为云社区《Cloudeye对接Prometheus实现华为云全方位监控》,作者:可以交个朋友 。

一、 背景

云眼系统Cloudeye服务为我们提供了针对弹性云服务器、宽带等资源的立体化监控平台。帮助我们全面了解华为云上的资源使用情况、业务的运行状况。将华为云Cloudeye服务接入 prometheus后,可以利用 Prometheus生态更好地监控和分析来自 Cloudeye服务的数据。

image.png

二、 简介

通过使用cloudeye-exporter,将华为云Cloudeye服务与华为云CCE集群(Kubernetes集群)中的Prometheus容器进行对接。继而使用Prometheus系统对云上资源的性能数据进行运维监控。

注意:该exporter仅适用于华为云局点。

三、实践演示

Prometheus将会以operator形式部署在kubernetes集群当中。所以也需要制作cloudeye-exporter容器镜像,然后容器化部署在kubernetes集群中。

3.1 获取cloudeye-exporter安装包

1、下载最新版本的cloudeye-exporter

查看插件Releases版本 (https://github.com/huaweicloud/cloudeye-exporter/releases) ,获取cloudeye-exporter下载地址,下载解压安装。

mkdir cloudeye-exporter & cd cloudeye-exporter

wget https://github.com/huaweicloud/cloudeye-exporter/releases/download/v2.0.6/cloudeye-exporter.v2.0.6.tar.gz

2、解压

tar -xzvf cloudeye-exporter.v2.0.6.tar.gz

image.png

3.2 制作容器镜像

1、需要编写Dockerfile文件 这里使用centos用作基础镜像

FROM centos  
COPY cloudeye-exporter logs.yml metric.yml /root/
WORKDIR /root
CMD ["/root/cloudeye-exporter"]

2、构建容器镜像

docker build -t swr.cn-north-4.myhuaweicloud.com/k8s-solution/cloudeye-exporter:v2.0.6 --platform=linux/amd64 .

image.png
 

3、推送至镜像仓库

建议使用华为云SWR镜像仓库

3.3 配置cloudeye-exporter的访问鉴权

1、编辑clouds.yml文件配置公有云信息

cloudeye-exporter 启动时需要使用该配置文件进行云服务的访问鉴权
global:
  port: ":8087" # 监听端口 :8087代表在全部网络接口上开启监听8087端口,限定内部访问也可以指定IP例如:192.168.1.100:8087
  scrape_batch_size: 300
auth:
  auth_url: "https://iam.cn-north-4.myhuaweicloud.com/v3"
  project_name: "cn-north-4" # 华为云项目名称,可以在“华为云->统一身份认证服务->项目”中查看
  access_key: "" # IAM用户访问密钥 您可参考3.1章节使用命令行输入加密后的ak sk,避免在配置文件中明文配置AK SK
  secret_key: ""
  region: "cn-north-4" # 区域ID

2、基于该配置文件创建kubernetes secrets

kubectl create secret generic clouds-exporter --from-file=clouds.yml -n monitoring
容器化部署需要将该配置以secrets形式挂载给cloudeye-exporter

3.4 CCE集群(k8s集群)部署cloudeye-exporter

1、首先部署负载和service

apiVersion: apps/v1
kind: Deployment
metadata:
  name: cloudeye-exporter
  namespace: monitoring
  labels:
    app: cloudeye-exporter
spec:
  replicas: 1
  selector:
    matchLabels:
      app: cloudeye-exporter
  template:
    metadata:
      labels:
        app: cloudeye-exporter
    spec:
      volumes:
        - name: cloudeye
          secret:
            secretName: clouds-exporter
      imagePullSecrets:
        - name: default-secret
      containers:
      - name: cloudeye-exporter
        image: swr.cn-north-4.myhuaweicloud.com/k8s-solution/cloudeye-exporter:v2.0.6
        ports:
          - containerPort: 8087
        resources:
          limits:
            cpu: 500m
            memory: 1Gi
          requests:
            cpu: 100m
            memory: 500Mi
        volumeMounts:
          - name: cloudeye
            mountPath: "/root/clouds.yml"
            subPath: clouds.yml

---
apiVersion: v1
kind: Service
metadata:
  name: cloudeye-exporter
  namespace: monitoring
  labels: 
    app: cloudeye-exporter
spec:
  selector:
    app: cloudeye-exporter
  ports:
  - name: ces
    targetPort: 8087  #业务监听端口
    port: 8087
    protocol: TCP
  type: ClusterIP
2、确认是cloudeye-exporter否暴露指标

部署成功,查看Pod信息。访问pod指标端点,确认指标源是否能暴露指标。

curl http://podIP:8087/metrics?services='SYS.VPC'

image.png
cloudeye-exporter Pod实例作为Prometheus抓取指标的源端,可以暴露监控数据。

查看Service,确认访问Service能否获取数据

image.png

2、注意

需要注意: 由于cloudeye-exporter需要访问公网端点:   iam.huaweicloud.com。如果您使用的kuberntes平台是CCE turbo集群,需要对容器网段配置公网snat。否则指标数据抓取会失败。

3.5 Prometheus对接cloudeye-exporter获取指标

修改prometheus中的prometheus.yml文件配置。由于现在k8s集群中都会采用prometheus-operator形态部署Prometheus。所以我们需要编写ServiceMonitor进行指标的获取。

1、以监控华为云VPC,ELB服务为例

抓取规则cloudeye-exporter-servicemonitor.yaml 如下:

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata: 
  name: cloudeye-exporter
  namespace: monitoring 
  labels:
    app: cloudeye-exporter
spec:
  endpoints:
    - interval: 1m
      scrapeTimeout: 1m
      port: ces
      scheme: http
      params:
        services: ['SYS.VPC,SYS.ELB']
  namespaceSelector:
    matchNames:
    - monitoring
  selector:
    matchLabels:
      app: cloudeye-exporter

2、将上述抓取规则于集群中创建。等待片刻可观察到Prometheus已经成功抓取

image.png

image.png

3、至此,cloudeye-exporter成功接入Prometheus。

3.6 接入Grafana大盘

华为云社区提供了若干个云服务现成的dashborad。我们可以拿来使用。

https://github.com/huaweicloud/cloudeye-exporter/tree/v2.0.6/grafana_dashboard/templates

例如: 使用VPC云服务的dashboard。

1、将该dashboard的json文件上传到grafana中

image.png

选择好数据源后,点击导入即可。

2、发现异常

会发现dashboard并未产生数据

image.png

3、解决方式
根据华为云社区声明: 如果需要直接使用以下模板,需要修改prometheus配置,增加获取企业项目信息的任务。所以我们还需要修改servicemonitor,在原来cloudeye-exporter-servicemonitor的基础上增加一项配置
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata: 
  name: cloudeye-exporter
  namespace: monitoring 
  labels:
    app: cloudeye-exporter
spec:
  endpoints:
    - interval: 1m
      scrapeTimeout: 1m
      port: ces
      scheme: http
      params:
        services: ['SYS.VPC,SYS.ELB']
    # 配置该任务获取企业项目信息,用于华为云云服务的dashboard
    - interval: 1m
      scrapeTimeout: 1m
      port: ces
      path: "/eps-info"
      scheme: http
  namespaceSelector:
    matchNames:
    - monitoring
  selector:
    matchLabels:
      app: cloudeye-exporter

在集群中将上述指标抓取规则更新后,等待片刻后。

4、前往Prometheus页面可查看到,新的抓取任务已成功运行

image.png

image.png

5、再次观察Grafana

此时再前往Grafana前端查看dashboard: 华为云VPC云服务dashboard已成功展示

image.png

6、导入ELB grafana dashboard

image.png

华为云ELB监控信息也成功展示

四 、延伸扩展

目前已支持的Grafana Dashboard有:

  • 云搜索服务 CSS
  • 云专线 DCAAS
  • 分布式缓存服务 DCS
  • 弹性云服务器 ECS
  • 弹性负载均衡 ELB
  • 关系型数据库 RDS
  • Web应用防火墙 WAF
  • 弹性公网IP和带宽 VPC

点击关注,第一时间了解华为云新鲜技术~

 

优秀的个人博客,低调大师

微信关注我们

原文链接:https://my.oschina.net/u/4526289/blog/10323193

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

相关文章

发表评论

资源下载

更多资源
Oracle Database,又名Oracle RDBMS

Oracle Database,又名Oracle RDBMS

Oracle Database,又名Oracle RDBMS,或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统,系统可移植性好、使用方便、功能强,适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Apache Tomcat7、8、9(Java Web服务器)

Apache Tomcat7、8、9(Java Web服务器)

Tomcat是Apache 软件基金会(Apache Software Foundation)的Jakarta 项目中的一个核心项目,由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定,而且免费,因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可,成为目前比较流行的Web 应用服务器。

Java Development Kit(Java开发工具)

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包,主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心,它包含了JAVA的运行环境(JVM+Java系统类库)和JAVA工具。

Sublime Text 一个代码编辑器

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。