Kubernetes + Spring Cloud 集成链路追踪 SkyWalking-低调大师

Kubernetes + Spring Cloud 集成链路追踪 SkyWalking

2021-07-01 907

一、概述

1、什么是 SkyWalking ？

分布式系统的应用程序性能监视工具，专为微服务、云原生架构和基于容器（Docker、K8s、Mesos）架构而设计。提供分布式追踪、服务网格遥测分析、度量聚合和可视化一体化解决方案。

官网地址：http://skywalking.apache.org/

2、SkyWalking 特性

多种监控手段，语言探针和 Service Mesh
多语言自动探针，Java，.NET Core和Node.JS
轻量高效，不需要大数据
模块化，UI、存储、集群管理多种机制可选
支持告警
优秀的可视化方案

3、整体结构

整个架构，分成上、下、左、右四部分：

考虑到让描述更简单，我们舍弃掉 Metric 指标相关，而着重在 Tracing 链路相关功能。

上部分 Agent ：负责从应用中，收集链路信息，发送给 SkyWalking OAP 服务器。目前支持 SkyWalking、Zikpin、Jaeger 等提供的 Tracing 数据信息。而我们目前采用的是，SkyWalking Agent 收集 SkyWalking Tracing数据，传递给服务器。
下部分 SkyWalking OAP ：负责接收 Agent 发送的 Tracing 数据信息，然后进行分析(Analysis Core) ，存储到外部存储器( Storage )，最终提供查询( Query)功能。
右部分 Storage ：Tracing 数据存储。目前支持 ES、MySQL、Sharding Sphere、TiDB、H2 多种存储器。而我们目前采用的是 ES ，主要考虑是 SkyWalking 开发团队自己的生产环境采用 ES 为主。
左部分 SkyWalking UI ：负责提供控台，查看链路等等

简单概况原理为下图：

二、搭建 skywalking

1、环境准备

Mkubernetes 版本：1.18.5
Nginx Ingress 版本：2.2.8
Helm 版本：3.2.4
持久化存储驱动：NFS

2、使用 chart 部署

本文主要讲述的是如何使用 Helm Charts 将 SkyWalking 部署到 Kubernetes 集群中，相关文档可以参考skywalking-kubernetes

目前推荐的四种方式：

使用 helm 3 提供的 helm serve 启动本地 helm repo
使用本地 chart 文件部署
使用 harbor 提供的 repo 功能
直接从官方 repo 进行部署（暂不满足）

❝
注意：目前 skywalking 的 chart 还没有提交到官方仓库，请先参照前三种方式进行部署
❞

2.1、下载 chart 文件

可以直接使用本地文件部署 skywalking,按照上面的步骤将skywalking chart下载完成之后，直接使用以下命令进行部署：

git clone https://github.com/apache/skywalking-kubernetes
cd skywalking-kubernetes/chart
helm repo add elastic https://helm.elastic.co
helm dep up skywalking
export SKYWALKING_RELEASE_NAME=skywalking  # 定义自己的名称
export SKYWALKING_RELEASE_NAMESPACE=default  # 定义自己的命名空间

2.2、定义已存在es参数文件

修改values-my-es.yaml:

oap:
  image:
    tag: 8.1.0-es7      # Set the right tag according to the existing Elasticsearch version
  storageType: elasticsearch7

ui:
  image:
    tag: 8.1.0

elasticsearch:
  enabled: false
  config:               # For users of an existing elasticsearch cluster,takes effect when `elasticsearch.enabled` is false
    host: elasticsearch-client
    port:
      http: 9200
    user: "elastic"         # [optional]
    password: "admin@123"     # [optional]

2.3、helm 安装

helm install "${SKYWALKING_RELEASE_NAME}" skywalking -n "${SKYWALKING_RELEASE_NAMESPACE}" \
  -f ./skywalking/values-my-es.yaml

安装完成后，我们核实下安装情况：

$ kubectl get deployment -n skywalking
NAME                READY   UP-TO-DATE   AVAILABLE   AGE
my-skywalking-oap   2/2     2            2           9m
my-skywalking-ui    1/1     1            1           9m

三、使用 Skywalking Agent

Java 中使用 agent ，提供了以下三种方式供你选择

使用官方提供的基础镜像
将 agent 包构建到已经存在的基础镜像中
sidecar 模式挂载 agent（推荐）

1、使用官方提供的基础镜像

查看官方 docker hub 提供的基础镜像，只需要在你构建服务镜像是 From 这个镜像即可，直接集成到 Jenkins 中可以更加方便

2、将 agent 包构建到已经存在的基础镜像中

提供这种方式的原因是：官方的镜像属于精简镜像，并且是 openjdk ，可能很多命令没有，需要自己二次安装，这里略过。

3、sidecar 模式挂载 agent

由于服务是部署在 Kubernetes 中，使用这种方式来使用 Skywalking Agent ,这种方式的好处在不需要修改原来的基础镜像，也不用重新构建新的服务镜像，而是以sidecar 模式，通过共享 volume 的方式将 agent 所需的相关文件挂载到已经存在的服务镜像中。

3.1、构建 skywalking agent image

自己构建,参考：https://hub.docker.com/r/prophet/skywalking-agent

通过以下 dockerfile 进行构建：

FROM alpine:3.8

LABEL maintainer="zuozewei@hotmail.com"

ENV SKYWALKING_VERSION=8.1.0

ADD http://mirrors.tuna.tsinghua.edu.cn/apache/skywalking/${SKYWALKING_VERSION}/apache-skywalking-apm-${SKYWALKING_VERSION}.tar.gz /

RUN tar -zxvf /apache-skywalking-apm-${SKYWALKING_VERSION}.tar.gz && \
    mv apache-skywalking-apm-bin skywalking && \
    mv /skywalking/agent/optional-plugins/apm-trace-ignore-plugin* /skywalking/agent/plugins/ && \
    echo -e "\n# Ignore Path" >> /skywalking/agent/config/agent.config && \
    echo "# see https://github.com/apache/skywalking/blob/v8.1.0/docs/en/setup/service-agent/java-agent/agent-optional-plugins/trace-ignore-plugin.md" >> /skywalking/agent/config/agent.config && \
    echo 'trace.ignore_path=${SW_IGNORE_PATH:/health}' >> /skywalking/agent/config/agent.config

docker build -t 172.16.106.237/monitor/skywalking-agent:8.1.0 .

待 docker build 完毕后，push 到仓库即可。

3.2、使用 sidecar 挂载

示例配置文件如下：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: demo-skywalking
spec:
  replicas: 1
  selector:
    matchLabels:
      app: demo-skywalking
  strategy:
    rollingUpdate:
      maxSurge: 1
      maxUnavailable: 0
    type: RollingUpdate
  template:
    metadata:
      labels:
        app: demo-skywalking
    spec:
      initContainers:
        - name: init-skywalking-agent
          image: 172.16.106.237/monitor/skywalking-agent:8.1.0
          command:
            - 'sh'
            - '-c'
            - 'set -ex;mkdir -p /vmskywalking/agent;cp -r /skywalking/agent/* /vmskywalking/agent;'
          volumeMounts:
            - mountPath: /vmskywalking/agent
              name: skywalking-agent
      containers:
        - image: nginx:1.7.9
          imagePullPolicy: Always
          name: nginx
          ports:
            - containerPort: 80
              protocol: TCP
          volumeMounts:
            - mountPath: /opt/skywalking/agent
              name: skywalking-agent
      volumes:
        - name: skywalking-agent
          emptyDir: {}

以上是挂载 sidecar 的 deployment.yaml 文件，以 nginx 作为服务为例，主要是通过共享 volume 的方式挂载 agent，首先 initContainers 通过 skywalking-agent 卷挂载了 sw-agent-sidecar 中的 /vmskywalking/agent，并且将上面构建好的镜像中的 agent 目录 cp 到了 /vmskywalking/agent 目录，完成之后 nginx 启动时也挂载了 skywalking-agent 卷，并将其挂载到了容器的 /opt/skywalking/agent 目录，这样就完成了共享过程。

四、改造 Spring Cloud 应用

1、docker打包并推送到仓库

修改下 dockerfile 配置，集成 skywalking agent：

FROM insideo/centos7-java8-build
VOLUME /tmp
ADD mall-admin.jar app.jar
RUN bash -c 'touch /app.jar'
RUN ln -snf /usr/share/zoneinfo/Asia/Shanghai  /etc/localtime && echo Asia/Shanghai > /etc/timezone
ENTRYPOINT ["java","-Dapp.id=svc-mall-admin","-javaagent:/opt/skywalking/agent/skywalking-agent.jar","-Dskywalking.agent.service_name=svc-mall-admin","-Dskywalking.collector.backend_service=my-skywalking-oap.skywalking.svc.cluster.local:11800","-jar","-Dspring.profiles.active=prod","-Djava.security.egd=file:/dev/./urandom","/app.jar"]

改好了，直接运行 maven package 就能将这个项目打包成镜像。

注意：

❝
k8s 创建 Service 时，它会创建相应的 DNS 条目。此条目的格式为 <service-name>.<namespace-name>.svc.cluster.local，这意味着如果容器只使用<service-name>，它将解析为本地服务到命名空间。如果要跨命名空间访问，则需要使用完全限定的域名。
❞

2、编写 k8s的yaml版本的部署脚本

这里我以其中某服务举例：

---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: svc-mall-admin
spec:
  replicas: 1
  selector:
    matchLabels:
      app: svc-mall-admin
  strategy:
    rollingUpdate:
      maxSurge: 1
      maxUnavailable: 0
    type: RollingUpdate
  template:
    metadata:
      labels:
        app: svc-mall-admin
    spec:
      initContainers:
        - name: init-skywalking-agent
          image: 172.16.106.237/monitor/skywalking-agent:8.1.0
          command:
            - 'sh'
            - '-c'
            - 'set -ex;mkdir -p /vmskywalking/agent;cp -r /skywalking/agent/* /vmskywalking/agent;'
          volumeMounts:
            - mountPath: /vmskywalking/agent
              name: skywalking-agent
      containers:
        - image: 172.16.106.237/mall_repo/mall-admin:1.0
          imagePullPolicy: Always
          name: mall-admin
          ports:
            - containerPort: 8180
              protocol: TCP
          volumeMounts:
            - mountPath: /opt/skywalking/agent
              name: skywalking-agent
      volumes:
        - name: skywalking-agent
          emptyDir: {}
---
apiVersion: v1
kind: Service
metadata:
  name: svc-mall-admin
spec:
  ports:
    - name: http
      port: 8180
      protocol: TCP
      targetPort: 8180
  selector:
    app: svc-mall-admin

然后就可以直接运行了,它就可以将的项目全部跑起来了。

五、测试验证

完事，可以去 SkyWalking UI 查看是否链路收集成功。

1、测试应用 API

首先，请求下 Spring Cloud 应用提供的 API。因为，我们要追踪下该链路。

2、查看 SkyWalking UI 界面

在这里插入图片描述

这里，我们会看到 SkyWalking 中非常重要的三个概念：

服务(Service) ：表示对请求提供相同行为的一系列或一组工作负载。在使用 Agent 或 SDK 的时候，你可以定义服务的名字。如果不定义的话，SkyWalking 将会使用你在平台（例如说 Istio）上定义的名字。这里，我们可以看到 Spring Cloud 应用的服务为 svc-mall-admin，就是我们在 agent 环境变量 service_name 中所定义的。
服务实例(Service Instance) ：上述的一组工作负载中的每一个工作负载称为一个实例。就像 Kubernetes 中的 pods 一样, 服务实例未必就是操作系统上的一个进程。但当你在使用 Agent 的时候, 一个服务实例实际就是操作系统上的一个真实进程。这里，我们可以看到 Spring Cloud 应用的服务为 UUID@hostname，由 Agent 自动生成。
端点(Endpoint) ：对于特定服务所接收的请求路径, 如 HTTP 的 URI 路径和 gRPC 服务的类名 + 方法签名。

这里，我们可以看到 Spring Cloud 应用的一个端点，为 API 接口 /mall-admin/admin/login。

更多 agent 参数介绍参考：https://github.com/apache/skywalking/blob/v8.1.0/docs/en/setup/service-agent/java-agent/README.md

点击「拓扑图」菜单，进入查看拓扑图的界面：点击「追踪」菜单，进入查看链路数据的界面：

六、小结

本文详细介绍了如何使用 Kubernetes + Spring Cloud 集成 SkyWalking，顺便说下调用链监控在目前的微服务系统里面是必不可少的组件，分布式追踪、服务网格遥测分析、度量聚合和可视化还是挺好用的，这里我们选择了 Skywalking，具体原因和细节的玩法就不在此详述了。

微信关注我们

原文链接：https://blog.51cto.com/u_15181572/2961802

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

从0到1，轻松构建数据预测模型

2 --> 说在前面：大家好，我是爱学习的小xiong熊妹。之前和大家分享了趋势型预测方法，很多小伙伴想看躺平型与周期型预测，今天他们来了。首先回顾一下，常见的数据走势有三种：趋势型：连续发展的态势。躺平型：变动较少，一条直线。周期型：有规律的周期性波动。直接看图，能一眼认出来是哪一种（如下图）认清楚走势以后，就能选择对应的模型啦。先看躺平型的例子。举例：某门店业绩数据如下图所示，请预测2021年4月的业绩：看到这张图，很多小伙伴会直呼：这个看起来，和100000的线很像呀，就是围绕100000的线在波动，我能直接按100000去预测吗？答：当然可以呀。躺平型只要躺的够“平”，完全可以用平均值来做预测值。还有专门的方法叫：移动平均值法，即把近N期的数据平均值，作为预测值。不过这样做有个问题：看起来不够高大上，领导们又说：“有没有大数据算法来搞搞……”哎，就是总有人迷信这个，那就弄个看起来复杂一点的：用指数平滑法来预测。指数平滑法预测数据模型用指数平滑法需要调用excel的分析工具，可以点击上方的：文件→选项，在加载项中选择：分析工具箱 ...

2021-07-01

476

2 --> 前言切片是一种复合数据类型，与数组类似，存放相同数据类型的元素，但数组的大小是固定的，而切片的大小可变，可以按需自动改变大小。切片是基于底层数组实现的，是对数组的抽象。切片很小，只有三个字段的数据结构：指向底层数组的指针、能访问的元素个数（即切片长度）和允许增长到的元素个数（即切片容量）。如上图所示，一个长度为3、容量为5的整型切片的底层结构。声明与初始化 make()创建使用内置函数创建空切片，形如： s:=make([]type,len,cap)//len长度，cap容量也可以只指定len，那么切片的容量和长度是一样的。Go语言提供了内置函数len、cap分别返回切片的长度和容量。 //声明一个长度为3、容量为5的整型切片s1:=make([]int,3,5)fmt.Println(len(s1),cap(s1))// 输出：3 5//声明一个长度和容量都是5的字符串切片s2:=make([]string,5)fmt.Println(len(s2),cap(s2))// 输出：5 5 切片创建完成，如果不指定字面量的话，默认值就是数组的元素的零值。切片的容量就...

2021-07-01

510

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。