KubeSphere 开源 KubeEye：Kubernetes 集群自动巡检工具

2021-02-04 583

为什么开源 KubeEye

Kubernetes 作为容器编排的事实标准，虽然架构优雅功能也非常强大，但是 Kubernetes 在日常运行过程中总会有一些疑难杂症和隐性的问题让集群管理员和 Yaml 工程师们非常头疼，

基础设施守护进程问题：ntp 服务中断；
硬件问题：如 CPU，内存或磁盘异常；
内核问题：内核死锁，文件系统损坏；
容器运行时问题：运行时守护进程无响应；
···

这样的问题还有很多，并且这些隐性的异常问题对集群的控制面来说是不可见的，因此 Kubernetes 将继续将 Pod 调度到异常的节点，进而造成集群和运行的应用带来非常大的安全与稳定性的风险。

什么是 KubeEye

KubeEye 是一款开源的集群自动巡检工具，旨在发现 Kubernetes 上的各种问题，比如应用配置错误、集群组件不健康和节点问题。KubeEye 使用 Go 语言基于 Polaris 和 Node-Problem-Detector 开发，内置了一系列异常检测规则。除了预定义的规则，它还支持自定义规则。

KubeEye 能做什么

发现与检测 Kubernetes 集群控制平面的问题，包括 kube-apiserver/kube-controller-manager/etcd 等；
帮助你检测 Kubernetes 的各种节点问题，包括内存/CPU/磁盘压力，意外的内核错误日志等；
根据行业最佳实践验证你的工作负载 yaml 规范，帮助你使你的集群稳定。

架构图

KubeEye 通过调用 Kubernetes API，通过常规匹配日志中的关键错误信息和容器语法的规则匹配来获取集群诊断数据，详见架构。

内置检查项

是/否	检查项	描述
√	ETCDHealthStatus	如果 etcd 启动并正常运行
√	ControllerManagerHealthStatus	如果 kubernetes kube-controller-manager 正常启动并运行
√	SchedulerHealthStatus	如果 kubernetes kube-schedule 正常启动并运行
√	NodeMemory	如果节点内存使用量超过阈值
√	DockerHealthStatus	如果 docker 正常运行
√	NodeDisk	如果节点磁盘使用量超过阈值
√	KubeletHealthStatus	如果 kubelet 激活状态且正常运行
√	NodeCPU	如果节点 CPU 使用量超过阈值
√	NodeCorruptOverlay2	Overlay2 不可用
√	NodeKernelNULLPointer	node 显示 NotReady
√	NodeDeadlock	死锁是指两个或两个以上的进程在争夺资源时互相等待的现象。
√	NodeOOM	监控那些消耗过多内存的进程，尤其是那些消耗大量内存非常快的进程，内核会杀掉它们，防止它们耗尽内存
√	NodeExt4Error	Ext4 挂载失败
√	NodeTaskHung	检查D状态下是否有超过 120s 的进程
√	NodeUnregisterNetDevice	检查对应网络
√	NodeCorruptDockerImage	检查 docker 镜像
√	NodeAUFSUmountHung	检查存储
√	NodeDockerHung	Docker hang住, 检查 docker 的日志
√	PodSetLivenessProbe	如果为pod中的每一个容器设置了 livenessProbe
√	PodSetTagNotSpecified	镜像地址没有声明标签或标签是最新
√	PodSetRunAsPrivileged	以特权模式运行 Pod 意味着 Pod 可以访问主机的资源和内核功能
√	PodSetImagePullBackOff	Pod 无法正确拉出镜像，因此可以在相应节点上手动拉出镜像
√	PodSetImageRegistry	检查镜像形式是否在相应仓库
√	PodSetCpuLimitsMissing	未声明 CPU 资源限制
√	PodNoSuchFileOrDirectory	进入容器查看相应文件是否存在
√	PodIOError	这通常是由于文件 IO 性能瓶颈
√	PodNoSuchDeviceOrAddress	检查对应网络
√	PodInvalidArgument	检查对应存储
√	PodDeviceOrResourceBusy	检查对应的目录和 PID
√	PodFileExists	检查现有文件
√	PodTooManyOpenFiles	程序打开的文件/套接字连接数超过系统设置值
√	PodNoSpaceLeftOnDevice	检查磁盘和索引节点的使用情况
√	NodeApiServerExpiredPeriod	将检查 ApiServer 证书的到期日期少于30天
√	PodSetCpuRequestsMissing	未声明 CPU 资源请求值
√	PodSetHostIPCSet	设置主机 IP
√	PodSetHostNetworkSet	设置主机网络
√	PodHostPIDSet	设置主机 PID
√	PodMemoryRequestsMiss	没有声明内存资源请求值
√	PodSetHostPort	设置主机端口
√	PodSetMemoryLimitsMissing	没有声明内存资源限制值
√	PodNotReadOnlyRootFiles	文件系统未设置为只读
√	PodSetPullPolicyNotAlways	镜像拉策略并非总是如此
√	PodSetRunAsRootAllowed	以 root 用户执行
√	PodDangerousCapabilities	您在 ALL / SYS_ADMIN / NET_ADMIN 等功能中有危险的选择
√	PodlivenessProbeMissing	未声明 ReadinessProbe
√	privilegeEscalationAllowed	允许特权升级
	NodeNotReadyAndUseOfClosedNetworkConnection	http 2-max-streams-per-connection
	NodeNotReady	无法启动 ContainerManager 无法设置属性 TasksAccounting 或未知属性

注：未标注的项目正在开发中

怎么使用

机器上安装 KubeEye
- 从 Releases 中下载预构建的可执行文件。
- 或者你也可以从源代码构建
```
git clone https://github.com/kubesphere/kubeeye.git
cd kubeeye 
make install
```
[可选] 安装 Node-problem-Detector
注意：这一行将在你的集群上安装 npd，只有当你想要详细的报告时才需要。 ke install npd
KubeEye 执行自动巡检：

root@node1:# ke diag
NODENAME        SEVERITY     HEARTBEATTIME               REASON              MESSAGE
node18          Fatal        2020-11-19T10:32:03+08:00   NodeStatusUnknown   Kubelet stopped posting node status.
node19          Fatal        2020-11-19T10:31:37+08:00   NodeStatusUnknown   Kubelet stopped posting node status.
node2           Fatal        2020-11-19T10:31:14+08:00   NodeStatusUnknown   Kubelet stopped posting node status.
node3           Fatal        2020-11-27T17:36:53+08:00   KubeletNotReady     Container runtime not ready: RuntimeReady=false reason:DockerDaemonNotReady message:docker: failed to get docker version: Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?

NAME            SEVERITY     TIME                        MESSAGE
scheduler       Fatal        2020-11-27T17:09:59+08:00   Get http://127.0.0.1:10251/healthz: dial tcp 127.0.0.1:10251: connect: connection refused
etcd-0          Fatal        2020-11-27T17:56:37+08:00   Get https://192.168.13.8:2379/health: dial tcp 192.168.13.8:2379: connect: connection refused

NAMESPACE       SEVERITY     PODNAME                                          EVENTTIME                   REASON                MESSAGE
default         Warning      node3.164b53d23ea79fc7                           2020-11-27T17:37:34+08:00   ContainerGCFailed     rpc error: code = Unknown desc = Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?
default         Warning      node3.164b553ca5740aae                           2020-11-27T18:03:31+08:00   FreeDiskSpaceFailed   failed to garbage collect required amount of images. Wanted to free 5399374233 bytes, but freed 416077545 bytes
default         Warning      nginx-b8ffcf679-q4n9v.16491643e6b68cd7           2020-11-27T17:09:24+08:00   Failed                Error: ImagePullBackOff
default         Warning      node3.164b5861e041a60e                           2020-11-27T19:01:09+08:00   SystemOOM             System OOM encountered, victim process: stress, pid: 16713
default         Warning      node3.164b58660f8d4590                           2020-11-27T19:01:27+08:00   OOMKilling            Out of memory: Kill process 16711 (stress) score 205 or sacrifice child Killed process 16711 (stress), UID 0, total-vm:826516kB, anon-rss:819296kB, file-rss:0kB, shmem-rss:0kB
insights-agent  Warning      workloads-1606467120.164b519ca8c67416            2020-11-27T16:57:05+08:00   DeadlineExceeded      Job was active longer than specified deadline
kube-system     Warning      calico-node-zvl9t.164b3dc50580845d               2020-11-27T17:09:35+08:00   DNSConfigForming      Nameserver limits were exceeded, some nameservers have been omitted, the applied nameserver line is: 100.64.11.3 114.114.114.114 119.29.29.29
kube-system     Warning      kube-proxy-4bnn7.164b3dc4f4c4125d                2020-11-27T17:09:09+08:00   DNSConfigForming      Nameserver limits were exceeded, some nameservers have been omitted, the applied nameserver line is: 100.64.11.3 114.114.114.114 119.29.29.29
kube-system     Warning      nodelocaldns-2zbhh.164b3dc4f42d358b              2020-11-27T17:09:14+08:00   DNSConfigForming      Nameserver limits were exceeded, some nameservers have been omitted, the applied nameserver line is: 100.64.11.3 114.114.114.114 119.29.29.29


NAMESPACE       SEVERITY     NAME                      KIND         TIME                        MESSAGE
kube-system     Warning      node-problem-detector     DaemonSet    2020-11-27T17:09:59+08:00   [livenessProbeMissing runAsPrivileged]
kube-system     Warning      calico-node               DaemonSet    2020-11-27T17:09:59+08:00   [runAsPrivileged cpuLimitsMissing]
kube-system     Warning      nodelocaldns              DaemonSet    2020-11-27T17:09:59+08:00   [cpuLimitsMissing runAsPrivileged]
default         Warning      nginx                     Deployment   2020-11-27T17:09:59+08:00   [cpuLimitsMissing livenessProbeMissing tagNotSpecified]
insights-agent  Warning      workloads                 CronJob      2020-11-27T17:09:59+08:00   [livenessProbeMissing]
insights-agent  Warning      cronjob-executor          Job          2020-11-27T17:09:59+08:00   [livenessProbeMissing]
kube-system     Warning      calico-kube-controllers   Deployment   2020-11-27T17:09:59+08:00   [cpuLimitsMissing livenessProbeMissing]
kube-system     Warning      coredns                   Deployment   2020-11-27T17:09:59+08:00   [cpuLimitsMissing]

可参考常见 FAQ内容来优化您的集群。

添加自定义检查规则

除了上述预置的巡检项目与规则，KubeEye 还支持自定义检查规则，来看个例子：

添加 npd 自定义检查规则

安装 NPD 指令 ke install npd
由 kubectl 编辑 configmap kube-system/node-problem-detector-config,

kubectl edit cm -n kube-system node-problem-detector-config

在 configMap 的规则下添加异常日志信息，规则遵循正则表达式。

自定义最佳实践规则

准备一个规则 yaml，例如，下面的规则将验证你的 Pod 规范，以确保镜像只来自授权的注册处。

checks:
  imageFromUnauthorizedRegistry: warning

customChecks:
  imageFromUnauthorizedRegistry:
    promptMessage: When the corresponding rule does not match. Show that image from an unauthorized registry.
    category: Images
    target: Container
    schema:
      '$schema': http://json-schema.org/draft-07/schema
      type: object
      properties:
        image:
          type: string
          not:
            pattern: ^quay.io

将上述规则保存为 yaml，例如 rule.yaml。
用 rule.yaml 运行 KubeEye。

root:# ke diag -f rule.yaml --kubeconfig ~/.kube/config
NAMESPACE     SEVERITY    NAME                      KIND         TIME                        MESSAGE
default       Warning     nginx                     Deployment   2020-11-27T17:18:31+08:00   [imageFromUnauthorizedRegistry]
kube-system   Warning     node-problem-detector     DaemonSet    2020-11-27T17:18:31+08:00   [livenessProbeMissing runAsPrivileged]
kube-system   Warning     calico-node               DaemonSet    2020-11-27T17:18:31+08:00   [cpuLimitsMissing runAsPrivileged]
kube-system   Warning     calico-kube-controllers   Deployment   2020-11-27T17:18:31+08:00   [cpuLimitsMissing livenessProbeMissing]
kube-system   Warning     nodelocaldns              DaemonSet    2020-11-27T17:18:31+08:00   [runAsPrivileged cpuLimitsMissing]
default       Warning     nginx                     Deployment   2020-11-27T17:18:31+08:00   [livenessProbeMissing cpuLimitsMissing]
kube-system   Warning     coredns                   Deployment   2020-11-27T17:18:31+08:00   [cpuLimitsMissing]

Roadmap

支持更细粒度的巡检项，例如集群响应速度慢
支持对巡检结果生成集群巡检报告
支持集群巡检报告导出为 CSV 格式或 HTML 文件

你还希望 KubeEye 提供什么样的特性呢？欢迎来 Github 提交建议或需求~

GitHub 地址：https://github.com/kubesphere/kubeeye

参考链接

KubeEye Release：https://github.com/kubesphere/kubeeye/releases

KubeEye FAQ 文档：https://github.com/kubesphere/kubeeye/blob/main/docs/FAQ.md

Node-Problem-Detector:https://github.com/kubernetes/node-problem-detector

关于 KubeSphere

KubeSphere 是在 Kubernetes 之上构建的容器混合云，提供全栈的 IT 自动化运维的能力，简化企业的 DevOps 工作流。

KubeSphere 已被 Aqara 智能家居、本来生活、新浪、中国人保寿险、华夏银行、浦发硅谷银行、四川航空、国药集团、微众银行、紫金保险、Radore、ZaloPay 等海内外数千家企业采用。KubeSphere 提供了运维友好的向导式操作界面和丰富的企业级功能，包括多云与多集群管理、Kubernetes 资源管理、DevOps (CI/CD)、应用生命周期管理、微服务治理 (Service Mesh)、多租户管理、监控日志、告警通知、存储与网络管理、GPU support 等功能，帮助企业快速构建一个强大和功能丰富的容器云平台。

KubeSphere 官网：https://kubesphere.io/ KubeSphere GitHub：https://github.com/kubesphere/kubesphere

本文由博客一文多发平台 OpenWrite 发布！

微信关注我们

原文链接：https://my.oschina.net/u/4197945/blog/4945511

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

写给小白的 kubectl 入门

前言意外又看到不少正在学 Kubernetes 新手。想想本人写过各种自己懂或不懂、信或不信的原理、机制、方法和工具等等各种东西，唯独没写过 kubectl，其实这东西也是值得一写的——比如说去年我才从一线同学的操作里学会用 -A 代替 --all-namespaces。理顺 kubectl 的用法，也会对 Kubernetes 的知识体系以及运维工作有很大的帮助。对 Kubernetes 稍有了解的读者应该都知道声明式 API 的说法，kubectl 就是一个这种 API 的客户端，所以 kubectl 的主要功能就是用来操作对象的。开局两张图下图是个常见的使用方式：其实本来想写主谓宾定状补的，后来想想还得复习一下，算了算了。一般的 kubectl 使用都是这么个顺序，参数是可以调整位置的，暂且如此就可以了。用一个思维导图来归纳一下：动作在 kubectl 中被称为 command 也就是命令。使用 kubectl --help 能看到可用的命令列表： $ kubectl --helpkubectl controls the Kubernetes cluster m...

2021-02-04

606

【飞桨开发者说】王子瑞，四川大学电气工程学院2018级自动化专业本科生，飞桨开发者技术专家PPDE，RoboMaster川大火锅战队成员，强化学习爱好者超级马里奥兄弟作为几代人的童年回忆，陪伴了我们的成长。如今，随着深度强化学习的发展，越来越多的游戏已经被AI征服。今天，我们将以超级马里奥为例子，展示如何用深度强化学习试着通关游戏。下载安装命令 ## CPU版本安装命令 pip install -f https://paddlepaddle.org.cn/pip/oschina/cpu paddlepaddle ## GPU版本安装命令 pip install -f https://paddlepaddle.org.cn/pip/oschina/gpu paddlepaddle-gpu 马里奥游戏环境简介游戏环境只给予3次机会通关，即玩家或AI需要在3次机会内通过游戏的32关。环境提供了 RIGHT_ONLY、SIMPLE_MOVEMENT和COMPLEX_MOVEMENT三种难度的操作模式。人们只需要对环境输入各种动作所代表的数值，就能实现对马里奥的各种操作...

2021-02-03

763

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。