首页 文章 精选 留言 我的

精选列表

搜索[k],共10000篇文章
优秀的个人博客,低调大师

每日一博 | 更新应用时,如何实现 K8s 零中断滚动更新?

作者 | 子白(阿里云开发工程师)、溪恒(阿里云技术专家) <关注阿里巴巴云原生公众号,回复排查即可下载电子书> 《深入浅出 Kubernetes》一书共汇集 12 篇技术文章,帮助你一次搞懂 6 个核心原理,吃透基础理论,一次学会 6 个典型问题的华丽操作! Kubernetes集群中,业务通常采用Deployment + LoadBalancer类型Service的方式对外提供服务,其典型部署架构如图1所示。这种架构部署和运维都十分简单方便,但是在应用更新或者升级时可能会存在服务中断,引发线上问题。今天我们来详细分析下这种架构为何在更新应用时会发生服务中断以及如何避免服务中断。 图1 业务部署图 为何会发生服务中断 Deployment滚动更新时会先创建新pod,等待新pod running后再删除旧pod。 新建Pod 图2 服务中断示意图 中断原因:Pod running后被加入到Endpoint后端,容器服务监控到Endpoint变更后将Node加入到SLB后端。此时请求从SLB转发到Pod中,但是Pod业务代码还未初始化完毕,无法处理请求,导致服务中断,如图2所示。 解决方法:为pod配置就绪检测,等待业务代码初始化完毕后后再将node加入到SLB后端。 删除Pod 在删除旧pod过程中需要对多个对象(如Endpoint、ipvs/iptables、SLB)进行状态同步,并且这些同步操作是异步执行的,整体同步流程如图3所示。 图3 Deployment更新时序图 Pod pod状态变更:将Pod设置为Terminating状态,并从所有Service的Endpoints列表中删除。此时,Pod停止获得新的流量,但在Pod中运行的容器不会受到影响; 执行preStop Hook:Pod删除时会触发preStop Hook,preStop Hook支持bash脚本、TCP或HTTP请求; 发送SIGTERM 信号:向Pod中的容器发送SIGTERM信号; 等待指定的时间:terminationGracePeriodSeconds字段用于控制等待时间,默认值为30秒。该步骤与preStop Hook同时执行,因此terminationGracePeriodSeconds需要大于preStop的时间,否则会出现preStop未执行完毕,pod就被kill的情况; 发送SIGKILL信号:等待指定时间后,向pod中的容器发送SIGKILL信号,删除pod。 中断原因:上述1、2、3、4步骤同时进行,因此有可能存在Pod收到SIGTERM信号并且停止工作后,还未从Endpoints中移除的情况。此时,请求从slb转发到pod中,而Pod已经停止工作,因此会出现服务中断,如图4所示。 图4 服务中断示意图 解决方法:为pod配置preStop Hook,使Pod收到SIGTERM时sleep一段时间而不是立刻停止工作,从而确保从SLB转发的流量还可以继续被Pod处理。 iptables/ipvs 中断原因:当pod变为termintaing状态时,会从所有service的endpoint中移除该pod。kube-proxy会清理对应的iptables/ipvs条目。而容器服务watch到endpoint变化后,会调用slb openapi移除后端,此操作会耗费几秒。由于这两个操作是同时进行,因此有可能存在节点上的iptables/ipvs条目已经被清理,但是节点还未从slb移除的情况。此时,流量从slb流入,而节点上已经没有对应的iptables/ipvs规则导致服务中断,如图5所示。 图5 服务中断示意图 解决方法: Cluster 模式:Cluster模式下kube-proxy会把所有业务Pod写入Node的iptables/ipvs中,如果当前Node没有业务pod,则该请求会被转发给其他Node,因此不会存在服务中断,如6所示; 图6 Cluster模式请求转发示意图 Local模式:Local模式下,kube-proxy仅会把Node上的pod写入iptables/ipvs。当Node上只有一个pod且状态变为terminating时,iptables/ipvs会将该pod记录移除。此时请求转发到这个node时,无对应的iptables/ipvs记录,导致请求失败。这个问题可以通过原地升级来避免,即保证更新过程中Node上至少有一个Running Pod。原地升级可以保障Node的iptables/ipvs中总会有一条业务pod记录,因此不会产生服务中断,如图7所示; 图7 Local模式原地升级时请求转发示意图 ENI 模式 Service:ENI模式绕过kube-proxy,将Pod直接挂载到SLB后端,因此不存在因为iptables/ipvs导致的服务中断。 图 8 ENI模式请求转发示意图 SLB 图 9服务中断示意图 中断原因:容器服务监控到Endpoints变化后,会将Node从slb后端移除。当节点从slb后端移除后,SLB对于继续发往该节点的长连接会直接断开,导致服务中断。 解决方法:为SLB设置长链接优雅中断(依赖具体云厂商)。 如何避免服务中断 避免服务中断可以从Pod和Service两类资源入手,接下来将针对上述中断原因介绍相应的配置方法。 Pod配置 apiVersion: v1 kind: Pod metadata: name: nginx namespace: default spec: containers: - name: nginx image: nginx # 存活检测 livenessProbe: failureThreshold: 3 initialDelaySeconds: 30 periodSeconds: 30 successThreshold: 1 tcpSocket: port: 5084 timeoutSeconds: 1 # 就绪检测 readinessProbe: failureThreshold: 3 initialDelaySeconds: 30 periodSeconds: 30 successThreshold: 1 tcpSocket: port: 5084 timeoutSeconds: 1 # 优雅退出 lifecycle: preStop: exec: command: - sleep - 30 terminationGracePeriodSeconds: 60 注意:需要合理设置就绪检测(readinessProbe)的探测频率、延时时间、不健康阈值等数据,部分应用启动时间本身较长,如果设置的时间过短,会导致 POD 反复重启。 livenessProbe为存活检测,如果失败次数到达阈值(failureThreshold)后,pod会重启,具体配置见官方文档; readinessProbe为就绪检查,只有就绪检查通过后,pod才会被加入到Endpoint中。容器服务监控到Endpoint变化后才会将node挂载到slb后端; preStop时间建议设置为业务处理完所有剩余请求所需的时间,terminationGracePeriodSeconds时间建议设置为preStop的时间再加30秒以上。 Service配置 Cluster模式(externalTrafficPolicy: Cluster) apiVersion: v1 kind: Service metadata: name: nginx namespace: default spec: externalTrafficPolicy: Cluster ports: - port: 80 protocol: TCP targetPort: 80 selector: run: nginx type: LoadBalancer 容器服务会将集群中所有节点挂载到SLB的后端(使用BackendLabel标签配置后端的除外),因此会快速消耗SLB quota。SLB限制了每个ECS上能够挂载的SLB的个数,默认值为50,当quota消耗完后会导致无法创建新的监听及SLB。 Cluster模式下,如果当前节点没有业务pod会将请求转发给其他Node。在跨节点转发时需要做NAT,因此会丢失源IP。 Local模式(externalTrafficPolicy: Local) apiVersion: v1 kind: Service metadata: name: nginx namespace: default spec: externalTrafficPolicy: Local ports: - port: 80 protocol: TCP targetPort: 80 selector: run: nginx type: LoadBalancer # 需要尽可能的让每个节点在更新的过程中有至少一个的Running的Pod # 通过修改UpdateStrategy和利用nodeAffinity尽可能的保证在原地rolling update # * UpdateStrategy可以设置Max Unavailable为0,保证有新的Pod启动后才停止之前的pod # * 先对固定的几个节点打上label用来调度 # * 使用nodeAffinity+和超过相关node数量的replicas数量保证尽可能在原地建新的Pod # 例如: apiVersion: apps/v1 kind: Deployment ...... strategy: rollingUpdate: maxSurge: 50% maxUnavailable: 0% type: RollingUpdate ...... affinity: nodeAffinity: preferredDuringSchedulingIgnoredDuringExecution: - weight: 1 preference: matchExpressions: - key: deploy operator: In values: - nginx 容器服务默认会将Service对应的Pod所在的节点加入到SLB后端,因此SLB quota消耗较慢。Local模式下请求直接转发到pod所在node,不存在跨节点转发,因此可以保留源IP地址。Local模式下可以通过原地升级的方式避免服务中断,yaml文件如上。 ENI模式(阿里云特有模式) apiVersion: v1 kind: Service metadata: annotations: service.beta.kubernetes.io/backend-type: "eni" name: nginx spec: ports: - name: http port: 30080 protocol: TCP targetPort: 80 selector: app: nginx type: LoadBalancer Terway网络模式下,通过设置service.beta.kubernetes.io/backend-type: "eni" annotation可以创建ENI模式的SLB。ENI模式下,pod会直接挂载到SLB后端,不经过kube-proxy,因此不存在服务中断的问题。请求直接转发到pod,因此可以保留源IP地址。 三种svc模式对比如下表所示。 图 10 Service对比 结论 Terway 网络模式 (推荐方式) 选用ENI模式的svc + 设定Pod优雅终止 + 就绪检测。 Flannel 网络模式 如果集群中slb数量不多且不需要保留源ip:选用cluster模式 + 设定Pod优雅终止 + 就绪检测; 如果集群中slb数量较多或需要保留源ip:选用local模式 + 设定Pod优雅终止 + 就绪检测 + 原地升级(保证更新过程中每个节点上至少有一个Running Pod)。 Reference 容器生命周期钩子 Configure Liveness, Readiness and Startup Probes 通过负载均衡访问服务 Kubernetes 最佳实践:优雅的中止 Kubernetes社区相关讨论:Create ability to do zero downtime deployments when using externalTrafficPolicy: Local,Graceful Termination for External Traffic Policy Local 容器服务 kubernetes(ACK)中应用优雅上下线 课程推荐 为了更多开发者能够享受到 Serverless 带来的红利,这一次,我们集结了 10+ 位阿里巴巴 Serverless 领域技术专家,打造出最适合开发者入门的 Serverless 公开课,让你即学即用,轻松拥抱云计算的新范式——Serverless。 点击即可免费观看课程:https://developer.aliyun.com/learning/roadmap/serverless “阿里巴巴云原生关注微服务、Serverless、容器、Service Mesh 等技术领域、聚焦云原生流行技术趋势、云原生大规模的落地实践,做最懂云原生开发者的公众号。”

优秀的个人博客,低调大师

K8S集群入门:运行一个应用程序究竟需要多少集群?

云栖号:https://yqh.aliyun.com第一手的上云资讯,不同行业精选的上云企业案例库,基于众多成功案例萃取而成的最佳实践,助力您上云决策! 如果你使用Kubernetes作为应用程序的操作平台,那么你应该会遇到一些有关使用集群的方式的基本问题: 你应该有多少集群? 它们应该多大? 它们应该包含什么? 本文将深入讨论这些问题,并分析你所拥有的一些选择的利弊。 问题所在 作为一个软件创建者,你应该开发并运行了多个应用程序。而且,你应该在不同的环境中运行这些应用程序的多个实例——例如,你应该有开发、测试以及生产环境。那么,不同的环境和应用程序的组合,我们可以得到一个“矩阵”: 在以上例子中,有3个应用程序和3个环境,两两组合为9个应用程序实例。每个应用程序实例是一个独立的部署单位,可以独立运行。 请注意,一个应用程序实例可能由多个组件组成,如前端、后端、数据库等。在一个微服务应用程序中,一个应用程序实例将由所有微服务构成。 那么作为一个Kubernetes用户,此时会遇到一些问题: 应该在一个集群中运行所有应用程序实例吗? 或者每个应用程序实例都应该有一个单独的集群吗? 或者应该以上两者相结合? 以上这些都是行之有效的方法——Kubernetes是一个灵活的系统,它并不会直接告诉你某一条指定的使用方法。 关于集群的搭配你有以下选择: 一个大型的共享集群 许多小型的一次性集群 每个应用程序有一个集群 每个环境中有一个集群 前两种方法分别是大型集群和小型集群的极端,其规模大小关系如下: 总而言之,如果一个集群包含了大量的节点和Pod,那么它就可以被定义为大于另一个集群。例如,一个有10个节点和100Pod的集群大于有1个节点和10个Pod的集群。 厘清了概念和选项,那么我们现在开始吧! 一个大型共享集群 这个方法是指将你所有的工作负载都运行在一个集群中: 通过这种方法,我们可以像通用基础架构平台一样使用该集群——无论你需要运行什么,都可将其部署到现有的Kubernetes集群中。 Kubernetes中有一个命名空间的概念,可以 在逻辑上将集群的各个部分彼此分开。在上述情况下,你可以为每个应用程序实例创建单独的命名空间。 接下来,我们来看看这个方法的优劣势。 云栖号:https://yqh.aliyun.com第一手的上云资讯,不同行业精选的上云企业案例库,基于众多成功案例萃取而成的最佳实践,助力您上云决策! 原文发布时间:2020-02-29本文作者:Rancher本文来自:“Dockone.io”,了解相关信息可以关注“Dockone.io”

优秀的个人博客,低调大师

从认证到调度,K8s 集群上运行的小程序到底经历了什么?

作者 | 声东 阿里云售后技术专家 导读:不知道大家有没有意识到一个现实:大部分时候,我们已经不像以前一样,通过命令行,或者可视窗口来使用一个系统了。 前言 现在我们上微博、或者网购,操作的其实不是眼前这台设备,而是一个又一个集群。通常,这样的集群拥有成百上千个节点,每个节点是一台物理机或虚拟机。集群一般远离用户,坐落在数据中心。为了让这些节点互相协作,对外提供一致且高效的服务,集群需要操作系统。Kubernetes 就是这样的操作系统。 比较 Kubernetes 和单机操作系统,Kubernetes 相当于内核,它负责集群软硬件资源管理,并对外提供统一的入口,用户可以通过这个入口来使用集群,和集群沟通。 而运行在集群之上的程序,与普通程序有很大的不同。这样的程序,是“关在笼子里”的程序。它们从被制作,到被部署,再到被使用,都不寻常。我们只有深挖根源,才能理解其本质。 “关在笼子里”的程序 代码 我们使用 go 语言写了一个简单的 web 服务器程序 app.go,这个程序监听在 2580 这个端口。通过 http 协议访问这个服务的根路径,服务会返回 "This is a small app for kubernetes..." 字符串。 package main import ( "github.com/gorilla/mux" "log" "net/http" ) func about(w http.ResponseWriter, r *http.Request) { w.Write([]byte("This is a small app for kubernetes...\n")) } func main() { r := mux.NewRouter() r.HandleFunc("/", about) log.Fatal(http.ListenAndServe("0.0.0.0:2580", r)) } 使用 go build 命令编译这个程序,产生 app 可执行文件。这是一个普通的可执行文件,它在操作系统里运行,会依赖系统里的库文件。 # ldd app linux-vdso.so.1 => (0x00007ffd1f7a3000) libpthread.so.0 => /lib64/libpthread.so.0 (0x00007f554fd4a000) libc.so.6 => /lib64/libc.so.6 (0x00007f554f97d000) /lib64/ld-linux-x86-64.so.2 (0x00007f554ff66000) “笼子” 为了让这个程序不依赖于操作系统自身的库文件,我们需要制作容器镜像,即隔离的运行环境。Dockerfile 是制作容器镜像的“菜谱”。我们的菜谱就只有两个步骤,下载一个 centos 的基础镜像,把 app 这个可执行文件放到镜像中 /usr/local/bin 目录中去。 FROM centos ADD app /usr/local/bin 地址 制作好的镜像存再本地,我们需要把这个镜像上传到镜像仓库里去。这里的镜像仓库,相当于应用商店。我们使用阿里云的镜像仓库,上传之后镜像地址是: registry.cn-hangzhou.aliyuncs.com/kube-easy/app:latest 镜像地址可以拆分成四个部分:仓库地址/命名空间/镜像名称:镜像版本。显然,镜像上边的镜像,在阿里云杭州镜像仓库,使用的命名空间是 kube-easy,镜像名:版本是 app:latest。至此,我们有了一个可以在 Kubernetes 集群上运行的、“关在笼子里”的小程序。 得其门而入 入口 Kubernetes 作为操作系统,和普通的操作系统一样,有 API 的概念。有了 API,集群就有了入口;有了 API,我们使用集群,才能得其门而入。Kubernetes 的 API 被实现为运行在集群节点上的组件 API Server。这个组件是典型的 web 服务器程序,通过对外暴露 http(s) 接口来提供服务。 这里我们创建一个阿里云 Kubernetes 集群。登录集群管理页面,我们可以看到 API Server 的公网入口。 API Server 内网连接端点: https://xx.xxx.xxx.xxx:6443 双向数字证书验证 阿里云 Kubernetes 集群 API Server 组件,使用基于 CA 签名的双向数字证书认证来保证客户端与 api server 之间的安全通信。这句话很绕口,对于初学者不太好理解,我们来深入解释一下。 从概念上来讲,数字证书是用来验证网络通信参与者的一个文件。这和学校颁发给学生的毕业证书类似。在学校和学生之间,学校是可信第三方 CA,而学生是通信参与者。如果社会普遍信任一个学校的声誉的话,那么这个学校颁发的毕业证书,也会得到社会认可。参与者证书和 CA 证书可以类比毕业证和学校的办学许可证。 这里我们有两类参与者,CA 和普通参与者;与此对应,我们有两种证书,CA 证书和参与者证书;另外我们还有两种关系,证书签发关系以及信任关系。这两种关系至关重要。 我们先看签发关系。如下图,我们有两张 CA 证书,三个参与者证书。 其中最上边的 CA 证书,签发了两张证书,一张是中间的 CA 证书,另一张是右边的参与者证书;中间的 CA 证书,签发了下边两张参与者证书。这六张证书以签发关系为联系,形成了树状的证书签发关系图。 然而,证书以及签发关系本身,并不能保证可信的通信可以在参与者之间进行。以上图为例,假设最右边的参与者是一个网站,最左边的参与者是一个浏览器,浏览器相信网站的数据,不是因为网站有证书,也不是因为网站的证书是 CA 签发的,而是因为浏览器相信最上边的 CA,也就是信任关系。 理解了 CA(证书),参与者(证书),签发关系,以及信任关系之后,我们回过头来看“基于 CA 签名的双向数字证书认证”。客户端和 API Server 作为通信的普通参与者,各有一张证书。而这两张证书,都是由 CA 签发,我们简单称它们为集群 CA 和客户端 CA。客户端信任集群 CA,所以它信任拥有集群 CA 签发证书的 API Server;反过来 API Server 需要信任客户端 CA,它才愿意与客户端通信。 阿里云 Kubernetes 集群,集群 CA 证书,和客户端 CA 证书,实现上其实是一张证书,所以我们有这样的关系图。 KubeConfig 文件 登录集群管理控制台,我们可以拿到 KubeConfig 文件。这个文件包括了客户端证书,集群 CA 证书,以及其他。证书使用 base64 编码,所以我们可以使用 base64 工具解码证书,并使用 openssl 查看证书文本。 首先,客户端证书的签发者 CN 是集群 id c0256a3b8e4b948bb9c21e66b0e1d9a72,而证书本身的 CN 是子账号 252771643302762862; Certificate: Data: Version: 3 (0x2) Serial Number: 787224 (0xc0318) Signature Algorithm: sha256WithRSAEncryption Issuer: O=c0256a3b8e4b948bb9c21e66b0e1d9a72, OU=default, CN=c0256a3b8e4b948bb9c21e66b0e1d9a72 Validity Not Before: Nov 29 06:03:00 2018 GMT Not After : Nov 28 06:08:39 2021 GMT Subject: O=system:users, OU=, CN=252771643302762862 其次,只有在 API Server 信任客户端 CA 证书的情况下,上边的客户端证书才能通过 API Server 的验证。kube-apiserver 进程通过 client-ca-file 这个参数指定其信任的客户端 CA 证书,其指定的证书是 /etc/kubernetes/pki/apiserver-ca.crt。这个文件实际上包含了两张客户端 CA 证书,其中一张和集群管控有关系,这里不做解释,另外一张如下,它的 CN 与客户端证书的签发者 CN 一致; Certificate: Data: Version: 3 (0x2) Serial Number: 787224 (0xc0318) Signature Algorithm: sha256WithRSAEncryption Issuer: O=c0256a3b8e4b948bb9c21e66b0e1d9a72, OU=default, CN=c0256a3b8e4b948bb9c21e66b0e1d9a72 Validity Not Before: Nov 29 06:03:00 2018 GMT Not After : Nov 28 06:08:39 2021 GMT Subject: O=system:users, OU=, CN=252771643302762862 再次,API Server 使用的证书,由 kube-apiserver 的参数 tls-cert-file 决定,这个参数指向证书 /etc/kubernetes/pki/apiserver.crt。这个证书的 CN 是 kube-apiserver,签发者是 c0256a3b8e4b948bb9c21e66b0e1d9a72,即集群 CA 证书; Certificate: Data: Version: 3 (0x2) Serial Number: 2184578451551960857 (0x1e512e86fcba3f19) Signature Algorithm: sha256WithRSAEncryption Issuer: O=c0256a3b8e4b948bb9c21e66b0e1d9a72, OU=default, CN=c0256a3b8e4b948bb9c21e66b0e1d9a72 Validity Not Before: Nov 29 03:59:00 2018 GMT Not After : Nov 29 04:14:23 2019 GMT Subject: CN=kube-apiserver 最后,客户端需要验证上边这张 API Server 的证书,因而 KubeConfig 文件里包含了其签发者,即集群 CA 证书。对比集群 CA 证书和客户端 CA 证书,发现两张证书完全一样,这符合我们的预期。 Certificate: Data: Version: 3 (0x2) Serial Number: 786974 (0xc021e) Signature Algorithm: sha256WithRSAEncryption Issuer: C=CN, ST=ZheJiang, L=HangZhou, O=Alibaba, OU=ACS, CN=root Validity Not Before: Nov 29 03:59:00 2018 GMT Not After : Nov 24 04:04:00 2038 GMT Subject: O=c0256a3b8e4b948bb9c21e66b0e1d9a72, OU=default, CN=c0256a3b8e4b948bb9c21e66b0e1d9a72 访问 理解了原理之后,我们可以做一个简单的测试:以证书作为参数,使用 curl 访问 api server,并得到预期结果。 # curl --cert ./client.crt --cacert ./ca.crt --key ./client.key https://xx.xx.xx.xxx:6443/api/ { "kind": "APIVersions", "versions": [ "v1" ], "serverAddressByClientCIDRs": [ { "clientCIDR": "0.0.0.0/0", "serverAddress": "192.168.0.222:6443" } ] } 择优而居 两种节点,一种任务 如开始所讲,Kubernetes 是管理集群多个节点的操作系统。这些节点在集群中的角色,却不必完全一样。Kubernetes 集群有两种节点:master 节点和 worker 节点。 这种角色的区分,实际上就是一种分工:master 负责整个集群的管理,其上运行的以集群管理组件为主,这些组件包括实现集群入口的 api server;而 worker 节点主要负责承载普通任务。 在 Kubernetes 集群中,任务被定义为 pod 这个概念。pod 是集群可承载任务的原子单元,pod 被翻译成容器组,其实是意译,因为一个 pod 实际上封装了多个容器化的应用。原则上来讲,被封装在一个 pod 里边的容器,应该是存在相当程度的耦合关系。 择优而居 调度算法需要解决的问题,是替 pod 选择一个舒适的“居所”,让 pod 所定义的任务可以在这个节点上顺利地完成。 为了实现“择优而居”的目标,Kubernetes 集群调度算法采用了两步走的策略: 第一步,从所有节点中排除不满足条件的节点,即预选; 第二步,给剩余的节点打分,最后得分高者胜出,即优选。 下面我们使用文章开始的时候制作的镜像,创建一个 pod,并通过日志来具体分析一下,这个 pod 怎么样被调度到某一个集群节点。 Pod 配置 首先,我们创建 pod 的配置文件,配置文件格式是 json。这个配置文件有三个地方比较关键,分别是镜像地址,命令以及容器的端口。 { "apiVersion": "v1", "kind": "Pod", "metadata": { "name": "app" }, "spec": { "containers": [ { "name": "app", "image": "registry.cn-hangzhou.aliyuncs.com/kube-easy/app:latest", "command": [ "app" ], "ports": [ { "containerPort": 2580 } ] } ] } } 日志级别 集群调度算法被实现为运行在 master 节点上的系统组件,这一点和 api server 类似。其对应的进程名是 kube-scheduler。kube-scheduler 支持多个级别的日志输出,但社区并没有提供详细的日志级别说明文档。查看调度算法对节点进行筛选、打分的过程,我们需要把日志级别提高到 10,即加入参数 --v=10。 kube-scheduler --address=127.0.0.1 --kubeconfig=/etc/kubernetes/scheduler.conf --leader-elect=true --v=10 创建 Pod 使用 curl,以证书和 pod 配置文件等作为参数,通过 POST 请求访问 api server 的接口,我们可以在集群里创建对应的 pod。 # curl -X POST -H 'Content-Type: application/json;charset=utf-8' --cert ./client.crt --cacert ./ca.crt --key ./client.key https://47.110.197.238:6443/api/v1/namespaces/default/pods -d@app.json 预选 预选是 Kubernetes 调度的第一步,这一步要做的事情,是根据预先定义的规则,把不符合条件的节点过滤掉。不同版本的 Kubernetes 所实现的预选规则有很大的不同,但基本的趋势,是预选规则会越来越丰富。 比较常见的两个预选规则是 PodFitsResourcesPred 和 PodFitsHostPortsPred。前一个规则用来判断,一个节点上的剩余资源,是不是能够满足 pod 的需求;而后一个规则,检查一个节点上某一个端口是不是已经被其他 pod 所使用了。 下图是调度算法在处理测试 pod 的时候,输出的预选规则的日志。这段日志记录了预选规则 CheckVolumeBindingPred的执行情况。某些类型的存储卷(PV),只能挂载到一个节点上,这个规则可以过滤掉不满足 pod 对 PV 需求的节点。 从 app 的编排文件里可以看到,pod 对存储卷并没有什么需求,所以这个条件并没有过滤掉节点。 优选 调度算法的第二个阶段是优选阶段。这个阶段,kube-scheduler 会根据节点可用资源及其他一些规则,给剩余节点打分。 目前,CPU 和内存是调度算法考量的两种主要资源,但考量的方式并不是简单的,剩余 CPU、内存资源越多,得分就越高。 日志记录了两种计算方式:LeastResourceAllocation 和 BalancedResourceAllocation。 前一种方式计算 pod 调度到节点之后,节点剩余 CPU 和内存占总 CPU 和内存的比例,比例越高得分就越高; 第二种方式计算节点上 CPU 和内存使用比例之差的绝对值,绝对值越大,得分越少。 这两种方式,一种倾向于选出资源使用率较低的节点,第二种希望选出两种资源使用比例接近的节点。这两种方式有一些矛盾,最终依靠一定的权重来平衡这两个因素。 除了资源之外,优选算法会考虑其他一些因素,比如 pod 与节点的亲和性,或者如果一个服务有多个相同 pod 组成的情况下,多个 pod 在不同节点上的分散程度,这是保证高可用的一种策略。 得分 最后,调度算法会给所有的得分项乘以它们的权重,然后求和得到每个节点最终的得分。因为测试集群使用的是默认调度算法,而默认调度算法把日志中出现的得分项所对应的权重,都设置成了 1,所以如果按日志里有记录得分项来计算,最终三个节点的得分应该是 29,28 和 29。 之所以会出现日志输出的得分和我们自己计算的得分不符的情况,是因为日志并没有输出所有的得分项,猜测漏掉的策略应该是 NodePreferAvoidPodsPriority,这个策略的权重是 10000,每个节点得分 10,所以才得出最终日志输出的结果。 结束语 在本文中,我们以一个简单的容器化 web 程序为例,着重分析了客户端怎么样通过 Kubernetes 集群 API Server 认证,以及容器应用怎么样被分派到合适节点这两件事情。 在分析过程中,我们弃用了一些便利的工具,比如 kubectl,或者控制台。我们用了一些更接近底层的小实验,比如拆解 KubeConfig 文件,再比如分析调度器日志来分析认证和调度算法的运作原理。希望这些对大家进一步理解 Kubernetes 集群有所帮助。 架构师成长系列直播 “阿里巴巴云原生关注微服务、Serverless、容器、Service Mesh 等技术领域、聚焦云原生流行技术趋势、云原生大规模的落地实践,做最懂云原生开发者的技术圈。”

优秀的个人博客,低调大师

蚂蚁金服万级规模 K8s 集群管理系统如何设计?

作者 | 蚂蚁金服技术专家 沧漠 关注『阿里巴巴云原生』公众号,回复关键词“1024”,可获取本文 PPT。 前言 Kubernetes 以其超前的设计理念和优秀的技术架构,在容器编排领域拔得头筹。越来越多的公司开始在生产环境部署实践 Kubernetes,在阿里巴巴和蚂蚁金服 Kubernetes 已被大规模用于生产环境。Kubernetes 的出现使得广大开发同学也能运维复杂的分布式系统,它大幅降低了容器化应用部署的门槛,但运维和管理一个生产级的高可用 Kubernetes 集群仍十分困难。本文将分享蚂蚁金服是如何有效可靠地管理大规模 Kubernetes 集群的,并会详细介绍集群管理系统核心组件的设计。 系统概览 Kubernetes 集群管理系统需要具备便捷的集群生命周期管理能力,完成集群的创建、升级和工作节点的管理。在大规模场景下

优秀的个人博客,低调大师

云原生生态周报 Vol. 15 | K8s 安全审计报告发布

业界要闻 CNCF 公布 Kubernetes的安全审计报告,报告收集了社区对 Kubernetes、CoreDNS、Envoy、Prometheus 等项目的安全问题反馈,包含从一般弱点到关键漏洞。报告帮项目维护人员解决已识别的漏洞,并给出了一系列最佳实践。 技术监督委员会(TOC)已投票决定将 rkt 项目归档。尽管rkt 在2014年12月创建后最初很受欢迎,并在2017年3月贡献给CNCF,但其采纳程度已严重下降,很多用户已经从rkt转向了如containerd、CRI-O等其它项目。 上游重要进展 Kubernetes 项目 支持readonly的接口指定不同的网卡 https://github.com/kubernetes/enhancements/issues/1208 在Kubectl中进行pod问题定位分析: https

优秀的个人博客,低调大师

K8S从懵圈到熟练:读懂这一篇,集群节点不下线

排查完全陌生的问题,完全不熟悉的系统组件,是售后工程师的一大工作乐趣,当然也是挑战。今天借这篇文章,跟大家分析一例这样的问题。排查过程中,需要理解一些自己完全陌生的组件,比如systemd和dbus。但是排查问题的思路和方法基本上还是可以复用了,希望对大家有所帮助。 问题一直在发生 I'm NotReady 阿里云有自己的Kubernetes容器集群产品。随着Kubernetes集群出货量的剧增,线上用户零星的发现,集群会非常低概率地出现节点NotReady情况。据我们观察,这个问题差不多每个月,就会有一两个客户遇到。在节点NotReady之后,集群Master没有办法对这个节点做任何控制,比如下发新的Pod,再比如抓取节点上正在运行Pod的实时信息。 需要知道的Kubernetes知识 这里我稍微补充一点Kubernetes集群的基本知识

优秀的个人博客,低调大师

全网Star最多(近20k)的Spring Boot开源教程 2019 年要继续更新了!

从2016年1月开始写博客,默默地更新《Spring Boot系列教程》,从无人问津到千万访问,作为一个独立站点(http://blog.didispace.com),相信只有那些跟我一样,坚持维护自己独立博客的童鞋才能体会这有多么不容易。 由于没有CSDN、博客园这样的权重优势,各种发布于这些平台上的洗稿文章与相似内容,就算发布时间较晚,它依然可以在百度上占据很大的搜索优势,以至于一些读者在读了其他人发布于CSDN、博客园上的一些文章之后看到我的原文,再来我这里喷我抄袭,这样的现象早已经习以为常了。但是庆幸,这些内容的很大一部分读者都是科学上网的好手,我大部分的流量来源都源自谷歌,这点不得不佩服谷歌对原创与一手内容的尊重,这才让我们这些能够独立思考与写作分享的技术人可以一直坚持下去。 不知道从什么时候开始,技术圈里的浮夸运营风也越来越重,各种原本非常有含金量的数据也变得越来越虚假,洗稿、盗版等内容的横行,不断侵害着所有原创作者的切身利益。也许这其中包含各种原因:运营KPI的压力,一些大v自媒体的粗暴价值观宣导,所谓的运营套路分享等等。很多原本坚持原创和自有版权的技术人,也都逐步顶不住诱惑得去制造低质量内容,甚至也去传播盗版侵权内容。 这些环境问题,有时候很想去改变,但是当我想去做什么的时候,才发现自己是多么渺小,因为面对这个现实,要对抗的不是简单的内容发布者,而是那些有背景强大的机构、是那些拥有更大流量的自媒体。想要去改变这样的环境,对于我这样的个体来说几乎是不可能的。 对于这样的现状,我虽然无力去改变,也无法控制别人不要去做那些盗版侵权的事,但是我还是可以继续坚持做好自己。 所以,下面我想给大家推荐一下我在维护的目前全网关注(Star)最多的Spring Boot开源教程项目!因为,接下来对于该项目的内容更新,将列入2019年的主要输出内容计划之一,下周开始,我会以每周至少1-2篇的速度持续更新该系列内容,主要目标是整理最新的Spring 2.1.x的入门指南。如果您关注Spring Boot,并且认可我对该框架的解读,欢迎在文末获取项目地址,点击”Star“关注,第一时间获得更新内容! 一直以来,我从来都没有这样直接的给大家推荐过自己的开源项目。对于我个人而言,一直都是一个比较纯粹的技术人,至今依然每天都有大量的时间花在了阅读和编写代码,享受每天解决问题的成就感与获取新知识的满足感。对于开源项目数据的增长没有KPI压力,也没有对数据的虚荣追求,长期以来这些数据的唯一意义是作为顺带的评价指标,在没有主动索要和刷量的情况下,这些指标对于任何一个开源项目质量的评价有着重要意义(当然放在今日,很多国内项目的数据虚胖问题,相信大家也有所了解,前文也提到了一些背景原因,这里就不做过多导向性的评判)。 下面列一下主要维护的两个渠道信息,截止到现在,我维护的Spring Boot系列教程的两个代码库,累计接近2万Star。 Github Github是我所有内容的第一更新渠道,所以如果您对后续更新感兴趣,那就Star关注吧! 地址:https://github.com/dyc87112/SpringBoot-Learning Gitee Gitee的仓库是Github的镜像仓库,由于网络优势,所以一直都会第一时间同步。这个项目的数据是最另我意外的,在整站所有项目的Star排名中居然位列第二,如果是Gitee的忠实用户也可以直接关注这里,一样会得到最快的更新信息。 地址:https://gitee.com/didispace/SpringBoot-Learning 如果您觉得内容不错,”Star“、”转发“ 支持一下吧~

优秀的个人博客,低调大师

30K iOS程序员的简述:如何快速进阶成为高级开发人员

前言: 本篇文章适用于所有在这个行业已经有了几年时间后想要在职业生涯中取得突破的开发人员,编程人员和程序员(或者你可能刚刚开始,但希望你能看到你的路径) 本文适合那些有着简单愿望的人:你想成为一名高级开发人员,并希望在你的领域中脱颖而出。在阅读完这篇文章后,您将获得一组具有最佳资源列表的路径,供您升级并成为高级开发人员。 作为一个开发者,有一个学习的氛围跟一个交流圈子特别重要,这是一个我的iOS交流群:638302184,不管你是小白还是大牛欢迎入驻 ,分享BAT,阿里面试题、面试经验,讨论技术, 大家一起交流学习成长!希望帮助开发者少走弯路。 免责声明:与生活中的所有事物一样,您可以随时设定自己的路径。尽管这不是唯一的方法,但是这是我在自己的职业生涯中发现的一种方法,并且通过我在过去一年中与我认为是社区中资深和受人尊敬的程序员的人进行了许多对话和访谈。 我已经积累了这篇文章的所有共同点。所有这些不仅仅是一篇关于如何成为更好的开发人员的文章。这是一个如何指导您如何使用高效实用的工具来优化您的时间,从而让您从生活中获得最大收益。将来你可以在任何地方进行这种学习 我们想要什么?1,我们都努力做好工作。该声明的具体内容可能取决于个人。但是,大多数人可以同意一些常见的事情: 2,我们不希望经历被视为“无能”的生活, 3,我们希望得到我们同事的尊重 4,我们希望感觉自己聪明,并且做到了 5,我们想感受赞赏 为了实现上述目标,我们不能仅仅停留在我们的能力上,并期望事情会发生。特别是在编程领域,技术在不断变化,我们掌握的信息量非常之大,我们希望将注意力集中在成长和学习上,而不是消耗殆尽。随着越来越多的开发者走出大学和训练营,我们需要保持技能的锐利,而让自己与众不同的方法是在学习时保持智能和高效。谈得很多,让我们一起潜入。我们将一如既往地尝试并采取最好的方法。 什么是高级开发人员?作为一个可以使用十种不同编程语言编写代码并构建了自己版本的多语言编程人员,并不会让您成为高级开发人员(尽管您非常有才华)。这是因为高级开发人员是为公司带来增量利益的人员。它是一个能够让周围的人变得更好,并且能够长期愿景,实现并持续创造商业价值的人。您可以了解全球所有功能强大的编程技术,但如果您无法与团队沟通,或者无法专注于为客户提供实际价值,则您不是高级开发人员。这是重要的一点:你为贵公司/创业/企业带来了什么价值,如果你是为数不多的能为您的公司或企业带来数量级(有些人喜欢10倍的想法)价值的人之一,那么你是一位高级开发人员。高级开发人员不仅仅是另一个职位,而是能够利用您的经验为利益相关方提供真正的利益。 **我如何成为一个高级程序员?得到它。**这是你们所有人一直在等待的部分(或者我想象的是......也许没人读这个......在这种情况下,我会一直跟自己说话)。让我们深入了解一下,看看我们是否能够完成所有事情。按照以下资源,花一些时间了解每个主题。如果你能够积极研究下面的技能,你将远远领先于其他任何人。我把这称为开发者边缘:在一个领域总会有比你更有经验的人,但是你可以更聪明地工作,并以更有效的方式积累不同的技能组合,让你分开。这不仅使你成为一个更好的开发者,它还增加了你的整体幸福感,因为你正在为人们提供真正的价值。 学习中经常被忽视的一个方面是,你需要专注于一件事而专注于一件事。然而,这不是生活的方式。生活中非常罕见,你只需要一种技能。特别是在像技术领域发生变化的领域(谁知道机器学习工程师将在5年内完成什么?),您需要拥有多种可转换技能,这将转化为适应性。 这些是您需要被视为高级开发人员的6项核心技能:**1.技术技能** 这通常是大多数人想到的第一个技巧。希望通过这一点你相信它是一个更大的馅饼的一小部分。不要误解我的意思,你确实需要这个技能,而且你不能伪造它。然而,你可以聪明地关注你关注的内容。高级开发人员花时间了解Why的技术。为什么这个问题存在?为什么这个框架存在?这个图书馆解决什么问题?作为一名开发人员,您需要对所有有利于开发生命周期的工具和想法有所了解,并选择在项目中获得最大利益的工具。他们没有专注于这个超级奇特的测试框架的每一个新版本功能,而是试图为公司解决实际问题时专注于每个测试框架的优缺点。他们会问“我们的持续过程中可以改进哪些方面以提供更好的产品?” 他们也明白事情是如何连接的。为了开始这样思考,思维导图是一个很好的熟悉工具。它本质上是一种工具,可以用来将学习推向更高层次。思维导图帮助你的大脑在不同的想法和技术之间建立联系。 举个例子:如果我是一个iOS开发,一旦掌握了行业中的工具和技术,就需要制定产品在扩展时面临哪些问题的思路图,以及何时过早优化是一件坏事。通过在上述所有方面掌握这种关系,您可以通过广泛的视角而不是狭隘的焦点,将公司的资源集中在最重要的事情上。 如果你是从训练营走出来的,或者你没有计算机科学学位,那么你需要开始学习数据结构,算法和其他计算机科学主题。为什么?因为尽管框架和技术发生了变化,但计算机科学的主要原则(大部分)保持不变。通过理解这些更高层次的主题,您可以再次看到,大多数软件问题和良好实践在不同的语言和时间中通常是不变的。这本书(Rob Conery)和这本书(Gayle Laakmann McDowell)可能是我发现提升你的技能的最好工具。虽然它们只是表面上的,但它将为今后的学习奠定基础。 开始收听软件工程日报等播客,这样您就可以了解整个行业的当前问题和未来前景。 最后,阅读这篇文章从纯粹技术角度来看部分技巧。 2.团队技能 这是一个经常被忽视的技巧。你如何与团队成员合作?你是否对PR评论感到愤怒和意见,并对有其做出贡献?或者你是否体贴,合作和鼓励你的团队成员?高级开发人员没有大的自负。他们知道他们很好,不需要向他人证明自己。他们编写干净简单的代码,而不是编写代码来炫耀其他团队成员无法读懂的技能。他们愿意帮助别人,当他们不知道某事时,他们愿意提问。 这就是情商出现的地方。社会心理学是提高这种技能的重要工具,没有什么比“ 如何赢得朋友和影响力的人”更好。记住:你如何能让你身边的人变得更好?如果你的团队中有5人,那么1 + 1 + 1 + 1 + 1应该大于5,因为你可以让你身边的人变得更好(现在我从数学纯粹主义者那里得到邪恶的眼睛......)。 如果你是任何一个项目的参与者,或者你参与的任何一个团队,那么你就能够与你的队友相处并让其他人一起工作,你已经远远领先于大多数人。您还可以让经理,主管,Scrum大师和CTO的生活更轻松。那些是得到晋升的人,更重要的是那些是为公司提供最大价值的人。 3.客户/用户技能 您是否能够与客户或用户交谈,并清楚地了解他们的需求?当他们向你提出一些建议时,你是否了解他们面临的问题?高级开发人员是一个可以独立与客户并可以成为优秀听众的人,然后就最佳步骤向前迈进提供建议。他们在组建关系方面非常出色,他们不会将意见推给客户。他们明白,目标是一个非零和游戏,客户和开发者都可以从互动中获益。 最后,您需要能够向非技术人员解释复杂的编程概念。通过观看大神分解复杂的话题开始开发这项技能。虽然他们正在教练困难的话题,但你可以观察他们之间的一些共同点。 4.成长技巧 高级开发人员每天都在学习新的东西。这并不意味着他们每天花14小时坐在电脑前阅读文章。他们比这更有效率。他们一直在寻找与其他开发人员交谈,提出问题或探索新主题。他们不专注于一个技能组合。在做一件事情时,你可以成为世界上最好的人,但是如果你不知道整个范围或者对你解决什么问题有一个大概的了解,那么你就不再是最好的了。 他们有一个成长的思维模式(相信智力是可塑的),他们相信有意识的练习。他们明白,学习一切都是不可能的,他们选择把时间花在他们喜欢的事情和最重要的事情上。 他们不只是说“哦,我讨厌这个!”大多数时候,说这些东西的人会因为不完全理解而憎恨某些东西。例如,不要只说“我讨厌Switf。只有部分的开发人员使用Switf“并且声名显赫。高级开发人员说,“Switf在iOS开发方面发挥了重要作用”。他们的观点可以改变,因为他们喜欢从别人那里学习,并且在他们决定“憎恨”某些事物之前尝试新的概念。 5.销售/面试技巧 高级开发人员能够让自己担任高级职位,因为他们能够与做出这些决策的人进行交流和销售。你能够看到你的雇主或企业的需求,并且你可以向他们灌输你是解决问题的人的信心。你有信心,但谦虚。高级开发人员也有足够的信心承担这些角色,并能够承受压力。他们也知道,如果你永远不会问答案总是否定的,那么他们会要求晋升或挑战他们的角色,因为他们认为他们是适合工作的人选。虽然销售和谈判对某些人来说可能会很不起眼,但这是您需要掌握的宝贵技能。有一篇很棒的文章。虽然它谈到薪酬谈判,但其中一些原则可以应用于其他情况。 6.社区技能 高级开发人员为开发者社区做出贡献 ,无论是做技术讲座,在聚会上发言,为开源贡献,甚至写文章。他们是与行业共享信息的人。他们并不是只关在工作空间的封闭盒子里,而是和其他社区的人交流,让他们拓宽视野。这有点像旅行:你遇到并且交谈的文化越多,你越了解人与人之间的相似和不同之处,并且越是开始欣赏它。 **最后一件事如果你能够积极工作上述技巧,你会立即充满激情。**我已经从这个列表中留下了最重要的主题:你喜欢你在做什么。 如果你不喜欢每天学习有关计算机科学和软件开发的知识,那么你永远不会成为高级开发人员,因为从长远来看,你不会有更好的动力。如果你是这么好,他们不能忽略你,你明白激情已被过度炒作。真正的激情来自你掌握了一项技能。你已经努力成为精通领域的领导者。你已经掌握了这些技能,现在你提供给他人的尊重和好处促使你变得越来越好,从而获得更多这样的好感受。你就是这样开发的 你对工作的热情。 结论 如果你已经学会了编码,并且正在寻找职业生涯的下一步,那么你需要以不同的方式思考。你怎么能够脱颖而出?你怎样才能成长?你如何能够帮助人们解决实际问题并提供价值?你不做简单的事情就会成为高级开发人员。你做的事情,推动和挑战你的头脑和舒适水平。你要学习,并且要一天一天地做出适应,就像你第一次写了第一段代码一样。每一步都很小,但是在一生中,一小步就会变成几公里。 永远不要停止阅读,永远不要停止学习,但也要知道什么是你宝贵的时间,什么不宝贵。 作为一个开发者,有一个学习的氛围跟一个交流圈子特别重要这是一个我的iOS交流群:638302184,不管你是小白还是大牛欢迎入驻 ,分享BAT,阿里面试题、面试经验,讨论技术, 大家一起交流学习成长!

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

用户登录
用户注册
修改密码
忘记密码