k8s环境中ceph rbd已经被挂载问题分析解决

2021-01-05 1324

背景

之前为k8s准备了ceph rbd块存储，但是最近再使用过程中发现了一个由于deployment更新导致rdb不能被正常挂载的问题。

问题描述

我们通过deployment生成一个pod，并且这个pod挂载一个rbd块存储用来提供持久化存储功能。有一次deployment更新，发现deployment先启动了一个被调度到其它node新的pod一直处于pending状态，而对于的老pod一直处于Terminating状态。导致了此次更新失败。

问题排查

通过describe新pod发现如下报错：

Warning  FailedAttachVolume  15m                    attachdetach-controller  Multi-Attach error for volume "pvc-c78521e4-196e-4d7a-9858-23cf0b021d43" Volume is already used by pod(s) atd-dashboard-66958b6996-xggl4
Warning FailedMount 118s (x2 over 11m) kubelet, work4 Unable to attach or mount volumes: unmounted volumes=[data], unattached volumes=[default-token-66blg yunlian-configmap data atdrtapi-configmap dashboard-configmap]: timed out waiting for the condition

通过google和官方文档发现ceph rbd共享挂载的一些特性：
- ceph rbd块存储能在同一个node上跨pod以ReadWriteOnce共享挂载
- ceph rbd块存储能在同一个node上同一个pod多个容器中以ReadWriteOnce共享挂载
- ceph rbd块存储不能跨node以ReadWriteOnce共享挂载
- 如果一个使用ceph rdb的pod所在的node挂掉，这个pod虽然会被调度到其它node，但是由于rbd不能跨node多次挂载和挂掉的pod不能自动解绑pv的问题，这个新pod不会正常运行
我们知道了ceph rbd共享挂载的特性，我们再结合deployment更新的特性：
- deployment触发更新的时候，它确保至少所需 Pods 75% 处于运行状态（最大不可用比例为 25%）。故像一个pod的情况，肯定是新创建一个新的pod，新pod运行正常之后，再关闭老的pod。
- 默认情况下，它可确保启动的 Pod 个数比期望个数最多多出 25%

原因

结合ceph rb共享挂载的特性和deployment更新的特性，我们发现原因如下：
由于deployment触发更新，为了保证服务的可用性，deployment要先创建一个pod并运行正常之后，再去删除老pod。而如果新创建的pod和老pod不在一个node，就会导致此故障。

问题解决

1，使用能支持跨node和pod之间挂载的共享存储，例如cephfs，GlusterFS等
2，给node添加label，只允许deployment所管理的pod调度到一个固定的node上。（不建议，这个node挂掉的话，服务就故障了）

参考资料

https://kubernetes.io/zh/docs/tutorials/stateful-application/basic-stateful-set/
https://github.com/rook/rook/issues/1507

微信关注我们

原文链接：https://blog.51cto.com/leejia/2582503

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Java中的jdbc使用详情

简介 JDBC(Java DataBase Connectivity)是Java与数据库的接口规范，由Java 语言编写的类和接口组成，大致分为两类：针对Java程序员的JDBC API和针对数据库开发商的低层的JDBC driver API。而JDBC驱动程序由实施了这些接口的类组成。 JDBC库包括通常与数据库使用相关的操作有：连接数据库创建SQL语句在数据库中执行SQL语句查看和修改结果记录一、环境介绍在mysql中创建一个库shen，并创建user表和插入表的数据。新建一个Java工程jdbc，并导入数据驱动。二、详细步骤 1、加载数据库驱动 //1.加载驱动(开发推荐的方式) Class.forName("com.mysql.jdbc.Driver"); 注意：如果连接的是SQL server //1.加载驱动 Class.forName("com.microsoft.jdbc.sqlserver.SQLServerDriver"); 2、建立连接 1、数据库URL URL用于标识数据库的位置，程序员通过URL地址告诉JDBC程序连接哪个数据库，URL的写法为...

2021-01-05

520

cephfs简介 CephFS是个与POSIX标准兼容的文件系统，坐于基于对象的 Ceph 存储集群之上，其内的文件被映射到 Ceph 存储集群内的对象。客户端可以把此文件系统挂载在内核对象或用户空间文件系统（ FUSE ）上。文件目录和其他元数据存储在ceph的RADOS中，而MDS缓存元信息和文件目录信息。主要特点如下：可以支持内核空间mount -t ceph方式挂载，也支持用户空间的ceph-fuse方式挂载多个clients可以同时读写，属于共享文件系统由于底层是ceph，并且MDS支持主备，能够实现高可用配额管理：1）用户空间的ceph-fuse方式挂载支持空间的配额管理2）内核空间的挂载支持配额管理需要ceph mimic+以上版本的集群和挂载cephfs的客户端kernel版本为>=4.17 cephfs架构图如下：在k8s环境下使用ceph rbd和cephfs的对比 1，多client挂载ceph rbd支持同一个node下多pod的挂载；cephfs支持跨node的多pod的挂载，实现共享；2，性能ceph rbd读取写入延迟低，I/O带宽表现良好...

2021-01-06

877

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。