[备忘] 磁盘空间不足分析

2017-02-13 613

前提

环境说明

1.  操作系统: centos 7.2
2.  应用: docker

现象:

1.  / 磁盘不足
2.  实际上磁盘还有很多空间
3.  应用开始报错( out of space)

分析

利用 find 分析, 没有找到特殊的大文件
如:

find /apps -size +50M

利用 df 进行分析, 发现 / 已经用光

[root@hh-yun-k8s-128151 /]# df -ah
Filesystem      Size  Used Avail Use% Mounted on
rootfs             -     -     -    - /
sysfs              0     0     0    - /sys
proc               0     0     0    - /proc
devtmpfs         95G     0   95G   0% /dev
securityfs         0     0     0    - /sys/kernel/security
tmpfs            95G     0   95G   0% /dev/shm
devpts             0     0     0    - /dev/pts
tmpfs            95G  4.1G   91G   5% /run
tmpfs            95G     0   95G   0% /sys/fs/cgroup
cgroup             0     0     0    - /sys/fs/cgroup/systemd
pstore             0     0     0    - /sys/fs/pstore
cgroup             0     0     0    - /sys/fs/cgroup/cpuset
cgroup             0     0     0    - /sys/fs/cgroup/blkio
cgroup             0     0     0    - /sys/fs/cgroup/perf_event
cgroup             0     0     0    - /sys/fs/cgroup/cpu,cpuacct
cgroup             0     0     0    - /sys/fs/cgroup/hugetlb
cgroup             0     0     0    - /sys/fs/cgroup/devices
cgroup             0     0     0    - /sys/fs/cgroup/net_cls
cgroup             0     0     0    - /sys/fs/cgroup/freezer
cgroup             0     0     0    - /sys/fs/cgroup/memory
configfs           0     0     0    - /sys/kernel/config
/dev/sda2        80G   80G  286M 100% /
systemd-1          -     -     -    - /proc/sys/fs/binfmt_misc
debugfs            0     0     0    - /sys/kernel/debug
mqueue             0     0     0    - /dev/mqueue
hugetlbfs          0     0     0    - /dev/hugepages
/dev/sda1       397M  135M  263M  34% /boot
tmpfs            19G     0   19G   0% /run/user/0
tmpfs            95G   12K   95G   1% /var/lib/kubelet/pods/fa7f705d-9a82-11e6-9bda-e09796534daa/volumes/kubernetes.io~secret/default-token-cuzo2
tmpfs            95G   12K   95G   1% /var/lib/kubelet/pods/32d9731a-bdfc-11e6-9bda-e09796534daa/volumes/kubernetes.io~secret/default-token-dqn5d
tmpfs            95G   12K   95G   1% /var/lib/kubelet/pods/c131bddd-c367-11e6-9bda-e09796534daa/volumes/kubernetes.io~secret/default-token-cuzo2
tmpfs            95G   12K   95G   1% /var/lib/kubelet/pods/27779000-c5cf-11e6-9bda-e09796534daa/volumes/kubernetes.io~secret/default-token-cuzo2
tmpfs            95G   12K   95G   1% /var/lib/kubelet/pods/277f9d4b-c5cf-11e6-9bda-e09796534daa/volumes/kubernetes.io~secret/default-token-cuzo2
tmpfs            95G   12K   95G   1% /var/lib/kubelet/pods/72505ec1-d570-11e6-b3fc-e09796534daa/volumes/kubernetes.io~secret/default-token-cuzo2
tmpfs            95G   12K   95G   1% /var/lib/kubelet/pods/b50b4c1c-d570-11e6-b3fc-e09796534daa/volumes/kubernetes.io~secret/default-token-cuzo2
binfmt_misc        0     0     0    - /proc/sys/fs/binfmt_misc
tmpfs            95G   12K   95G   1% /var/lib/kubelet/pods/29fa587e-ecdc-11e6-ae68-e09796534daa/volumes/kubernetes.io~secret/default-token-ab33i
tmpfs            95G   12K   95G   1% /var/lib/kubelet/pods/56e3e992-ed03-11e6-ae68-e09796534daa/volumes/kubernetes.io~secret/default-token-ab33i
tmpfs            95G   12K   95G   1% /var/lib/kubelet/pods/85342d9b-ece3-11e6-ae68-e09796534daa/volumes/kubernetes.io~secret/default-token-ab33i
tmpfs            95G   12K   95G   1% /var/lib/kubelet/pods/0e10352d-edbd-11e6-ae68-e09796534daa/volumes/kubernetes.io~secret/default-token-dqn5d
tmpfs            95G   12K   95G   1% /var/lib/kubelet/pods/df078f2d-ef83-11e6-878c-e09796534daa/volumes/kubernetes.io~secret/default-token-cuzo2
tmpfs            95G   12K   95G   1% /var/lib/kubelet/pods/deab6a67-ef83-11e6-878c-e09796534daa/volumes/kubernetes.io~secret/default-token-cuzo2
tmpfs            95G   12K   95G   1% /var/lib/kubelet/pods/df71a3a2-ef83-11e6-878c-e09796534daa/volumes/kubernetes.io~secret/default-token-cuzo2
tmpfs            95G   12K   95G   1% /var/lib/kubelet/pods/df165896-ef83-11e6-878c-e09796534daa/volumes/kubernetes.io~secret/default-token-ab33i
tmpfs            95G   12K   95G   1% /var/lib/kubelet/pods/df62fbed-ef83-11e6-878c-e09796534daa/volumes/kubernetes.io~secret/default-token-ab33i
tmpfs            95G   12K   95G   1% /var/lib/kubelet/pods/ef590f38-ef83-11e6-878c-e09796534daa/volumes/kubernetes.io~secret/default-token-ab33i
tmpfs            95G   12K   95G   1% /var/lib/kubelet/pods/ffe50f62-ef83-11e6-878c-e09796534daa/volumes/kubernetes.io~secret/default-token-cuzo2
tmpfs            95G   12K   95G   1% /var/lib/kubelet/pods/b0cacb34-f1af-11e6-b535-e09796534daa/volumes/kubernetes.io~secret/default-token-cuzo2
tmpfs            95G   12K   95G   1% /var/lib/kubelet/pods/025dc80b-f1b9-11e6-b535-e09796534daa/volumes/kubernetes.io~secret/default-token-cuzo2
tmpfs            95G   12K   95G   1% /var/lib/kubelet/pods/de7dc25d-f272-11e6-b535-e09796534daa/volumes/kubernetes.io~secret/default-token-cuzo2
tmpfs            95G   12K   95G   1% /var/lib/kubelet/pods/b07a6d58-f297-11e6-b535-e09796534daa/volumes/kubernetes.io~secret/default-token-cji2k
tmpfs            95G   12K   95G   1% /var/lib/kubelet/pods/b084b8a9-f297-11e6-b535-e09796534daa/volumes/kubernetes.io~secret/default-token-cji2k

利用 df 进行分析, 实际上 / 只占用了少量空间 (4.4G)

[root@hh-yun-k8s-128151 /]# mount /dev/sda2 /mnt
[root@hh-yun-k8s-128151 /]# du -sh /mnt/
4.4G    /mnt/

结果

分析可能性

1.  df 与 du 显示不一致
2.  常见为进程正在占用文件, 而运维人员直接删除文件, 导致文件句柄没有释放
3.  上述第二点会导致 df 读取时候也把删除的文件的空间计算进去

获取进程占用而又被删除的文件方法

lsof | grep deleted > /tmp/files

查询结果

[root@hh-yun-k8s-128151 /]# head -n 30 /tmp/files
monitor     1389                  root    5w      REG                8,2        588  404101751 /var/log/openvswitch/ovsdb-server.log-20160802 (deleted)
monitor     1389                  root    7u      REG                8,2        141    1285894 /tmp/tmpfvWpBig (deleted)
ovsdb-ser   1391                  root    7u      REG                8,2        141    1285894 /tmp/tmpfvWpBig (deleted)
monitor     1438                  root    3w      REG                8,2       3478  404108801 /var/log/openvswitch/ovs-vswitchd.log-20160802 (deleted)
docker     56894                  root   12r      REG                8,2    2000037  269953568 /var/lib/docker/containers/42a0c6add5d3b86037bef74d955fd968f4af853bf350ca1cb681094e0f60f816/42a0c6add5d3b86037bef74d955fd968f4af853bf350ca1cb681094e0f60f816-json.log.4 (deleted)
docker     56894                  root   16r      REG                8,2    2000010  342880030 /var/lib/docker/containers/ae79f532a9fdf40f5c7c4549a2b1703382cc31f409114325e4ca4a9aa1d9d612/ae79f532a9fdf40f5c7c4549a2b1703382cc31f409114325e4ca4a9aa1d9d612-json.log.4 (deleted)
docker     56894                  root   20r      REG                8,2    2000089  343187052 /var/lib/docker/containers/ae79f532a9fdf40f5c7c4549a2b1703382cc31f409114325e4ca4a9aa1d9d612/ae79f532a9fdf40f5c7c4549a2b1703382cc31f409114325e4ca4a9aa1d9d612-json.log.4 (deleted)
docker     56894                  root   22r      REG                8,2    2000074  343187085 /var/lib/docker/containers/ae79f532a9fdf40f5c7c4549a2b1703382cc31f409114325e4ca4a9aa1d9d612/ae79f532a9fdf40f5c7c4549a2b1703382cc31f409114325e4ca4a9aa1d9d612-json.log.4 (deleted)
docker     56894                  root   23r      REG                8,2    2000022  342328837 /var/lib/docker/containers/ae79f532a9fdf40f5c7c4549a2b1703382cc31f409114325e4ca4a9aa1d9d612/ae79f532a9fdf40f5c7c4549a2b1703382cc31f409114325e4ca4a9aa1d9d612-json.log.4 (deleted)
docker     56894                  root   25r      REG                8,2    2000001  346233868 /var/lib/docker/containers/ae79f532a9fdf40f5c7c4549a2b1703382cc31f409114325e4ca4a9aa1d9d612/ae79f532a9fdf40f5c7c4549a2b1703382cc31f409114325e4ca4a9aa1d9d612-json.log.4 (deleted)
docker     56894                  root   27r      REG                8,2    2000117  345268401 /var/lib/docker/containers/ae79f532a9fdf40f5c7c4549a2b1703382cc31f409114325e4ca4a9aa1d9d612/ae79f532a9fdf40f5c7c4549a2b1703382cc31f409114325e4ca4a9aa1d9d612-json.log.4 (deleted)
docker     56894                  root   30r      REG                8,2    2000154    1770081 /var/lib/docker/containers/7d7a7df5fbf51763352fdb928ee1a1699b3b8b4311d37e40113196c32faf7566/7d7a7df5fbf51763352fdb928ee1a1699b3b8b4311d37e40113196c32faf7566-json.log.4 (deleted)
docker     56894                  root   31r      REG                8,2    2001891    1761668 /var/lib/docker/containers/7d7a7df5fbf51763352fdb928ee1a1699b3b8b4311d37e40113196c32faf7566/7d7a7df5fbf51763352fdb928ee1a1699b3b8b4311d37e40113196c32faf7566-json.log.4 (deleted)
docker     56894                  root   32r      REG                8,2    2000077    1761664 /var/lib/docker/containers/7d7a7df5fbf51763352fdb928ee1a1699b3b8b4311d37e40113196c32faf7566/7d7a7df5fbf51763352fdb928ee1a1699b3b8b4311d37e40113196c32faf7566-json.log.4 (deleted)
docker     56894                  root   33r      REG                8,2    2001938    1762263 /var/lib/docker/containers/7d7a7df5fbf51763352fdb928ee1a1699b3b8b4311d37e40113196c32faf7566/7d7a7df5fbf51763352fdb928ee1a1699b3b8b4311d37e40113196c32faf7566-json.log.4 (deleted)
docker     56894                  root   34r      REG                8,2    2000154    3736653 /var/lib/docker/containers/7d7a7df5fbf51763352fdb928ee1a1699b3b8b4311d37e40113196c32faf7566/7d7a7df5fbf51763352fdb928ee1a1699b3b8b4311d37e40113196c32faf7566-json.log.4 (deleted)
docker     56894                  root   39r      REG                8,2    2000039  345268394 /var/lib/docker/containers/ae79f532a9fdf40f5c7c4549a2b1703382cc31f409114325e4ca4a9aa1d9d612/ae79f532a9fdf40f5c7c4549a2b1703382cc31f409114325e4ca4a9aa1d9d612-json.log.4 (deleted)
docker     56894                  root   41r      REG                8,2    2000243  404129948 /var/lib/docker/containers/a03a8e43513ea060224cf6658680157488c452d3c0096471e4a4bfd4d0e3394b/a03a8e43513ea060224cf6658680157488c452d3c0096471e4a4bfd4d0e3394b-json.log.4 (deleted)
docker     56894                  root   42r      REG                8,2    2000044  345268392 /var/lib/docker/containers/ae79f532a9fdf40f5c7c4549a2b1703382cc31f409114325e4ca4a9aa1d9d612/ae79f532a9fdf40f5c7c4549a2b1703382cc31f409114325e4ca4a9aa1d9d612-json.log.4 (deleted)
docker     56894                  root   43r      REG                8,2    2000138  270873518 /var/lib/docker/containers/ae79f532a9fdf40f5c7c4549a2b1703382cc31f409114325e4ca4a9aa1d9d612/ae79f532a9fdf40f5c7c4549a2b1703382cc31f409114325e4ca4a9aa1d9d612-json.log.4 (deleted)
docker     56894                  root   44r      REG                8,2    2000109  342328852 /var/lib/docker/containers/ae79f532a9fdf40f5c7c4549a2b1703382cc31f409114325e4ca4a9aa1d9d612/ae79f532a9fdf40f5c7c4549a2b1703382cc31f409114325e4ca4a9aa1d9d612-json.log.4 (deleted)
docker     56894                  root   49r      REG                8,2    2003399    2935891 /var/lib/docker/containers/7d7a7df5fbf51763352fdb928ee1a1699b3b8b4311d37e40113196c32faf7566/7d7a7df5fbf51763352fdb928ee1a1699b3b8b4311d37e40113196c32faf7566-json.log.4 (deleted)
docker     56894                  root   51r      REG                8,2    2000258  345268396 /var/lib/docker/containers/ae79f532a9fdf40f5c7c4549a2b1703382cc31f409114325e4ca4a9aa1d9d612/ae79f532a9fdf40f5c7c4549a2b1703382cc31f409114325e4ca4a9aa1d9d612-json.log.4 (deleted)
docker     56894                  root   57r      REG                8,2    2000024  345177666 /var/lib/docker/containers/ae79f532a9fdf40f5c7c4549a2b1703382cc31f409114325e4ca4a9aa1d9d612/ae79f532a9fdf40f5c7c4549a2b1703382cc31f409114325e4ca4a9aa1d9d612-json.log.4 (deleted)
docker     56894                  root   58r      REG                8,2    2000141  270873521 /var/lib/docker/containers/ae79f532a9fdf40f5c7c4549a2b1703382cc31f409114325e4ca4a9aa1d9d612/ae79f532a9fdf40f5c7c4549a2b1703382cc31f409114325e4ca4a9aa1d9d612-json.log.4 (deleted)
docker     56894                  root   59r      REG                8,2    2000243  346233846 /var/lib/docker/containers/ae79f532a9fdf40f5c7c4549a2b1703382cc31f409114325e4ca4a9aa1d9d612/ae79f532a9fdf40f5c7c4549a2b1703382cc31f409114325e4ca4a9aa1d9d612-json.log.4 (deleted)
docker     56894                  root   60r      REG                8,2    2000103  270873517 /var/lib/docker/containers/ae79f532a9fdf40f5c7c4549a2b1703382cc31f409114325e4ca4a9aa1d9d612/ae79f532a9fdf40f5c7c4549a2b1703382cc31f409114325e4ca4a9aa1d9d612-json.log.4 (deleted)
docker     56894                  root   65r      REG                8,2    2000009  346233853 /var/lib/docker/containers/ae79f532a9fdf40f5c7c4549a2b1703382cc31f409114325e4ca4a9aa1d9d612/ae79f532a9fdf40f5c7c4549a2b1703382cc31f409114325e4ca4a9aa1d9d612-json.log.4 (deleted)
docker     56894                  root   66r      REG                8,2    2001743  269761873 /var/lib/docker/containers/f1cfed05a1a6051b1e97e31ed708343bcbdfc9ed0d7baa6b267e45873915b331/f1cfed05a1a6051b1e97e31ed708343bcbdfc9ed0d7baa6b267e45873915b331-json.log.4 (deleted)
docker     56894                  root   67r      REG                8,2    2000473  269761869 /var/lib/docker/containers/f1cfed05a1a6051b1e97e31ed708343bcbdfc9ed0d7baa6b267e45873915b331/f1cfed05a1a6051b1e97e31ed708343bcbdfc9ed0d7baa6b267e45873915b331-json.log.4 (deleted)

总结

根据结果, 我们得到下面分析:

1. 当需要清除日志时候,  请使用 logrotate 等工具进行日志截断
2.  如果真的怕麻烦,  那么建议使用  cat /dev/null > file.log 的方法进行文件截断 (但文件多过也会占用 inode 空间,  可以利用  df -Th 方法查询 )
3.  建议使用标准日志格式, 利用 logstash 等工具进行远程备份与日志分析,  避免类似麻烦
4.  对于 docker 自身也具有 LogConfig 参数可以对日志进行回滚截断等控制
5.  由于容器的异常,  导致 k8s 回收容器, 而残留的线程会持续对容器 log 进行访问, 导致空间会越来越小,  这个问题无法避免,  参考下面解决方法

参考解决

参考磁盘空间

df 磁盘空间

[root@hh-yun-k8s-240006 ~]# df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda2        80G   70G   11G  87% /

du 对应磁盘空间

[root@hh-yun-k8s-240006 ~]# mount /dev/sda2 /mnt
[root@hh-yun-k8s-240006 ~]# du -sh /mnt/
57G     /mnt/
[root@hh-yun-k8s-240006 ~]# umount /mnt

说明: 当前磁盘实际使用 57GB, 但包含了进程对文件句柄没有释放的计算, 就变成 70GB

释放文件句柄

[root@hh-yun-k8s-240006 ~]# ls -li "/proc/`cat /var/run/docker.pid`/fd" | grep '\(deleted\)' | xargs -n 1 -d '\n' -P 8 -I [] bash -c 'find . -inum `echo "[]" | sed -e "s/^[[:space:]]*//" | cut -d " "  -f 1`  -exec ls -l {} \; -exec  truncate -s 0 {} \;' > /dev/null

查询释放后的空间

[root@hh-yun-k8s-240006 ~]# df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda2        80G   60G   22G  80% /

微信关注我们

原文链接：https://yq.aliyun.com/articles/70804

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

容器数据

数据卷数据卷提供了一种主机和容器共享数据的方式，有些时候需要用它来做持久化和数据共享。当做持久化时，通常数据卷都会比较大，可以将其放在单独的磁盘、卷或者阵列上，这个时候容器只是一个执行环境。当做数据共享时，可以用于开发和测试分布式系统，如需要用到共享盘、处理fencing 等。数据卷主要通过-v 参数来指定。 1 创建一个数据卷若需要一个外部卷来存放持久化数据，而不想把数据包含在容器内部。例如： root@ghostcloud:~# docker run -d -P --name datatest -v /webapp ubuntu 13ffee3a3f50d07fd5a737aaf2efc60ceec28e2b04c5d534cfd84d8b70019c11 这条命令创建了一个名为datatest 的容器，同时为其创建了一个/webapp 的数据卷，这是数据卷在其内部的位置。那么它在主机上的什么位置呢？ root@ghostcloud:~# docker inspect 13ff ... "Mounts": [ { "Name": "ec1c427a6a76be4918d6e8b...

2017-02-14

629

背景：大家所熟知的Docker容器调度引擎包括，K8S, Swarm, Mesos和Rancher，这些调度引擎都是开源的国外引擎，各有各的特点。在同客户和圈内人士沟通中，很多人直言国内容器创业公司大多只是将各种开源组件集成在一起，同质化严重，没有核心竞争力。作为国内第一批的容器创业公司——Ghostcloud精灵云，深知国内需要在容器的诸多领域拥有真正完全可控，同时具有核心竞争力的产品。因此，容器云平台最核心的调度引擎迫切需要一个完全可控，自主的产品，在这种背景下Newbon应运而生。Newbon取自“牛犇”的谐音，意在构建一个稳定的，牢固的容器调度引擎。接下来就简单介绍一下Newbon的实现细节，并通过一系列视频进行功能展示。组成： Newbon包含几个核心部分： l Api-Server : 为UI和第三方集成提供调用接口。 l Scheduler : 负责解释定义，收集数据和执行调度。 l DNS/ETCD : 负责服务注册，服务发现，订阅和容器主机访问。 l Executer :负责执行Server端下发命令。 l Monitor : 负责监控主机和容器的各种状态。 ...

2017-02-14

727

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

[备忘] 磁盘空间不足分析

前提

分析

结果

总结

容器数据

【干货】全自主研发Docker容器调度引擎——Newbon

相关文章

发表评论

资源下载

腾讯云软件源

Spring

Rocky Linux

Sublime Text

欢迎您来访！