Linux系统经验菜鸟

经验分享:Linux虚拟机 磁盘空间满/inode满/僵尸文件 问题分析与排查

inode 是 UNIX 操作系统中的一种数据结构,其本质是结构体,它包含了与文件系统中各个文件相关的一些重要信息。在 UNIX 中创建文件系统时,同时将会创建大量的 inode 。通常,文件系统磁盘空间中大约百分之一空间分配给了 inode 表。

inode 表包含一份清单,其中列出了对应文件系统的所有 inode 编号。当用户搜索或者访问一个文件时,UNIX 系统通过 inode 表查找正确的 inode 编号。在找到 inode 编号之后,相关的命令才可以访问该 inode ,并对其进行适当的更改。

经验分享:Linux虚拟机 磁盘空间满/inode满/僵尸文件 问题分析与排查插图

关于inode相关知识以及经验分享:

 

问题描述

在Linux系统的云服务器ECS实例内创建文件时,出现类似如下空间不足的提示。

No space left on device …

 

问题原因

导致该问题的可能原因如下所示。

  • 磁盘分区空间使用率达到百分之百。
  • 磁盘分区inode使用率达到百分之百。
  • 存在僵尸文件。

    注:已删除文件因句柄被占用未释放,导致相应空间未释放的文件。

  • 挂载点覆盖。

    注:在原有文件系统的相应目录下已经存在大量文件。挂载新磁盘后,导致使用df命令能统计到相关空间使用,而使用su命令统计不到。

 

解决方案

要解决该问题,请根据不同的问题原因,通过如下方式进行处理。

  • 分区容量满
  • inode容量满
  • 修改inode数量
  • 僵尸文件分析删除
  • 挂载点覆盖

 

分区容量满的处理

  1. 登录服务器,使用df -h命令查看磁盘使用率,其中的 Mounted on 指挂载的目录。
    经验分享:Linux虚拟机磁盘 空间满/inode满/僵尸文件 问题分析与排查
  2. 进入根目录,执行如下指令,逐级查看哪个目录占用磁盘空间较大,进入该目录,直到找到最精确的的文件或目录。du -sh *系统显示类似如下。
    du -sh *

    系统显示类似如下。
    经验分享:Linux虚拟机磁盘 空间满/inode满/僵尸文件 问题分析与排查

  3. 最后,结合业务情况等判断对相关文件或目录进行删除,或者购买更大的数据盘分担处理。

 

inode容量满的处理

通过如下操作,解决inode容量满的问题。

 

查询inode使用情况

Linux的inode节点中,记录了文件的类型、大小、权限、所有者、文件连接的数目、创建时间与更新时间等重要的信息,还有一个比较重要的内容就是指向数据块的指针。一般情况不需要特殊配置,如果存放文件很多,则需要配置。有时磁盘空间有剩余但是不能存放文件,可能是由于inode耗尽所致。

  1. 执行df -i命令,可以查询inode的使用情况。
    经验分享:Linux虚拟机磁盘 空间满/inode满/僵尸文件 问题分析与排查
  2. 如果inode使用率达到或者接近100%,可以通过如下两种方式进行处理。
    • 清除inode占用高的文件或者目录(见本文)。
    • 修改inode数量(见本文)。

 

清除inode占用高的文件或者目录

如果不方便格式化磁盘以增加inode数量,可以参考如下步骤,清理inode占用量高的文件或者目录。

  1. 登录服务器,执行如下命令,分析根目录下的每个二级目录下有多少个文件。
    for i in /*; do echo $i; find $i | wc -l; done

    系统显示类似如下。
    经验分享:Linux虚拟机磁盘 空间满/inode满/僵尸文件 问题分析与排查

  2. 然后,逐层进入inode占用最高的目录,继续执行上述指令,逐步定位占用过高空间的文件或目录,最后进行相应清理。

 

修改inode数量

如果不允许清理磁盘中的文件,或者清理后inode使用率仍然较高,则需要通过如下步骤,增加inode节点数量。

注:inode的调整需要重新格式化磁盘,请确保数据已经得到有效备份后,再进行以下操作。

  1. 执行如下命令,卸载系统文件。
    umount /home
  2. 执行如下命令,重新建立文件系统,指定inode节点数。
    mkfs.ext3 /dev/xvdb -N 1638400

    注:本文指定inode节点数1638400,现场实际环境请以实际为准。

  3. 执行如下命令,修改fstab文件。
    vim /etc/fstab
  4. 执行如下命令,查看修改后的inode节点数。
    dumpe2fs -h /dev/xvdb | grep node

    系统显示类似如下。
    经验分享:Linux虚拟机磁盘 空间满/inode满/僵尸文件 问题分析与排查

 

僵尸文件分析与删除

如果磁盘和inode都没有问题,则需要查看是否存在未被清除句柄的僵尸文件。这些文件实际上已经被删除,但是有服务程序在使用这些文件,导致这些文件一直被占用,无法释放磁盘空间。如果这些文件过多,会占用很大的磁盘空间。参考以下步骤查看并删除僵尸文件。

  1. 远程登录服务器。
  2. 执行如下命令,安装lsof。
    yum install lsof -y
  3. 执行如下命令,查看僵尸文件占用情况。
    lsof |grep delete | more

    系统显示类似如下。
    经验分享:Linux虚拟机磁盘 空间满/inode满/僵尸文件 问题分析与排查

  4. 如果这些文件过多,会占用很大的磁盘空间。可以通过如下方法来释放句柄,以清除僵尸文件。
    1. 重启服务器,验证效果。重启服务器,系统会退出现有的进程,开机后重新加载。该过程会释放调用的deleted文件的句柄。
    2. 根据lsof命令列出的pid进程号,使用kill命令正常停止或结束占用这些文件的服务进程。

      注:如果服务器正在运行业务,可能会影响到业务,请慎重操作。

 

挂载点覆盖

先取消磁盘挂载,再检查原挂载目录下的空间占用情况。

(END)

文章源自“阿里云社区”:https://help.aliyun.com/knowledge_detail/42531.html