解决Linux磁盘空间满的“软”办法
时间:2017-01-05 13:10 来源:linux.it.net.cn 作者:IT
是什么占用了我的分区
其实之前写过一篇文章《Linux分区结点被占满》,那篇文章主要是因为空间未用完,但inode节点被用完了,导致不能新建文件,错误提示为“空间被占满”。
但此次遇到的问题又有所不同,df -h显示/home空间被占用55G,但是du -sh统计出来的结果却是/home分区下所有文件总共只占用2G的大小。这叫我怎么不觉得奇怪。
后来用lsof /home | grep -i delete 查找了一下终于发现问题的关键所在
由上面的查询结果我们可以看到,已经删除的Java日志文件占用了很大的空间。
引起上面这种现象的主要原因是什么呢?
主要是因为我们在删除这个日志文件的时候是用rm -rf *.log这样的命令删除的,删除日志之后又没有重启java进程,导致inode节点不被释放,空间一直被占用。
如果我们用echo “ ” > /logpath/201109.log这样的命令来清空日志,就不会出现上面这样的问题了。
用命令fdisk /dev/sdb来对新增的空间划分磁盘分区
命令mkfs ext3 /dev/sdb1对其进行格式化
用ROOT权限打开/etc/fstab文件。新增加一个选项。新增如下:/dev/sdb1 /home/kinghua/mymnt ext3 noauto,user,exec 0 0。中间是用TAB键格开,保存好。这样就设置好了新分区的MOUNT格式。
现在来设置如何自动在系统启动的时候MOUNT,UMOUNT这个分区。进入你的用户目录,vi .bash_profile,在其中增加一行mount /home/kinghua/mymnt。同样,vi .bash_logout,在其中增加一行umount /home/kinghua/mymnt。保存。
重新启动系统。用df -h查看磁盘情况,自动mount上了。而且普通用户拥有所有权限,还可以在里面执行文件,跟系统本来的分区一样可用。
/dev/shm/是linux下一个非常有用的目录,因为这个目录不在硬盘上,而是在内存里。因此在linux下,就不需要大费周折去建ramdisk,直接使用/dev/shm/就可达到很好的优化效果。
/dev /shm/需要注意的一个是容量问题,在linux下,它默认最大为内存的一半大小,使用df -h命令可以看到。但它并不会真正的占用这块内存,如果/dev/shm/下没有任何文件,它占用的内存实际上就是0字节;如果它最大为1G,里头放有 100M文件,那剩余的900M仍然可为其它应用程序所使用,但它所占用的100M内存,是绝不会被系统回收重新划分的,否则谁还敢往里头存文件呢?
默认的最大一半内存大小在某些场合可能不够用,并且默认的inode数量很低一般都要调高些,这时可以用mount命令来管理它。 mount -o size=1500M -o nr_inodes=1000000 -o noatime,nodiratime -o remount /dev/shm
在2G的机器上,将最大容量调到1.5G,并且inode数量调到1000000,这意味着大致可存入最多一百万个小文件。
为当/dev/shm空间不够时可以占用swap的空间,所以不用担心存储空间不够用。想想看,从磁盘IO操作到内存操作,PHP读写SESSION的速度会快多少?只是需要注意,存储在/dev/shm的数据,在服务器重启后会全部丢失。
默认系统就会加载/dev/shm ,它就是所谓的tmpfs,有人说跟ramdisk(虚拟磁盘),但不一样。象虚拟磁盘一样,tmpfs 可以使用您的 RAM,但它也可以使用您的交换分区来存储。而且传统的虚拟磁盘是个块设备,并需要一个 mkfs 之类的命令才能真正地使用它,tmpfs 是一个文件系统,而不是块设备;您只是安装它,它就可以使用了。
tmpfs有以下优势:
1,动态文件系统的大小。
2,tmpfs 的另一个主要的好处是它闪电般的速度。因为典型的 tmpfs 文件系统会完全驻留在 RAM 中,读写几乎可以是瞬间的。
3,tmpfs 数据在重新启动之后不会保留,因为虚拟内存本质上就是易失的。所以有必要做一些脚本做诸如加载,绑定的操作。
好了讲了一些大道理,还是讲讲应用吧:
首先在/dev/stm建个tmp文件夹,然后与实际/tmp绑定
mkdir /dev/shm/tmp
chmod 1777 /dev/shm/tmp
mount --bind /dev/shm/tmp /tmp(--bind )
在使用mount --bind olderdir newerdir命令来挂载一个目录到另一个目录后,newerdir的权限和所有者等所有信息会发生变化。挂载后的目录继承了被挂载目录的所有属性,除了名称。
巧用tmpfs加速你的linux服务器,就是使用虚拟磁盘来存放squid的缓存文件和php的seesion。速度快不少哦!
1. squid的缓存目录设置
vi /etc/squid/squid.conf
修改成
cache_dir ufs /tmp 256 16 256
这里的第一个256表示使用256M内存,我觉得使用ramdisk的方法还不如直接使用tmpfs,至少每次启动不用mkfs,还可以动态改变大小。这时的/tmp 实际就是/dev/shm/tmp
然后重启一下服务,ok,现在所有的squid缓存文件都保存倒tmpfs文件系统里了,很快哦。
2. 对php性能的优化
对于一个访问量大的以apache+php的网站,可能tmp下的临时文件都会很多,比如seesion或者一些缓存文件,那么你可以把它保存到tmpfs文件。
保存seesion的方法很简单了只要修改php.ini就行了,由于我已经把/dev/stm/tmp与/tmp绑定,所以不改写也行,至于php程序产生的缓存文件那只能改自己的php程序了:)
至于tmpfs的其他应用,我想大家可能通过这篇文章会有所启发。
解决Linux磁盘空间满的“软”办法2011-06-20 0:23如果文件系统的空间占用达到100%,就会造成系统无法读写磁盘、应用程序无法执行等故障。造成文件系统空间占满的原因有很多,比如,安装系统时设计不合理,造成有些分区过小;网络通信故障造成日志文件迅速增长等。要预防和解决这些情况,可以试试下面这几招(以文件系统/home为例):
1.定期监控重要的文件系统
定期对重要的文件系统进行扫描,并比较每次扫描的结果,分析出那些文件经常被读写。通过分析,预测出空间的增长情况,同时,可以考虑对不经常读写的大文件进行压缩存储,以减少它们占用的空间。
#ls -lR /home >files.txt
#diff filesold.txt files.txt
对不经常读写的目录/home/odd进行压缩:
#tar cvf odd.bak /home/odd
#compress odd.bak
2. 查看inodes消耗
用下面命令查看空间被占满的文件系统的inodes消耗,如果还有大量inodes可用,说明是大文件占用了空间,否则可能是大量的小文件占用了空间。
#df -i /home
3.找出占用空间较大的目录
查看/home 占用的空间:
#du -hs /home
查看/home 下占用空间超过1000MB的目录:
#du |awk '$1>2000'
4. 找出占用空间较大的文件
查找占用空间大于2000KB的文件:
#find /home -size +2000k
查找大小为500KB到1000KB之间的文件:
#find -type f -size +500k -and -size -1000k
5.找出最近修改或创建的文件
如果文件系统昨天还是正常的,今天空间就被占满了,那就需要查出哪些文件被更新过,哪些文件是新创建的,以便找出并处理不正常的大文件。先“touch”一个文件,时间戳根据具体情况定为比较近的日期,再使用find命令找出比这个文件更新的文件。
#touch -t 08190800 test
#find /home -newer test -print
6.删除日志、邮件等没用的文件
删除core、mbox等文件:
#find / -name core | xargs rm -rf
#find / -name mbox | xargs rm -rf
删除日志文件:
#rm -rf /var/log/*
7.对文件系统做链接
对已经没有空间的文件体统做链接,链接到还有空间的文件系统。
#ln -s /home /usr/home
8.检查并修复文件系统
#fsck -y /home
9.找出耗费大量空间的进程
有的应用会占用很多磁盘空间,这种情况无法具体说明,需要根据不同的应用选择优化的方法。比如,邮件系统和Web代理系统可以通过设置文件保留时间和占用磁盘空间百分比等办法控制磁盘空间的占用。
10.重启机器
重新启动系统会对文件系统进行扫描,还会初始化进程、内存和磁盘空间的管理,是解决很多问题的好办法。有了以上几招,应该可以解决大部分问题,但关键还是要在安装时就规划好分区。另外,发现文件系统被占满时,要认真分析原因,小心应对,不要删错了文件。如果这些招数都试过了还是没有解决问题,就只有采取增加硬盘、重新安装系统等办法了。
11.找出占用磁盘空间最大的目录进入逐步查找
du -h --max-depth=1|grep G|sort -n
(责任编辑:IT)
是什么占用了我的分区 其实之前写过一篇文章《Linux分区结点被占满》,那篇文章主要是因为空间未用完,但inode节点被用完了,导致不能新建文件,错误提示为“空间被占满”。 但此次遇到的问题又有所不同,df -h显示/home空间被占用55G,但是du -sh统计出来的结果却是/home分区下所有文件总共只占用2G的大小。这叫我怎么不觉得奇怪。 后来用lsof /home | grep -i delete 查找了一下终于发现问题的关键所在 由上面的查询结果我们可以看到,已经删除的Java日志文件占用了很大的空间。 引起上面这种现象的主要原因是什么呢? 主要是因为我们在删除这个日志文件的时候是用rm -rf *.log这样的命令删除的,删除日志之后又没有重启java进程,导致inode节点不被释放,空间一直被占用。 如果我们用echo “ ” > /logpath/201109.log这样的命令来清空日志,就不会出现上面这样的问题了。 用命令fdisk /dev/sdb来对新增的空间划分磁盘分区 命令mkfs ext3 /dev/sdb1对其进行格式化 用ROOT权限打开/etc/fstab文件。新增加一个选项。新增如下:/dev/sdb1 /home/kinghua/mymnt ext3 noauto,user,exec 0 0。中间是用TAB键格开,保存好。这样就设置好了新分区的MOUNT格式。 现在来设置如何自动在系统启动的时候MOUNT,UMOUNT这个分区。进入你的用户目录,vi .bash_profile,在其中增加一行mount /home/kinghua/mymnt。同样,vi .bash_logout,在其中增加一行umount /home/kinghua/mymnt。保存。 重新启动系统。用df -h查看磁盘情况,自动mount上了。而且普通用户拥有所有权限,还可以在里面执行文件,跟系统本来的分区一样可用。 /dev/shm/是linux下一个非常有用的目录,因为这个目录不在硬盘上,而是在内存里。因此在linux下,就不需要大费周折去建ramdisk,直接使用/dev/shm/就可达到很好的优化效果。 /dev /shm/需要注意的一个是容量问题,在linux下,它默认最大为内存的一半大小,使用df -h命令可以看到。但它并不会真正的占用这块内存,如果/dev/shm/下没有任何文件,它占用的内存实际上就是0字节;如果它最大为1G,里头放有 100M文件,那剩余的900M仍然可为其它应用程序所使用,但它所占用的100M内存,是绝不会被系统回收重新划分的,否则谁还敢往里头存文件呢? 默认的最大一半内存大小在某些场合可能不够用,并且默认的inode数量很低一般都要调高些,这时可以用mount命令来管理它。 mount -o size=1500M -o nr_inodes=1000000 -o noatime,nodiratime -o remount /dev/shm 在2G的机器上,将最大容量调到1.5G,并且inode数量调到1000000,这意味着大致可存入最多一百万个小文件。 为当/dev/shm空间不够时可以占用swap的空间,所以不用担心存储空间不够用。想想看,从磁盘IO操作到内存操作,PHP读写SESSION的速度会快多少?只是需要注意,存储在/dev/shm的数据,在服务器重启后会全部丢失。 默认系统就会加载/dev/shm ,它就是所谓的tmpfs,有人说跟ramdisk(虚拟磁盘),但不一样。象虚拟磁盘一样,tmpfs 可以使用您的 RAM,但它也可以使用您的交换分区来存储。而且传统的虚拟磁盘是个块设备,并需要一个 mkfs 之类的命令才能真正地使用它,tmpfs 是一个文件系统,而不是块设备;您只是安装它,它就可以使用了。 tmpfs有以下优势: 1,动态文件系统的大小。 2,tmpfs 的另一个主要的好处是它闪电般的速度。因为典型的 tmpfs 文件系统会完全驻留在 RAM 中,读写几乎可以是瞬间的。 3,tmpfs 数据在重新启动之后不会保留,因为虚拟内存本质上就是易失的。所以有必要做一些脚本做诸如加载,绑定的操作。 好了讲了一些大道理,还是讲讲应用吧: 首先在/dev/stm建个tmp文件夹,然后与实际/tmp绑定 mkdir /dev/shm/tmp chmod 1777 /dev/shm/tmp mount --bind /dev/shm/tmp /tmp(--bind ) 在使用mount --bind olderdir newerdir命令来挂载一个目录到另一个目录后,newerdir的权限和所有者等所有信息会发生变化。挂载后的目录继承了被挂载目录的所有属性,除了名称。 巧用tmpfs加速你的linux服务器,就是使用虚拟磁盘来存放squid的缓存文件和php的seesion。速度快不少哦! 1. squid的缓存目录设置 vi /etc/squid/squid.conf 修改成 cache_dir ufs /tmp 256 16 256 这里的第一个256表示使用256M内存,我觉得使用ramdisk的方法还不如直接使用tmpfs,至少每次启动不用mkfs,还可以动态改变大小。这时的/tmp 实际就是/dev/shm/tmp 然后重启一下服务,ok,现在所有的squid缓存文件都保存倒tmpfs文件系统里了,很快哦。 2. 对php性能的优化 对于一个访问量大的以apache+php的网站,可能tmp下的临时文件都会很多,比如seesion或者一些缓存文件,那么你可以把它保存到tmpfs文件。 保存seesion的方法很简单了只要修改php.ini就行了,由于我已经把/dev/stm/tmp与/tmp绑定,所以不改写也行,至于php程序产生的缓存文件那只能改自己的php程序了:) 至于tmpfs的其他应用,我想大家可能通过这篇文章会有所启发。 解决Linux磁盘空间满的“软”办法2011-06-20 0:23如果文件系统的空间占用达到100%,就会造成系统无法读写磁盘、应用程序无法执行等故障。造成文件系统空间占满的原因有很多,比如,安装系统时设计不合理,造成有些分区过小;网络通信故障造成日志文件迅速增长等。要预防和解决这些情况,可以试试下面这几招(以文件系统/home为例): 1.定期监控重要的文件系统 定期对重要的文件系统进行扫描,并比较每次扫描的结果,分析出那些文件经常被读写。通过分析,预测出空间的增长情况,同时,可以考虑对不经常读写的大文件进行压缩存储,以减少它们占用的空间。 #ls -lR /home >files.txt #diff filesold.txt files.txt 对不经常读写的目录/home/odd进行压缩: #tar cvf odd.bak /home/odd #compress odd.bak 2. 查看inodes消耗 用下面命令查看空间被占满的文件系统的inodes消耗,如果还有大量inodes可用,说明是大文件占用了空间,否则可能是大量的小文件占用了空间。 #df -i /home 3.找出占用空间较大的目录 查看/home 占用的空间: #du -hs /home 查看/home 下占用空间超过1000MB的目录: #du |awk '$1>2000' 4. 找出占用空间较大的文件 查找占用空间大于2000KB的文件: #find /home -size +2000k 查找大小为500KB到1000KB之间的文件: #find -type f -size +500k -and -size -1000k 5.找出最近修改或创建的文件 如果文件系统昨天还是正常的,今天空间就被占满了,那就需要查出哪些文件被更新过,哪些文件是新创建的,以便找出并处理不正常的大文件。先“touch”一个文件,时间戳根据具体情况定为比较近的日期,再使用find命令找出比这个文件更新的文件。 #touch -t 08190800 test #find /home -newer test -print 6.删除日志、邮件等没用的文件 删除core、mbox等文件: #find / -name core | xargs rm -rf #find / -name mbox | xargs rm -rf 删除日志文件: #rm -rf /var/log/* 7.对文件系统做链接 对已经没有空间的文件体统做链接,链接到还有空间的文件系统。 #ln -s /home /usr/home 8.检查并修复文件系统 #fsck -y /home 9.找出耗费大量空间的进程 有的应用会占用很多磁盘空间,这种情况无法具体说明,需要根据不同的应用选择优化的方法。比如,邮件系统和Web代理系统可以通过设置文件保留时间和占用磁盘空间百分比等办法控制磁盘空间的占用。 10.重启机器 重新启动系统会对文件系统进行扫描,还会初始化进程、内存和磁盘空间的管理,是解决很多问题的好办法。有了以上几招,应该可以解决大部分问题,但关键还是要在安装时就规划好分区。另外,发现文件系统被占满时,要认真分析原因,小心应对,不要删错了文件。如果这些招数都试过了还是没有解决问题,就只有采取增加硬盘、重新安装系统等办法了。 11.找出占用磁盘空间最大的目录进入逐步查找 du -h --max-depth=1|grep G|sort -n (责任编辑:IT) |