最近几天工作室有一台服务器经常在流量不算很大的情况下,内存迅速降低到服务器宕机,几年的服务器维护经验告诉自己这个服务器配置是足以胜任目前的网站流量的,那么一定是服务器某个配置导致的问题,因为服务器的结构是LANMP,一般来说apache是内存消耗大户,所以大致判断的结论是apache的配置导致的内存消耗过大。

在处理此次OOMing的过程当中有个插曲,简单交代一下,每次内存快消耗完毕的时候,刚好发现了,就会通过SSH登录服务器,然后运行 service httpd reload 命令以释放apache所消耗的内存,以往执行这个操作基本都可以成功的释放内存出来,但此次执行完这个操作以后,服务器内存的确完全的释放出来了,但是发现网站仍旧无法打开,而且查看服务器负载会发现,负载逐步下降直至0,于是意识到很可能apache压根就没启动起来,因为结合了WDCP后台来可视化重启web,因此是否重启出错也是看不到的,于是进入ssh,重新执行service httpd reload,果然发现apache重启失败了,提示:

# service httpd restart
Stopping httpd:                                            [FAILED]
Starting httpd: (98)Address already in use: make_sock: could not bind to address [::]:88
(98)Address already in use: make_sock: could not bind to address 0.0.0.0:88
no listening sockets available, shutting down
Unable to open logs
[FAILED]

由此发现应该是发生OOMing以后,内存耗光了导致端口被占用,无法重启apache了,于是执行以下命令查看当前占用了88端口的进程是哪个进程:

# netstat -ltnp | grep ‘:88’
tcp 0 0 :::88 :::* LISTEN 3697/httpd

由上边可以看出占用88端口的是3697/httpd,因此执行以下命令杀死这个进程,然后再次重启apache就可以了:

# kill -9 3697
# service httpd restart

至此服务器避免了重启操作,恢复了网站的访问,当然目前这些操作仅仅是治标并没有治本,问题的根源基本可以肯定是apache的参数过高导致了资源消耗过大导致了OOMing的发生,当然仅仅是猜测是不够的,我们可以执行以下命令来查看服务器消耗的内存倒序排列结果:

ps -eo pmem,pcpu,rss,vsize,args | sort -k 1 -r | less

返回结果前几条显示如下:

%MEM %CPU RSS VSZ COMMAND
2.8 2.2 116452 250928 /www/wdlinux/apache/bin/httpd
2.8 2.0 115908 250852 /www/wdlinux/apache/bin/httpd
2.8 2.0 115896 250424 /www/wdlinux/apache/bin/httpd
2.8 2.0 115716 249840 /www/wdlinux/apache/bin/httpd
2.8 1.9 115924 250492 /www/wdlinux/apache/bin/httpd
2.8 1.9 115608 250528 /www/wdlinux/apache/bin/httpd
2.8 1.9 115048 249924 /www/wdlinux/apache/bin/httpd
2.8 1.8 116064 250708 /www/wdlinux/apache/bin/httpd
2.8 1.7 115692 250452 /www/wdlinux/apache/bin/httpd
2.6 2.4 108056 235816 /www/wdlinux/apache/bin/httpd
2.3 2.3 93288 220308 /www/wdlinux/apache/bin/httpd
2.2 2.5 90592 217728 /www/wdlinux/apache/bin/httpd
2.2 2.5 90176 217592 /www/wdlinux/apache/bin/httpd
2.2 2.5 89696 215480 /www/wdlinux/apache/bin/httpd
2.2 2.4 91356 217468 /www/wdlinux/apache/bin/httpd
2.2 2.4 90688 217860 /www/wdlinux/apache/bin/httpd
2.2 2.4 90580 217816 /www/wdlinux/apache/bin/httpd
2.2 2.4 89836 217052 /www/wdlinux/apache/bin/httpd
2.2 2.3 92568 218576 /www/wdlinux/apache/bin/httpd
2.2 2.3 90136 217564 /www/wdlinux/apache/bin/httpd
2.2 2.2 90152 217340 /www/wdlinux/apache/bin/httpd
2.2 2.2 89860 216832 /www/wdlinux/apache/bin/httpd
2.2 2.2 89428 216956 /www/wdlinux/apache/bin/httpd
2.2 2.0 89532 215652 /www/wdlinux/apache/bin/httpd
2.2 1.9 90712 217564 /www/wdlinux/apache/bin/httpd

然后执行以下命令,查看系统目前一共有多少个apache的进程在运行:

ps -ef|grep httpd|wc -l

根据返回的数据由此足以断定此次内存耗光的罪魁祸首就是apache进程太多导致的,于是重点着眼于apache的参数设定,最终测试下来的结论是MaxClients的正确设定,默认apache的MaxClients值普遍偏大,根据自己网站的流量来设定一个适合自己网站的正确的MaxClients值,保存,重启apache以后,一切正常了。