生产环境-linux-网站被挂木马攻防经历

一、出现异常，排查原因发现异常是通过远端监控脚本发现访问网站时断时续，使用ssh工具连接会经常断掉连接，无法开展工作。使用其他服务器对另一个网卡ip进行ssh连接，可以登录服务器，初步怀疑网卡异常或者流量异常。分别使用ifstat、iftop、nethogs查看连接异常网卡流量信息(对几个流量分析工具进行对比，各有千秋)：1、使用ifstatwget http://distfiles.macports.org/ifstat/ifstat-1.1.tar.gzcd ifstat-1.1 ./configuremake make install 都是老套路ifstat -a 加入监控lo2、使用iftop监控那个端口流量p 可以显示连接端口3、使用nethogs监控每个进程流量yum换rpel源wgethttp://download.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpmyum install nethogsnethogs eth0效果展示ifstat：

可以看到服务器流量异常时，流量的变化情况。效果展示iftop：

可以看到哪个PID进程导致流量过高效果展示nethogs：



二、查找真凶通过上面分析，造成网站打不开的原因就是有进程大量发送数据包到某个ip(其实是阿里的服务器)的80端口，导致服务器网络阻塞，但是通过以上的工具，发现此木马相当的狡猾，无法发使用的那个进程。在使用netstat、ss通过端口获取木马进程失败后(后面才知道netstat、ps等命令已经被木马感染)可以使用top工具，此木马在大量发包时肯定会造成资源的消耗通过锁定发现了两个进程有大量的嫌疑：




通过ps命令找到进程执行的目录：

/usr/bin/sshupdate-bootsystem-insserv

/tmp/GuiBger

通过持续观察发现时有agent进程一闪而逝，在使用find / -name agent 后

# ll /usr/bin/bsd-port/ 总用量 1120 -rwxr-xr-x. 1 root root 1135000 12月 25 11:20agent -rwxr-xr-x. 1 root root       4 12月 25 11:20 agent.conf -rw-r--r--. 1 root root      69 12月 25 11:50 conf.n -rw-r--r--. 1 root root       0 10月  9 19:36 getty

此时，相关的可以进程都找到了，通过测试，在网络阻塞时，删除sshupdate-bootsystem-insserv、GuiBger两个进程后，网络流量立即正常。而agent则怀疑是与黑客的通信进程，用于接收命令(瞎猜的)或者监控上面连个进程。
三、解决真凶找到这3个进程并不意味结束，因为他们很可以是开机自启动程序，所以要在找到他们的开机自起的配置文件，我通过一个脚本实现这个功能：

#!/bin/sh echo > /tmp/find_init.log function ergodic(){          forfile in `ls $1`          do                    if[ -d $1"/"$file ] #如果 file存在且是一个目录则为真                             then                             ergodic$1"/"$file                    else                             localpath=$1"/"$file #得到文件的完整的目录                             localname=$file       #得到文件的名字                             #做自己的工作.                             echo  $path                              rootkit_init=`cat$path | grep sshupdate | head -n 1`                             if[ -z $rootkit_init ];then                             echo  "sed -i 's#$rootkit_init##g' $path">>  /tmp/find_init.log                             fi                    fi             done } INIT_PATH="/etc/init.d" ergodic $INIT_PATH cat /tmp/find_init.log

这个脚本功能很简单，通过遍历/etc/init.d目录所有文件，使用grep搜索进程名关键词，将含有这几个进程的文件找出来。结果如下：

sed -i's#/usr/bin/sshupdate-bootsystem-insserv##g' /etc/init.d/DbSecurityMdt sed -i's#/usr/bin/sshupdate-bootsystem-insserv##g' /etc/init.d/insserv

还真有自启动配置，迅速删除之在删除这个木马命令时会遇到无法删除的问题，这个很简单：

lsattr /usr/bin/sshupdate-bootsystem-insserv 查看文件的隐藏权限 -------i------e- sshupdate-bootsystem-insserv 发现被限制删除操作了 chattr -i  /usr/bin/sshupdate-bootsystem-insserv 取消影藏权限，然后再删除，完成。

通过查看数据的表结构，发现木马是从数据库渗透进服务器的，因为没有上线，方便开发测试在密码强度上使用了弱密码，所以被黑客破解了mysql的root账户密码，在mysql注入了木马，一步一步渗透到服务器。数据库方面处理就不详细介绍了：检查生产库的表结构，删除多余表。

然后备份所有生产库。

停止mysql

删除datadir目录所有文件

重启mysql

导入此前备份数据库

四、彻底扫除尾巴与隐患通过上面的步骤已经能解决服务器被黑客作为攻击工具的问题了，但是系统是否还有木马隐藏，是否安全还需要加个问号。作者要介绍的方法是，使用linux系统的杀毒软件，作者使用的是avg，还是蛮好用的，被木马感染的netstat、ps等命令和影藏文件就是通过avg扫描出来的。简单介绍下avg的安装和使用avg杀毒软件{下载地址:http://free.avg.com/us-en/download-free-all-product启动 service avgd start更新：avgupdate扫描：avgscan 加“要扫描的目录地址” 比如说sudo avgscan /etc复制代码-a 扫描内部档案-l 自动愈合受感染的对象-t 自动删除受感染的对象-u 自动移动感染对象到隔离作者扫描时:avgscan /avg会列出可以文件：找出删除即可，如果无法删除，上文有提过，先查看隐藏权限五、总结最后总结下，之所以被黑客在linux服务器上挂马，是因为方便开发上线产品，关闭了iptables，数据库使用了弱密码，这个教训很深刻，所以使用iptables限制服务器的端口非常有必要，如果可能最好selinux开启。当然定时更换各账户密码也很重要!同时加强linux安全防护一定做到事前，在被黑客入侵后处理会更麻烦，知道系统安全加强到一定程度，黑客很难入侵系统。因本人对安全方面涉及不深，此篇文章只是记实阐述我的处理经过，很多地方经验欠缺，如有大神，不吝赐教虚心学习才能进步，知识共享共同进步