运维故障总结

最近由于脚本不专业，因为依赖路径被删除，后台脚本cd失败，导致find了根目录进行查询和删除。整个服务器数据基本被干掉。教训是惨痛的，更重要的是要如果吸取教训。

恢复：

1. 定位问题： 把问题脚本停止，一般要看定时任务，后台任务等

2. 让硬盘变得只读

3. 使用extundelete和ext4magic恢复部分文件，ext4magic时可以挂接NFS来避免破坏现场

4. 导出内存中的信息，尽量的挽救更多数据

总结：

1. 运维脚本一定要规范化，特别是涉及到删除的必须要稳固，比如find和rm等命令必须要带绝对路径

2. 将数据和业务隔离，因为业务是多变的（升级，调试，安装，写日志等操作），涉及的人也比较多，会经常变动。最好是物理上隔离，做不到物理隔离，起码要在账号、目录权限上进行隔离而不互相影响。