H3C 交换网络设备一次trouble shuting经历
2011-06-11 23:26
381 查看
好吧,我承认,原先我是不相信命运这一说的。直到遇到了今天这档子事。
背景:
公司机房空调外机搬迁项目正在进行,刚刚完成备用机房的空调外机搬迁。正好有个特别重要的聚会在今晚,看着天下着淅淅沥沥的雨,心中窃喜。周五晚上不用加班了。可以顺利参加这个聚会了。又能认识不少名流。结果。在下班前5分钟的时候,人品爆发了,整个公司网络瘫了。leader今天外出办事,车被挂花了。估计正在处理。一天没来。我想下班这种状态下,我是脱不了身了……
=========================================================================
起因:
早上开始,公司使用的深信服上网行为管理系统就出现登陆困难。接到部门管理同事的回报以后,对系统进行了简单的诊断:
ping 通畅
telnet 端口 正常。
页面访问,延迟非常大。大概每个页面之间切换也要等2~3分钟左右。
据此,怀疑是个别特权人士,上班无聊占用网络资源谋私造成深信服过载。
可一看系统CPU占用率,也就56%。完全不是想象中的那么蛋疼。应该可以顶住得说。
当时,网络还是通畅的,在万般无奈之下,只得中途断电重启了一下深信服设备。
结果,状态依旧坚挺。还是无法配置上网行为管理。
下午17:25分左右。在我收拾好东西准备赴约的那一刻,我知道,网络故障的人品爆发了。我的人品暴走了。全公司断网了。
实测到深信服设备根本就ping不通了。这就说明,真的出事了。
猜想网络里面有异物在攻击我们的网络出口。
==========================================================================
解决步骤:
第一步,给重要的聚会组织者打电话,说明情况,看样子自己今天是被绑定了。这背运啊,背运
第二步,打开进入IMC。试图找到端口一场发包信息日志。
失败了,IMC也进不去了。当时没有细想,早知道结果,这里应该留个心眼才对。
第三步,可以说。我采用了最土的办法。
在核心上停用了所有的业务光口。
通过此操作,各个楼层的业务全部切换到主交换机上来了。
通过在备用上dis vrrp 查看状态,确定都处于找不着北状态。
而在主核心上都属于master状态。
好了,可以彻底开刀了。
第四步,在主核心上,对整个楼层各个楼层的业务口shutdown。
一遍结束,发现深信服终端还是坚挺于ping不通状态。
看来,我错怪了我们公司可爱的同事们了。不是他们攻击的,也不是他们带来的病毒。
第五步,在主核心上一次往下,找到在关闭公司内部服务业务光口后。深信服起死回生了。也找到这个业务口对应的汇聚层交换机。
让我震惊了。居然是公司核心的服务网段。介将搞来?
马上回想最近刚刚登记上线的服务器。作为重点怀疑对象。
同时,恢复了楼层的业务口。让公司网络恢复了。
第六步,找到的汇聚层交换机上,所有端口,除trunk全部shutdown。
然后依次观察性的开启。
找到元凶。居然,居然,居然是dawn的 IMC端。
已经迟到了。无力去排查H3C 的神器IMC为什么跟深信服的网管搞起来了。断开IMC端口后,恢复了公司内部业务承载的所有服务器。
走之前检查了所有内部信息化服务系统。
让后去楼上实地加班的办公室询问了一遍。一切ok。
下周一在考虑怎么来伺候那台牛X的IMC了
==========================================================================
后记
此次操作还是有点腼腆,不够心狠手辣。事后想想。如果vlan个数比interface个数少。干脆下次直接断vlan好了。
貌似也不好,这样找端口会比较困难。每个楼层貌似有多个vlan。谁知道呢。
但值得细心注意的,就是IMC和深信服都不能通。当时真的应该怀疑起IMC才对。
唉,还是太相信高科技了。咱山寨IT民工,不敢动人家神器IMC啊。
=========================================================================
花絮:
两个花絮:
1、十几楼一个美眉着急要死,说晚上要加班远程部署。来了一遍电话问,网络啥事后好啊。我回答,正在搞。第二遍,还是客客气气的来电话问,网络啥时候好,能不能给个准确时间。机房就我一个人,真没心思分神,直接答复,不能给时间啥时候修复。你这样着急没什么意义,还会让我不能集中精力。无奈,把电话挂了。
为了在最短时间解决问题。找过大体的利益,只能得罪她了。希望她会懂,主要是别投诉我。
2、一个哥们上车了,突然测公司业务段断了,吓得直接从班车上跑下来。一直陪我倒网络恢复。挺感动得。我不是一个人在战斗。晚上回去的时候,还沾了他的光,蹭了公司老总的路虎。终于带到一个有人烟的地方,打车奔赴聚会了。晚上20点到达,还算赶上了。不说别的了。就是一个,喝!
本文出自 “香橙” 博客,谢绝转载!
背景:
公司机房空调外机搬迁项目正在进行,刚刚完成备用机房的空调外机搬迁。正好有个特别重要的聚会在今晚,看着天下着淅淅沥沥的雨,心中窃喜。周五晚上不用加班了。可以顺利参加这个聚会了。又能认识不少名流。结果。在下班前5分钟的时候,人品爆发了,整个公司网络瘫了。leader今天外出办事,车被挂花了。估计正在处理。一天没来。我想下班这种状态下,我是脱不了身了……
=========================================================================
起因:
早上开始,公司使用的深信服上网行为管理系统就出现登陆困难。接到部门管理同事的回报以后,对系统进行了简单的诊断:
ping 通畅
telnet 端口 正常。
页面访问,延迟非常大。大概每个页面之间切换也要等2~3分钟左右。
据此,怀疑是个别特权人士,上班无聊占用网络资源谋私造成深信服过载。
可一看系统CPU占用率,也就56%。完全不是想象中的那么蛋疼。应该可以顶住得说。
当时,网络还是通畅的,在万般无奈之下,只得中途断电重启了一下深信服设备。
结果,状态依旧坚挺。还是无法配置上网行为管理。
下午17:25分左右。在我收拾好东西准备赴约的那一刻,我知道,网络故障的人品爆发了。我的人品暴走了。全公司断网了。
实测到深信服设备根本就ping不通了。这就说明,真的出事了。
猜想网络里面有异物在攻击我们的网络出口。
==========================================================================
解决步骤:
第一步,给重要的聚会组织者打电话,说明情况,看样子自己今天是被绑定了。这背运啊,背运
第二步,打开进入IMC。试图找到端口一场发包信息日志。
失败了,IMC也进不去了。当时没有细想,早知道结果,这里应该留个心眼才对。
第三步,可以说。我采用了最土的办法。
在核心上停用了所有的业务光口。
通过此操作,各个楼层的业务全部切换到主交换机上来了。
通过在备用上dis vrrp 查看状态,确定都处于找不着北状态。
而在主核心上都属于master状态。
好了,可以彻底开刀了。
第四步,在主核心上,对整个楼层各个楼层的业务口shutdown。
一遍结束,发现深信服终端还是坚挺于ping不通状态。
看来,我错怪了我们公司可爱的同事们了。不是他们攻击的,也不是他们带来的病毒。
第五步,在主核心上一次往下,找到在关闭公司内部服务业务光口后。深信服起死回生了。也找到这个业务口对应的汇聚层交换机。
让我震惊了。居然是公司核心的服务网段。介将搞来?
马上回想最近刚刚登记上线的服务器。作为重点怀疑对象。
同时,恢复了楼层的业务口。让公司网络恢复了。
第六步,找到的汇聚层交换机上,所有端口,除trunk全部shutdown。
然后依次观察性的开启。
找到元凶。居然,居然,居然是dawn的 IMC端。
已经迟到了。无力去排查H3C 的神器IMC为什么跟深信服的网管搞起来了。断开IMC端口后,恢复了公司内部业务承载的所有服务器。
走之前检查了所有内部信息化服务系统。
让后去楼上实地加班的办公室询问了一遍。一切ok。
下周一在考虑怎么来伺候那台牛X的IMC了
==========================================================================
后记
此次操作还是有点腼腆,不够心狠手辣。事后想想。如果vlan个数比interface个数少。干脆下次直接断vlan好了。
貌似也不好,这样找端口会比较困难。每个楼层貌似有多个vlan。谁知道呢。
但值得细心注意的,就是IMC和深信服都不能通。当时真的应该怀疑起IMC才对。
唉,还是太相信高科技了。咱山寨IT民工,不敢动人家神器IMC啊。
=========================================================================
花絮:
两个花絮:
1、十几楼一个美眉着急要死,说晚上要加班远程部署。来了一遍电话问,网络啥事后好啊。我回答,正在搞。第二遍,还是客客气气的来电话问,网络啥时候好,能不能给个准确时间。机房就我一个人,真没心思分神,直接答复,不能给时间啥时候修复。你这样着急没什么意义,还会让我不能集中精力。无奈,把电话挂了。
为了在最短时间解决问题。找过大体的利益,只能得罪她了。希望她会懂,主要是别投诉我。
2、一个哥们上车了,突然测公司业务段断了,吓得直接从班车上跑下来。一直陪我倒网络恢复。挺感动得。我不是一个人在战斗。晚上回去的时候,还沾了他的光,蹭了公司老总的路虎。终于带到一个有人烟的地方,打车奔赴聚会了。晚上20点到达,还算赶上了。不说别的了。就是一个,喝!
本文出自 “香橙” 博客,谢绝转载!
相关文章推荐
- 网络配置教程(2)——锐捷、华为(H3C)网络设备系统升级教程
- SecureCRT使用VBS脚本自动备份网络设备配置,目前支持部分H3C及dptech
- [原创]一次网络设备(cisco3660)模块扩展升级调试过程
- H3C 【网络大爬虫】三层交换原理
- 网络配置教程(0.2)——锐捷、华为(H3C)网络设备系统升级教程2
- H3C交换设备am user-bind实现端口安全
- H3C网络设备策略路由功能浅析
- 网络设备的升级 (以H3C设备为例)
- zabbix3.x添加H3C网络设备详解
- H3C 网络设备基本调试
- h3c网络设备安全技术
- 批量备份H3C网络设备脚本
- 【snmp】华为和H3C 网络设备设置snmp
- h3c 7600E交换机查看端相邻的网络设备
- SSH登录H3C网络设备
- 2012自学CCNP路由与交换之三网络设备造型及验收
- 一次管理项目小组网络的经历(使用RouterOS与Wireshark破解adsl上网密码,使用isa与Bandwidth Splitter来协调带宽)
- h3c 7600E交换机查看端相邻的网络设备
- H3C网络设备基本操作实验
- 网络交换设备 科普 冲突域和广播域