经验累积之数据库故障反映的存储问题
2016-08-12 11:03
141 查看
接到客户电话说数据库连不上了,客户很着急。闲话不说,远程连上服务器。
SQL*Plus: Release 11.2.0.4.0 Production on Fri Aug 12 02:34:49 2016
Copyright (c) 1982, 2013, Oracle. All rights reserved.
Connected to an idle instance.
生产数据库居然停库了,问题很严重,startup试验下报错
文件系统写保护了?
果断进入 /oradata目录
vi aa.txt
保存失败。
基本断定硬件故障,至少是/oradata故障。
查看目录权限
文件权限正确,再次确定存储故障。
查看操作系统日志,有i/o报错
Aug 7 04:03:02 xxxx syslogd 1.4.1: restart.
Aug 7 11:21:33 xxxx kernel: end_request: I/O error, dev sdc, sector 0
Aug 7 11:21:33 xxxx kernel: printk: 16 messages suppressed.
Aug 7 11:21:33 xxxx kernel: Buffer I/O error on device sdc, logical block 0
Aug 7 11:21:33 xxxx kernel: end_request: I/O error, dev sdc, sector 0
Aug 7 11:21:33 xxxx kernel: Buffer I/O error on device sdc, logical block 0
查看mcelog (linux系统特有的在硬件出现故障时会生成该文件)
MCE 0
HARDWARE ERROR.This is *NOT* a software problem!
Please contactyour hardware vendor
CPU 6 BANK 6 TSCa10600906f0ed0 [at 2128 Mhz 246 days 12:21:15 uptime (unreliable)]
MISC10fe284004c13013 ADDR ac6bc240
MCG status:
MCi status:
Error enabled
MCi_MISC registervalid
MCi_ADDR registervalid
MCA: GenericCACHE Level-3 Generic Error
STATUS9c2002372005010b MCGSTATUS 0
WARNING: SMBIOSdata is often unreliable. Take with a grain of salt!
至此,完全可以下结论确定存在硬件问题。
那么一方面通知客户核查操作系统、存储、光纤链路以及光纤交换机,处理硬件问题,
另一方面要求客户趁现在硬盘可用,做数据库冷备(将控制文件、数据文件、参数文件、日志文件等)拷贝下来。
当然我这系统搭建有dg容灾系统没有实施冷备工作,总之多做几手准备没有错。
SQL*Plus: Release 11.2.0.4.0 Production on Fri Aug 12 02:34:49 2016
Copyright (c) 1982, 2013, Oracle. All rights reserved.
Connected to an idle instance.
生产数据库居然停库了,问题很严重,startup试验下报错
文件系统写保护了?
果断进入 /oradata目录
vi aa.txt
保存失败。
基本断定硬件故障,至少是/oradata故障。
查看目录权限
文件权限正确,再次确定存储故障。
查看操作系统日志,有i/o报错
Aug 7 04:03:02 xxxx syslogd 1.4.1: restart.
Aug 7 11:21:33 xxxx kernel: end_request: I/O error, dev sdc, sector 0
Aug 7 11:21:33 xxxx kernel: printk: 16 messages suppressed.
Aug 7 11:21:33 xxxx kernel: Buffer I/O error on device sdc, logical block 0
Aug 7 11:21:33 xxxx kernel: end_request: I/O error, dev sdc, sector 0
Aug 7 11:21:33 xxxx kernel: Buffer I/O error on device sdc, logical block 0
查看mcelog (linux系统特有的在硬件出现故障时会生成该文件)
MCE 0
HARDWARE ERROR.This is *NOT* a software problem!
Please contactyour hardware vendor
CPU 6 BANK 6 TSCa10600906f0ed0 [at 2128 Mhz 246 days 12:21:15 uptime (unreliable)]
MISC10fe284004c13013 ADDR ac6bc240
MCG status:
MCi status:
Error enabled
MCi_MISC registervalid
MCi_ADDR registervalid
MCA: GenericCACHE Level-3 Generic Error
STATUS9c2002372005010b MCGSTATUS 0
WARNING: SMBIOSdata is often unreliable. Take with a grain of salt!
至此,完全可以下结论确定存在硬件问题。
那么一方面通知客户核查操作系统、存储、光纤链路以及光纤交换机,处理硬件问题,
另一方面要求客户趁现在硬盘可用,做数据库冷备(将控制文件、数据文件、参数文件、日志文件等)拷贝下来。
当然我这系统搭建有dg容灾系统没有实施冷备工作,总之多做几手准备没有错。
相关文章推荐
- 2017-04-27 DBA日记,关于存储光纤交换机故障引发的数据库性能问题
- Apache James用户信息的数据库存储和密码问题
- Wsus问题之存储更新文件的磁盘已满或出现故障
- EMS6.0配置存储到数据库过程中遇到的问题
- 一个数据库存储过程小问题
- Java+MSSQL数据库,日期字段数据存储问题
- 数据库存储的奇怪问题!
- openfiler作为共享存储Server2008故障转移群集验证SCSI-3 永久保留失败的问题
- 存储故障,导致数据库不可用
- 【数据库】SQLsever2005安装经验(三)安装问题和解决方法
- struts2表单提交后数据库存储中文乱码问题
- .net调用数据库存储过程应当注意的问题
- 运用ORACLE的OO4O类库函数解决调用存储过程向远程数据库上传超过32K图片失败的问题
- JBOSS维护经验 JBoss 的一些配置(端口,虚拟目录,虚拟主机,中文问题,数据库连接) 虚拟目录与域名指向成功
- 查询数据库数据连续性问题---存储过程解决
- 解决数据库存储和查询中的乱码问题
- 请单击下面的按钮,以重定向到可以选择新数据存储区的页。下面的消息可能会有助于诊断问题: 无法连接到 SQL Server 数据库。
- 数据库优化----存储过程编写经验和优化措施
- 通过struts2获取存储到数据库出现中文乱码问题
- ibmx3650m4主机存储挂载问题【经验分享】