oracle技术之一次RMAN备份报错的诊断过程（三）

今天检查数据库中的备份输出脚本时，发现RMAN备份出现了错误。

解决JOB长时间未完成的问题。

在前面一篇文章中，描述了对当前问题的分析，并简单分析了数据库中未完成的JOB，下面看看导致RMAN无法登陆的原因是否与JOB未完成的原因一致：

bash-3.00$ rman target /

恢复管理器: Release10.2.0.3.0 - Production on星期二5月26 15:30:17 2009

Copyright (c) 1982, 2005, Oracle. All rights reserved.

在RMAN连接被挂起的时候，看看数据库中的会话在等待什么：

SQL> SELECT PROGRAM, A.SID, LMODE, REQUEST, CTIME, BLOCK

2 FROM V$SESSION A, V$LOCK B

3 WHERE A.SID = B.SID

4 AND A.USERNAME IS NOT NULL;

PROGRAM SID LMODE REQUEST CTIME BLOCK

------------------------------ ---------- ---------- ---------- ---------- ----------

oracle@ahrac1 (J010) 118 3 0 228786 2

oracle@ahrac1 (J010) 118 6 0 228789 2

oracle@ahrac1 (J006) 102 6 0 225186 2

rman@ahrac1 (TNS V1-V3) 52 5 0 171 1

rman@ahrac1 (TNS V1-V3) 52 4 0 171 0

oracle@ahrac1 (J005) 289 3 0 225183 2

oracle@ahrac1 (J005) 289 6 0 225189 2

oracle@ahrac1 (J006) 102 3 0 225165 2

oracle@ahrac1 (J010) 118 3 0 228786 2

oracle@ahrac1 (J010) 118 6 0 228786 2

oracle@ahrac1 (J005) 289 6 0 225183 2

已选择11行。

SQL> SELECT SID, EVENT, P1TEXT, P1, P2TEXT, P2, SECONDS_IN_WAIT

2 FROM V$SESSION

3 WHERE PROGRAM LIKE 'rman%';

SID EVENT P1TEXT P1 P2TEXT P2 SECONDS_IN_WAIT

---------- ---------------------------- ---------- ---------- -------- --- ---------------

52 control file parallel write files 3 block# 813 286

225 SQL*Net message from client driver id 1650815232 #bytes 1 287

从V$LOCK的查询看，RMAN进程居然阻塞了其他会话：

SQL> SELECT A.SID, B.SID

2 FROM V$LOCK A, V$LOCK B

3 WHERE A.BLOCK = 1

4 AND B.REQUEST > 0

5 AND A.ID1 = B.ID1

6 AND A.ID2 = B.ID2;

SID SID

---------- ----------

327 160

52 160

327 320

52 320

已选择4行。

SQL> SELECT SID, PROGRAM

2 FROM V$SESSION

3 WHERE SID IN (327, 160, 320);

SID PROGRAM

---------- ----------------------------------------

160 oracle@ahrac1 (ARC0)

320 oracle@ahrac1 (ARC1)

327 oracle@ahrac1 (CKPT)

可以看到，被锁住的系统进程时归档进程。不过这里并没有体现是什么操作导致了RMAN进程被锁。

根据目前分析的信息，问题出现时间似乎是在23日晚17点到24日凌晨1点左右，随后的一些操作都是正常的，问题最早表现都是在等待读取远端缓存，而这些处于等待状态的会话由于持有了一些共享资源，从而导致一些其他的会话无法工作。Rman进程无法连接怀疑就是共享资源被占用造成的。根据这些现象，怀疑可能是网络的瞬间闪断，造成了通信问题，使得一些会话永远处于等待远端缓存的状态。而RACGMAIN CHECK很可能是Oracle用来监测另一个节点状态的。

如果是这个原因造成的，那么应该并不需要重启数据库，就可以解决这个问题，只需要找到最早占用资源的会话，通过操作系统工具将其杀掉，就可以释放共享资源。

SQL> SELECT SID, TYPE, ID1, ID2, LMODE, CTIME

2 FROM V$LOCK

3 WHERE ADDR IN (SELECT ADDR FROM V$TRANSACTION WHERE START_DATE < TRUNC(SYSDATE));

SID TY ID1 ID2 LMODE CTIME

---------- -- ---------- ---------- ---------- ----------

144 TX 655449 137382 6 255259

118 TX 262181 87690 6 230096

289 TX 458770 86777 6 226493

277 TX 524320 89189 6 241410

SQL> SELECT PROGRAM

2 FROM V$SESSION

3 WHERE SID IN (144, 118, 289, 277);

PROGRAM

----------------------------------------

oracle@ahrac1 (J010)

oracle@ahrac1 (m000)

oracle@ahrac1 (m001)

oracle@ahrac1 (J005)

SQL> SELECT SPID

2 FROM V$PROCESS, V$SESSION

3 WHERE PADDR = ADDR

4 AND SID IN (144, 118, 289, 277);

SPID

------------

17895

13387

2683

15807

JOB进程和Mnnn进程都属于轻量级进程，杀掉并不会影响数据库的运行，下面执行操作系统命令杀掉对应的进程：

SQL> host

$ kill -9 17895

$ kill -9 13387

$ kill -9 2683

$ kill -9 15807

$ exit

由于还有1个JOB在没有启动事务，不过停在等待library cache lock的状态，同样通过操作系统命令将进程结束：

SQL> SELECT SPID FROM V$PROCESS

2 WHERE ADDR IN (SELECT PADDR FROM V$SESSION WHERE SID = 102);

SPID

------------

13389

SQL> HOST kill -9 13389

检查现在系统状态：

SQL> SELECT SID, JOB, LAST_DATE, THIS_DATE

2 FROM DBA_JOBS_RUNNING;

SID JOB LAST_DATE THIS_DATE

---------- ---------- ------------------- -------------------

113 4 2009-05-10 00:00:05 2009-05-26 15:59:50

257 27 2009-05-17 01:00:03 2009-05-26 15:59:50

SQL>COLWHAT FORMAT A50

SQL> SELECT JOB, WHAT, LOG_USER, LAST_DATE, NEXT_DATE

2 FROM DBA_JOBS

3 WHERE JOB = 74;

JOB WHAT LOG_USER LAST_DATE NEXT_DATE

---------- ------------------------------ ---------- ------------------- -------------------

74 P_Project_Stat; GPO 2009-05-26 16:04:56 2009-05-27 01:00:00

可以看到JOB74已经顺利执行完成，但是另外两个JOB执行一点时间就停下了：

SQL> SELECT MESSAGE

2 FROM V$SESSION_LONGOPS

3 WHERE SID IN (113, 257)

4 AND TOTALWORK != SOFAR;

MESSAGE

-----------------------------------------------------------------------------------

Gather Schema Statistics: Schema : 58 out of 138 Objects done

Gather Table's Index Statistics: Table CAT_INVITE_COMM : 3 out of 5 Indexes done

Gather Table Partition Statistics: Table EMED_WEB_LOG : 10 out of 20 Partitions done

Gather Schema Statistics: Schema : 77 out of 444 Objects done

SQL> SELECT SID, EVENT, P1TEXT, P1, SECONDS_IN_WAIT

2 FROM V$SESSION_WAIT

3 WHERE SID IN (113, 257);

SID EVENT P1TEXT P1 SECONDS_IN_WAIT

---------- ------------------------------ ---------- ---------- ---------------

113 enq: CF - contention name|mode 1128660996 37

257 enq: CF - contention name|mode 1128660996 70

SQL> SELECT SID, TYPE, ID1, ID2, LMODE, REQUEST, CTIME, BLOCK

2 FROM V$LOCK

3 WHERE SID IN (113, 257);

SID TY ID1 ID2 LMODE REQUEST CTIME BLOCK

---------- -- ---------- ---------- ---------- ---------- ---------- ----------

113 JQ 0 4 6 0 1428 2

113 CF 0 0 0 4 62 0

257 CF 0 0 0 4 95 0

257 JQ 0 27 6 0 1428 2

257 TM 18 0 3 0 994 2

113 TX 65580 89361 6 0 961 2

257 TX 196689 87608 6 0 994 2

已选择7行。

而且RMAN进程报错依旧，看来问题只解决了一部分。

考虑到RAC两个实例都可能出现类似的问题，在另外的实例上查找长时间占用锁的会话，以及一直在运行的SQL语句：

SQL> SELECT A.INST_ID, A.SID, B.INST_ID, B.SID

2 FROM GV$LOCK A, GV$LOCK B

3 WHERE A.INST_ID = B.INST_ID

4 AND A.BLOCK = 1

5 AND B.REQUEST > 0

6 AND A.ID1 = B.ID1

7 AND A.ID2 = B.ID2;

INST_ID SID INST_ID SID

---------- ---------- ---------- ----------

2 125 2 141

2 125 2 331

SQL> SELECT SID, JOB, LAST_DATE, THIS_DATE

2 FROM DBA_JOBS_RUNNING;

未选定行

SQL> SELECT SID, USERNAME, PROGRAM, SERVICE_NAME

2 FROM V$SESSION

3 WHERE SID IN (125, 141, 331);

SID USERNAME PROGRAM SERVICE_NAME

---------- --------------- ------------------------------ ---------------------

125 GPO_SELE oracle@newreport (TNS V1-V3) tradedb.us.oracle.com

141 BEIJING_SELE oracle@newreport (TNS V1-V3) tradedb.us.oracle.com

331 ZHEJIANG_SELE oracle@newreport (TNS V1-V3) tradedb.us.oracle.com

这三个连接都是远端数据库连接，用来同步数据的，先杀掉这3个会话对应的进程：

SQL> SELECT SPID

2 FROM V$PROCESS

3 WHERE ADDR IN (SELECT PADDR FROM V$SESSION WHERE SID IN (125, 141, 331));

SPID

------------

20741

20681

21382

SQL> HOST

$ kill -9 20741

$ kill -9 20681

$ kill -9 21382

$ exit

检查长时间持有锁的会话，并清除：

SQL> SELECT SID, TYPE, ID1, ID2, LMODE, REQUEST, CTIME, BLOCK

2 FROM V$LOCK

3 WHERE CTIME > 86400*2

4 AND CTIME < 86400*10;

SID TY ID1 ID2 LMODE REQUEST CTIME BLOCK

---------- -- ---------- ---------- ---------- ---------- ---------- ----------

121 WF 0 0 4 0 258588 2

SQL> SELECT SPID, A.PROGRAM

2 FROM V$SESSION A, V$PROCESS B

3 WHERE ADDR = PADDR

4 AND SID = 121;

SPID PROGRAM

------------ ------------------------------

13433 oracle@ahrac2 (m000)

检查刚才停顿的JOB：

SQL> SELECT SID, JOB, LAST_DATE, THIS_DATE

2 FROM DBA_JOBS_RUNNING;

SID JOB LAST_DATE THIS_DATE

---------- ---------- ------------------- -------------------

257 27 2009-05-17 01:00:03 2009-05-26 15:59:50

SQL> SELECT MESSAGE

2 FROM V$SESSION_LONGOPS

3 WHERE SID = 257

4 AND TOTALWORK != SOFAR;

MESSAGE

------------------------------------------------------------------------------

Gather Schema Statistics: Schema : 193 out of 444 Objects done

至此，数据库中未完成的JOB的问题已经解决，不过RMAN进程还是无法连接到数据库中，错误依旧。

看来问题比想象中的还要复杂。

oracle视频教程请关注:http://u.youku.com/user_video/id_UMzAzMjkxMjE2.html