Oracle 11gR2 2节点 RAC 搭建实录

      Oracle11g R2 （11.2.0.1）版本算是比较新的，采用的RAC管理组件不再是clusterware而是全新的grid infrastructure，另外这个grid主要是以ASM作为存储管理，不推荐继续使用裸设备。这一点使得OCR、voting disk的部署更为灵活化、自动化。
搭建的虚拟平台是virtualbox4.0.4 ，宿主操作系统平台ubuntu10.10，实施虚拟操作系统平台RHEL5.5.
 
1、下载安装所需的软件包，libaio、unixODBC、sysstat等等。
2、在rac1、2 节点设置用户群组：oinstall、dba、oper、asmadmin、asmdba、asmoper
3、创建软件安装目录/opt/oracle、/opt/grid（自定义）并设置好目录权限。
4、设置用户环境变量 ～/.bash_profle
5、安装rlwrap和readline工具包，并且在～/.bashrc中进行设置。
6、设置好虚拟平台RHEL5.5的内存和虚拟内存，按照要求不得低于1.5G 。
7、配置节点的ssh通讯信任。
8、配置各个节点上的DNS server服务。正向解释和反向解释。
9、利用vboxmanager 创建共享磁盘。
10、asm磁盘的创建，安装过程会要求创建asm磁盘组，按照要求至少是3块磁盘以上。
11、在任意节点上开始实施grid infrastructure安装操作。
12、安装完成后，测试两个节点的crs服务是否能够正常关停。
13、开始在一个节点上进行数据库软件的安装工作，选择rac模式，则oracle会采取推模式在其他节点进行安装，无需人为干预。
14、使用dbca或者跑脚本在其中一个节点上实施数据库建库操作，同时测试数据库instance是否能够正常运行，修改参数文件。
 
15、asm instance和crs 、cssd、 cstd 等进程都能够正常开启时，在其中一个节点上使用dbca创建数据库。
 
16、11gR2对RAC各节点的管理有两种方式：1.admin-manager 2.policy-manager。前者需要为每个节点上的instance设定ORACLE_SID；而后者是在一个‘池’中管理所有节点的instance，不需要设置固定的ORACLE_SID，pool server会自动为每个节点生成一个SID，比如GDN设定为 orcl，那么每个节点的SID会被设定为类似于：orcl_1、orcl_2、.........，自动化人性化了。我认为第一种模式是为了兼容9i 10g 用户的使用习惯而存在的，policy模式则是一种全新的尝试。
 
17、10g在关闭RAC的时候需要独立关闭ASM instance，而在11gR2 RAC中，ASM instance已经和crs整合在一起了，即使关闭数据库，关闭diskgroup也无法直接关闭ASM instance，使用srvctl的 -force选项会造成asm_diskstring的丢失，所以最好不用。也就是说要关闭ASM instance也要连同crs一起关闭，而启动crs的同时也会启动ASM instance。经过无数次的尝试才发现11gR2 RAC在不少管理概念上与10g有很大的差别。
 
18、在节点上执行启动数据库和instance的操作，不要用sqlplus，而是直接使用srvctl。如果使用sqlplus / as sysdba登录在使用startup pfile='.....'的方式会报 没有设定instance_number 参数的错误，可能是由于我使用了policy-manager的管理模式，不需要设定这个参数吧（毕竟一开始就是个大池子，没应用访问到的时候就不会有instance数量的概念），而使用srvctl start instance -d orcl -i orcl_1 ;的方式就可以直接启动该节点的instance了，启动DB的命令没有多少变化：srvctl start database -d orcl;
 
19、11gR2 注意启动顺序：CRS|ASM instance-> database->node instance
 
20、关闭顺序：node instance-> database-> diskgroup->CRS|ASM INSTANCE
 
重要：
当安装过程中出现问题导致安装中断，或者磁盘丢失等问题，需要采取用dd格式化asm磁盘，以及执行$ORACLE_CRS_HOME/crs/install/deinstall/rootcrs.pl -deconfig -force -verbose 进行反配置后，重新执行root.sh 进行二次配置。