奕新集团RAC 11g 生产库环境搭建（无图）
2016-02-29 18:34
429 查看
奕新集团RAC 11g 生产库环境搭建
说明图片有50张，上传太麻烦。我放在百度云盘提供大家下载
项目规划：
操作系统 oracle-5.9.iso
数据库版本 oracle11g-11.2.0.3.iso
大 小 80G
/ 30G
/opt 50G
存储
注意： 11g中决策盘和仲裁盘在中是一样的，10g决策和仲裁盘必须分开
决策盘、仲裁盘 2G *2 ocr1 ocr2 (grid)
归档备份文件 2G*2
数据盘 200G*2 DG1 DG2
主机配置 CPU8G 内存8G
IP地址规划
节点一
主机 172.16.15.101/23
掩码
pub-vip 172.16.15.86/23
pri-vip 10.11.11.1/29
scan 172.16.15.100
主句名 racdb1.kingvon.com
节点二
主机 172.16.15.102/23
掩码
pub-vip 172.16.15.87/23
pri-vip 10.11.11.2/29
scan 172.16.15.200
主句名 racdb2..kingvon.com
节点三
主机 172.16.15.103/23
掩码
pub-vip 172.16.15.88/23
pri-vip 10.11.11.3/29
scan 172.16.15.300
主句名 racdb3.kingvon.com
安装步骤：
一、 配置存储
二、 配置操作系统（参数）
1、配置IP地址、主机名、内核参数
2、建立安装目录、修改hosts文件
3、解析主机名
4、初始化内核模块
5、识别存储、扫描磁盘
6、对磁盘分区、生效
7、配置时间同步服务器
8、配置SSH等效性
9、关闭selinux、防火墙
三、 安装grid集群管理软件
四、 配置ASM
五、 安装数据库
开始配置
一、环境检查（硬件+软件）
硬件环境：
root用户：
内存
# grep MemTotal /proc/meminfo
[root@localhost ~]# grep MemTotal /proc/meminfo
MemTotal: 8193556 kB
root用户：
swap空间
swap：交换空间swap为8G(内存为1~2G时，swap为起1.5倍，如果大于2G，swap等于内存大小
# grep SwapTotal /proc/meminfo
[root@localhost ~]# grep SwapTotal /proc/meminfo
SwapTotal: 10223612 kB
root用户：
/tmp：/tmp> 500M 最好不少于1G
# df -k /tmp
[root@localhost ~]# df -k /tmp
Filesystem 1K-blocks Used Available Use% Mounted on
/dev/mapper/VolGroup00-LogVol00
71228736 5047624 62504544 8% /
root用户：
/home：/home> 500M 最好不少于1G
# df -k /home
[root@localhost ~]# df -k /home
Filesystem 1K-blocks Used Available Use% Mounted on
/dev/mapper/VolGroup00-LogVol00
71228736 5047624 62504544 8% /
root用户：
系统空间：系统磁盘空间还有不少于6G空间，
# df –h
[root@localhost ~]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/VolGroup00-LogVol00
68G 4.9G 60G 8% /
/dev/sda1 99M 25M 70M 26% /boot
tmpfs 4.0G 0 4.0G 0% /dev/shm
/dev/sr0 3.8G 3.8G 0 100% /mnt/iso
安装中不使用防火墙和selinux
关闭防火墙：
/etc/init.d/iptables stop
chkcnfig iptables off
关闭selinux
[root@localhost ~]# vim /etc/sysconfig/selinux
# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
# enforcing - SELinux security policy is enforced.
# permissive - SELinux prints warnings instead of enforcing.
# disabled - SELinux is fully disabled.
SELINUX=disabled
# SELINUXTYPE= type of policy in use. Possible values are:
# targeted - Only targeted network daemons are protected.
# strict - Full SELinux protection.
SELINUXTYPE=targeted
[root@localhost ~]# uname -r
2.6.39-300.26.1.el5uek
删除多余的软件包（如果不把它们删除，将严重干扰后续ORACLE的安装和配置）
# rpm -qa ora*
orarun-1.9-21.15 ---针对 suse Linux
OLlinux5.9 ：
[root@localhost ~]# rpm -qa ora*
oracle-logos-4.9.17-10
oraclelinux-release-5-9.0.2
oracle-linux-5.0.0-9.el5
# rpm -qa sap*-------针对suse Linux
sapinit-2.0.1-1.10
OLlinux5.9 ：
rpm -qa sap*----空
# rpm -e orarun-1.9-21.15-------针对suse Linux
# rpm -e sapinit-2.0.1-1.10-------针对suse Linux
# rm –i /etc/oraInst.loc-------针对suse Linux
软件包：（推荐yum源）
binutils-2.17.50.0.6 --------这个是配置DNS服务器使用（鉴于公司的局域网--没有做）
compat-libstdc++-
compat-libstdc++-33-3.2.3
elfutils-libelf-0.125
elfutils-libelf-devel-0.125
elfutils-libelf-devel-static-0.125
gcc-4.1.2
gcc-c++-4.1.2
glibc-2.5-24
glibc-2.5-24
glibc-common-2.5
glibc-devel-2.5
glibc-devel-2.5
glibc-headers-2.5
libaio-0.3.106
libaio-0.3.106
libaio-devel-0.3.106
libgcc-4.1.2
libstdc++-4.1.2
libstdc++-devel 4.1.2
make-3.81
sysstat-7.0.2
unixODBC-2.2.11
unixODBC-devel-2.2.11
假如安装不上unixODBC
那么安装 unixODBC64*
oracleasm-2.6.16.60-0.21-bigsmp-2.0.4-1.
oracleasm-support-2.1.3-1
oracleasmlib-2.0.4-1
顺便安装 oacleasmlib*
没有需要上传
rpm -ivh oracleasmlib*
驱动
做环境监测时候还会提示我们安装包（必须全部安装所需包）
rpm -ivh /tmp/oracleasmlib-2.0.4-1.el5.x86_64.rpm
warning: /tmp/oracleasmlib-2.0.4-1.el5.x86_64.rpm: Header V3 DSA signature: NOKEY, key ID 1e5e0159
Preparing... ########################################### [100%]
1:oracleasmlib ########################################### [100%]
二、配置网络
[root@localhost ~]# cat /etc/sysconfig/network-scripts/ifcfg-eth0
# Intel Corporation 82545EM Gigabit Ethernet Controller (Copper)
DEVICE=eth0
BOOTPROTO=none
BROADCAST=172.16.15.255
HWADDR=00:50:56:a8:7f:ac
IPADDR=172.16.15.101
IPV6INIT=yes
IPV6_AUTOCONF=yes
NETMASK=255.255.254.0
NETWORK=172.16.14.0
ONBOOT=yes
HOTPLUG=yes
GATEWAY=172.16.14.1
TYPE=Ethernet
重启服务
/etc/init.d/network restart
hostname m1
vim /etc/hosts
#public network
172.16.15.101 m1
172.16.15.102 m2
172.16.15.103 m3
#private network
10.11.11.1 m1-priv
10.11.11.2 m2-priv
10.11.11.3 m3-priv
#VIP network
172.16.15.104 m1-vip
172.16.15.105 m2-vip
172.16.15.106 m3-vip
#racscan network
172.16.15.100 rac-scan
1、配置yum 源
虚拟机上挂载 ISO镜像
root用户：
mkdir /mnt/cdrom
mkdir /mnt/iso
mount /dev/cdrom /mnt/cdrom
cp -Rf /mnt/cdrom/* /mnt/iso
2、cp /etc/yum.repo.d/redhat-el5.repo /etc/yum.repo.d/local.repo
3、vim /etc/yum.repo.d/local.repo 清空--添加如下
[Cluster]
name=Cluster
baseurl=file:/mnt/iso/Cluster
enabled=1
gpgcheck=0
gpgkey=file:/mnt/iso/RPM-GPG-KEY-oracle
[VT]
name=VT
baseurl=file:/mnt/iso/VT
enabled=1
gpgcheck=0
gpgkey=file:/mnt/iso/RPM-GPG-KEY-oracle
[ClusterStorage]
name=ClusterStorage
baseurl=file:/mnt/iso/ClusterStorage
enabled=1
gpgcheck=0
gpgkey=file:/mnt/iso/RPM-GPG-KEY-oracle
[Server]
name=Server
baseurl=file:/mnt/iso/Server
enabled=1
gpgcheck=0
gpgkey=file:/mnt/iso/RPM-GPG-KEY-oracle
2、修改内核参数
# Controls the maximum size of a message, in bytes
kernel.msgmnb = 65536
# Controls the default maxmimum size of a mesage queue
kernel.msgmax = 65536
# Controls the maximum shared segment size, in bytes
kernel.shmmax = 68719476736
# Controls the maximum number of shared memory segments, in pages
kernel.shmall = 4294967296
fs.aio-max-nr = 1048576
fs.file-max = 6815744
kernel.shmall = 2097152
kernel.shmmni = 4096
kernel.shmall = 4294967296
kernel.sem = 1250 640000 1250 512
fs.file-max = 6815744
fs.aio-max-nr = 6815744
net.ipv4.ip_local_port_range = 9000 65500
net.core.rmem_default = 4194304
net.core.rmem_max = 4194304
net.core.wmem_default = 4194304
net.core.wmem_max = 4194304
kernel.shmmni = 4096
生效：
sysctl -p
3、修改开文件数的限制
vim /etc/security/limits.conf
grid soft nproc 8188
grid hard nproc 65536
grid soft nofile 4096
grid hard nofile 262144
oracle soft nproc 8188
oracle hard nproc 65536
oracle soft nofile 4096
oracle hard nofile 262144
4、修改login文件
vim /etc/pam.d/login
sessionrequiredpam_limits.so
5、创建grid oracle用户
groupadd -g 501 oinstall
groupadd -g 502 dba
groupadd -g 503 oper
groupadd -g 504 asmadmin
groupadd -g 505 asmoper
groupadd -g 506 asmdba
useradd -g oinstall -G dba,asmdba,oper oracle
useradd -g oinstall -G asmadmin,asmdba,asmoper,oper,dba grid
passwd grid
passwd oracle
6 修改用户环境变量
grid用户：
vim /home/grid/.bash_profile
export ORACLE_BASE=/opt/oracle
export ORACLE_HOME=/oracle/grid
export ORACLE_SID=+ASM1
export ORA_CRS_HOME=/oracle/crs
export NLS_LANG=AMERICAN_AMERICA.UTF8
export NLS_DATE_FORMAT="yyyy-mm-dd hh24:mi:ss"
export PATH=.:${PATH}:$HOME/bin:$ORACLE_HOME/bin
export PATH=${PATH}:/usr/bin:/bin:/usr/bin/X11:/usr/local/bin
export ORACLE_PATH=${PATH}:$ORACLE_HOME/rdbms/admin
export ORACLE_TERM=xterm
export TNS_ADMIN=$ORACLE_HOME/network/admin
export ORA_NLS10=$ORACLE_HOME/nls/data
export LD_LIBRARY_PATH=$ORACLE_HOME/lib
export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$ORACLE_HOME/oracm/lib
export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/lib:/usr/lib:/usr/local/lib
export CLASSPATH=$ORACLE_HOME/JRE
export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/jlib
export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/rdbms/jlib
export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/network/jlib
export THREADS_FLAG=native
export TEMP=/tmp
export TMPDIR=/tmp
export PS1=`hostname`:'$PWD'"$"
umask 022
建立目录：
mkdir -p /oracle/ grid
chown -R grid:oinstall /oracle
mkdir /oracle/db
chown oracle:oinstall /oracle/db
mkdir /oracle/crs
chown oracle:oinstall /oracle/crs
chmod -R 775 /oracle
oracle用户：
vim /home/oracle/.bash_profile
export ORACLE_BASE=/oracle
export ORACLE_HOME=/oracle/db
export ORACLE_SID=mes1
export ORACLE_UNQNAME=mes
export NLS_LANG=AMERICAN_AMERICA.UTF8
export NLS_DATE_FORMAT="yyyy-mm-dd hh24:mi:ss"
export PATH=.:${PATH}:$HOME/bin:$ORACLE_HOME/bin
export PATH=${PATH}:/usr/bin:/bin:/usr/bin/X11:/usr/local/bin:/home/oracle/bin
export ORACLE_PATH=${PATH}:$ORACLE_HOME/rdbms/admin
export ORACLE_TERM=xterm
export TNS_ADMIN=$ORACLE_HOME/network/admin
export ORA_NLS10=$ORACLE_HOME/nls/data
export LD_LIBRARY_PATH=$ORACLE_HOME/lib
export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$ORACLE_HOME/oracm/lib
export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/lib:/usr/lib:/usr/local/lib
export CLASSPATH=$ORACLE_HOME/JRE
export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/jlib
export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/rdbms/jlib
export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/network/jlib
export THREADS_FLAG=native
export TEMP=/tmp
export TMPDIR=/tmp
export PS1=`hostname`:'$PWD'"$"
umask 022
7 网格grid产品安装到 /oracle/grid
数据库oracle软件安装到/opt/oracle
维护的磁盘在共享存储中 dbca建立的数据库位置放在存储设备上。
xhost + 都必须正确 任何一台都不能出错
第一台：
14203
第二台 ：
主机的存储（意思是系统放在那里）
机内盘
第三台
8 配置存储
这里我遇到问题了
1 Udev方式（推荐）
参见：http://www.oracledatabase12g.com/archives/why-asmlib-and-why-not.html
2 ASMLib 方式
3 裸设备
我的错误做法：
Udev方式
RAC看图不说话上思路：
1、 初始化Oracle内核模块 oracleasm configure
2、 配置Udev
ASMLib方式
ITPUB上：
1、oracleasm createdisks CRS1 /dev/sdb1 /dev/sdc1
2、初始化内核模块
我：
1、初始化内核模块 oracleasm configure
2、配置ASMLib /etc/init.d/oracleasm createdisks /dev/sdb1 /dev/sdc1 。。。。
3、配置udev
修改了 /etc/rc.local
4、配置裸设备 /dev/raw/raw1 /dev/raw/raw2
三个都搞了
1 孟哥说的他之前的设备是搞的裸设备 我信了
2 对于这一块 之前 我确实是用的裸设备10g 但是现在 我忘了 还有版本变了11g r2
3、 我删除了磁盘新建了
4、 现在只是配置udev
第一步 编辑虚拟机
第二步 点击添加 出现下面的画面
第三步 点击硬盘 点击 下一步
第四步 选择 使用现有的磁盘
第五步骤
第六步骤
第七步骤
第八步
第九步 选着
第 十步骤
第 11 步骤 查看信息
第十二步骤 接着添加 第二块 CRS 2 盘了 操作步骤是一样的 要仔细看上面我的操作步骤 下面的我截图 只是 截你自己需要注意的或者容易出错的
接着：
添加第三块盘
添加第四个
点击 确定
注意 ：
选择一下 这个 物理共享
m2 开始：
步骤一样的 但是选择需要注意 我会截图的
注意 不要选这个 存储是共用的 还是选择m1.db 当时 是呀 m1建立的存储
报错
解决办法：
重新启动一下 m2.db m3.db 然后重新添加 没得事 以硬件的方式添加照样没得错。
或者关闭m1.db 主机 原因不详。
我之前出现一个错误：发现不了磁盘
配置了ASMLib 绑定了ASM磁盘组
配置了Udev 邦定了Udev
配置了RAW裸设备绑定了裸设备
RAC看图不说话 是基于Linux 6平台的只能参考不能
测试：
只是配置udev
绑定裸设备
vim /etc/udev/rules.d/60-raw.rules
添加
ACTION=="add", KERNEL=="sdb1", RUN+="/bin/raw /dev/raw/raw1 %N"
ACTION=="add", KERNEL=="sdc1", RUN+="/bin/raw /dev/raw/raw2 %N"
ACTION=="add", KERNEL=="sdd1", RUN+="/bin/raw /dev/raw/raw3 %N"
ACTION=="add", KERNEL=="sde1", RUN+="/bin/raw /dev/raw/raw4 %N"
ACTION=="add", KERNEL=="sdf1", RUN+="/bin/raw /dev/raw/raw5 %N"
KERNEL=="raw1", OWNER="grid", GROUP="oinstall", MODE="660"
KERNEL=="raw2", OWNER="grid", GROUP="oinstall", MODE="660"
KERNEL=="raw3", OWNER="grid", GROUP="oinstall", MODE="660"
KERNEL=="raw4", OWNER="grid", GROUP="oinstall", MODE="660"
KERNEL=="raw5", OWNER="grid", GROUP="oinstall", MODE="660"
start_udev
ls /dev/raw
[root@m1 ~]# ls /dev/raw/ -l
crw-rw---- 1 grid oinstall 162, 1 Oct 8 03:33 raw1
crw-rw---- 1 grid oinstall 162, 2 Oct 8 03:33 raw2
crw-rw---- 1 grid oinstall 162, 3 Oct 8 03:33 raw3
crw-rw---- 1 grid oinstall 162, 4 Oct 8 03:33 raw4
crw-rw---- 1 grid oinstall 162, 5 Oct 8 03:33 raw5
加入你用 ll –ls /dev/sd*
[root@m1 ~]# ls -l /dev/sd*
brw-r----- 1 root disk 8, 0 Oct 11 2013 /dev/sda
brw-r----- 1 root disk 8, 1 Oct 11 09:23 /dev/sda1
brw-r----- 1 root disk 8, 2 Oct 11 2013 /dev/sda2
brw-r----- 1 root disk 8, 16 Oct 11 2013 /dev/sdb
brw-r----- 1 root disk 8, 17 Oct 11 2013 /dev/sdb1
brw-r----- 1 root disk 8, 32 Oct 11 2013 /dev/sdc
brw-r----- 1 root disk 8, 33 Oct 11 2013 /dev/sdc1
brw-r----- 1 root disk 8, 48 Oct 11 2013 /dev/sdd
brw-r----- 1 root disk 8, 49 Oct 11 2013 /dev/sdd1
brw-r----- 1 root disk 8, 64 Oct 11 2013 /dev/sde
brw-r----- 1 root disk 8, 65 Oct 11 2013 /dev/sde1
brw-r----- 1 root disk 8, 80 Oct 11 2013 /dev/sdf
brw-r----- 1 root disk 8, 81 Oct 11 2013 /dev/sdf1
看到的是 root disk 所以 因为是root 用户
所以之前 我遇到的那个问题就可以解决了。
磁盘规划：
磁盘的划分后，两节点都能看到，能正确读写。
在其中一节点上运行fdisk -l划分以下分区
/dev/sda1 15G是基类硬盘存放操作系统
/dev/sda2 63G是基类硬盘
/dev/sdb1 1G存放CRS 仲裁盘 决策盘
/dev/sdc1 1G存放CRS
/dev/sdf1 1G存放CRS
/dev/sdd1 200G 存放数据 数据盘
/dev/sde1 200G 存放数据
----/dev/sdd5 50G存放recover-----
----/dev/sdd6 50G存放flash-----
6、/etc/init.d/oracleasm configure
7、Configuring the Oracle ASM library driver.
8、This will configure the on-boot properties of the Oracle ASM library
9、driver. The following questions will determine whether the driver is
10、loaded on boot and what permissions it will have. The current values
11、will be shown in brackets ('[]'). Hitting <ENTER> without typing an
12、answer will keep that current value. Ctrl-C will abort.
13、Default user to own the driver interface []: grid
14、Default group to own the driver interface []: asmadmin
15、Start Oracle ASM library driver on boot (y/n)
: y
16、Scan for Oracle ASM disks on boot (y/n) [y]: y
17、Writing Oracle ASM library driver configuration: done
18、Initializing the Oracle ASMLib driver: OK
19、Scanning the system for Oracle ASMLib disks: OK
20、
21、
22、/etc/init.d/oracleasm enable --两个节点
23、Writing Oracle ASM library driver configuration: done
24、Initializing the Oracle ASMLib driver: done
25、Scanning the system for Oracle ASMLib disks: done
26、
27、创建 ASM 磁盘 --任何一个节点上执行即可
28、/etc/init.d/oracleasm createdisk CRS1 /dev/sdb1
29、/etc/init.d/oracleasm createdisk CRS2 /dev/sdc1
30、/etc/init.d/oracleasm createdisk CRS3 /dev/sdf1
31、/etc/init.d/oracleasm createdisk DATA1 /dev/sdd1
32、/etc/init.d/oracleasm createdisk DATA2 /dev/sde1
忽略：
33、/etc/init.d/oracleasm createdisk ARCH /dev/sdd5
34、/etc/init.d/oracleasm createdisk RECOVER /dev/sdd6
报错 ：
[root@m1 ~]# /etc/init.d/oracleasm createdisk CRS1 /dev/sdb1
Marking disk "CRS1" as an ASM disk: [FAILED]
[root@m1 ~]# /etc/init.d/oracleasm createdisk CRS2 /dev/sdb1
Marking disk "CRS2" as an ASM disk: [FAILED]
[root@m1 ~]# /etc/init.d/oracleasm createdisk CRS3 /dev/sdb1
原因： 上次我新建了系统但是没有影响到存储 可以继续使用 也可以通过一下命令删除了新建：
/etc/init.d/oracleasm deletedisk 命令看不到 也删除不了 我就删除了硬盘新建了
我没有删除继续用了
[root@m1 ~]# /etc/init.d/oracleasm listdisks
CRS1
CRS2
CRS3
DATA1
DATA2
35、再检查下是否创建好 --两节点
36、/etc/init.d/oracleasm scandisks
37、/etc/init.d/oracleasm listdisks
38、CRS1
39、CRS2
40、CRS3
41、DATA1
42、DATA2
忽略
43、RECOVER
44、ARCH
1.确认在所有RAC节点上已经安装了必要的UDEV包
[root@rh2 ~]# rpm -qa|grep udev
udev-095-14.21.el5
2.通过scsi_id获取设备的块设备的唯一标识名，假设系统上已有LUN sdc-sdp
for i in b c d e f g ;
do
echo "sd$i" "`scsi_id -g -u -s /block/sd$i` ";
done
sdb 36000c29a89de45f738ab0cfa02b9c79e
sdc 36000c295cfaf6508afb7635d7d212ea4
sdd 36000c2968c0330c628277dd9d434b227
sde 36000c29b24374ca1e1d72fb7cc4eeaeb
sdf 36000c29e6a3d2a6368deeaf7d0cd971b
sdg 36000c290212ef972a444f1036210823b
以上列出于块设备名对应的唯一标识名
3.创建必要的UDEV配置文件，
首先切换到配置文件目录
[root@rh2 ~]# cd /etc/udev/rules.d
定义必要的规则配置文件
[root@rh2 rules.d]# touch 99-oracle-asmdevices.rules
[root@rh2 rules.d]# cat 99-oracle-asmdevices.rules
KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id -g -u -s %p", RESULT=="36000c29a89de45f738ab0cfa02b9c79e", NAME="ocr1", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id -g -u -s %p", RESULT=="36000c295cfaf6508afb7635d7d212ea4", NAME="ocr2", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id -g -u -s %p", RESULT=="36000c2968c0330c628277dd9d434b227", NAME="asm-disk1", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id -g -u -s %p", RESULT=="36000c29b24374ca1e1d72fb7cc4eeaeb", NAME="asm-disk2", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id -g -u -s %p", RESULT=="36000c29e6a3d2a6368deeaf7d0cd971b", NAME="asm-disk3", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id -g -u -s %p", RESULT=="36000c290212ef972a444f1036210823b", NAME="asm-disk4", OWNER="grid", GROUP="asmadmin", MODE="0660"
Result 为/sbin/scsi_id -g -u -s %p的输出--Match the returned string of the last PROGRAM call. This key may be
used in any following rule after a PROGRAM call.
按顺序填入刚才获取的唯一标识名即可
OWNER为安装Grid Infrastructure的用户，在11gr2中一般为grid，GROUP为asmadmin
MODE采用0660即可
NAME为UDEV映射后的设备名，
建议为OCR和VOTE DISK创建独立的DISKGROUP，为了容易区分将该DISKGROUP专用的设备命名为ocr1..ocrn的形式
其余磁盘可以根据其实际用途或磁盘组名来命名
4.将该规则文件拷贝到其他节点上
[root@rh2 rules.d]# scp 99-oracle-asmdevices.rules Other_node:/etc/udev/rules.d
5.在所有节点上启动udev服务，或者重启服务器即可
[root@rh2 rules.d]# /sbin/udevcontrol reload_rules
[root@rh2 rules.d]# /sbin/start_udev
Starting udev: [ OK ]
6.检查设备是否到位
[root@rh2 rules.d]# cd /dev
[root@rh2 dev]# ls -l ocr*
brw-rw---- 1 grid asmadmin 8, 32 Jul 10 17:31 ocr1
brw-rw---- 1 grid asmadmin 8, 48 Jul 10 17:31 ocr2
[root@rh2 dev]# ls -l asm-disk*
[root@m1 dev]# ls -l asm-disk*
brw-rw---- 1 grid asmadmin 8, 48 Oct 18 13:47 asm-disk1
brw-rw---- 1 grid asmadmin 8, 64 Oct 18 13:47 asm-disk2
brw-rw---- 1 grid asmadmin 8, 80 Oct 18 13:47 asm-disk3
brw-rw---- 1 grid asmadmin 8, 96 Oct 18 13:47 asm-disk4
整死弄不出来
1、 /home/grid/run/grid/runInstaller ------不行发现不了磁盘
2、 cd /home/grid/run/grid/
3、 ./runInstaller --------不行 发现不了磁盘
解决：
新建了4块2G的硬件
新建了2块200G硬件
建立了一个udev（上面有记录）---推荐
如果你想用ASMlib也行 上面有步骤 11gr2 不支持raw裸设备（最好不用）
最重要的是 换了一个grid 933M的软件
grid用户下(一定是grid用户）
1、mkdir aa
2、Ftp工具上传到aa目录下
3、unzip p10404530_112030_Linux-x86-64_3of7
4、cd grid/
5、./runInstaller
6、好了
什么原因？
可能是配置文件。
任何软件要保存都必须先加压保存有些应用程序会修改操作系统下的所有文件
9
针对 这个问题
首先挂载镜像 在虚拟机上（点击）
清单-----虚拟机-----客户机------安装VMware-tools
[root@m1 ~]# mount /dev/scd0 /mnt/cdrom/
mount: block device /dev/scd0 is write-protected, mounting read-only
[root@m1 ~]# ls /mnt/cdrom/
manifest.txt VMwareTools-9.0.0-782409.tar.gz
[root@m1 ~]# umount /mnt/cdrom/
[root@m1 ~]# mount /dev/cdrom /mnt/cdrom/
mount: block device /dev/cdrom is write-protected, mounting read-only
[root@m1 ~]# ls /mnt/cdrom/
manifest.txt VMwareTools-9.0.0-782409.tar.gz
cp VMwareTools-9.0.0-782409.tar.gz /tmp
tar -zxpf /tmp/VMwareTools-9.0.0-782409.tar.gz -p是不打印的意思
/tmp/vmware-tools-distrib/vmware-install.pl 回车
安装好之后就发现网卡1 了
条件： 没有按照yum包
解决（没有提示就算了）
会提示gcc错误 （yum安装gcc）
清单-----虚拟机-----客户机------结束VMware-tools安装
挂载 光驱
关闭一下 虚拟机 重新登录 然后 挂载 OK
vmware tools 安装好之后 还不能通过ifconfig 看到网卡1
kudzu --probe --class=network
默认有eth0 MAC地址 没有eth1 MAC 没有关系
lsmod 命令查看模块
lspci 命令
02:01.0 Ethernet controller: Intel Corporation 82545EM Gigabit Ethernet Controller (Copper) (rev 01) 原有的
02:02.0 Ethernet controller: VMware VMXNET Ethernet Controller (rev 10) 增强型那张
增强型 出错：
删除
添加 VMXNET3 如下
接着
2张网卡 设置好保存 之后
[root@localhost ~]# /etc/init.d/network restart
Shutting down interface eth0: [ OK ]
Shutting down interface eth1: [ OK ]
Shutting down loopback interface: [ OK ]
Bringing up loopback interface: [ OK ]
Bringing up interface eth0: [ OK ]
Bringing up interface eth1: [ OK ]
现在可以在Xsell Secrut 链接了
但是 还是有问题 ：找不到这个文件
/etc/udev/ruels.d/ 70-persistent-net.rules
这样也不影响Xshell windows的链接
3、 配置时间同步服务器
service ntpd stop
vim /etc/ntp.conf
添加
server 172.16.10.253 邮件服务器 我们m1 m2 m3 上级：都是他的子服务器
#chkconfig ntpd on
启动ntpd：
service ntpd start
4 /sbin/service ntpd stop
vim /etc/sysconfig/ntpd 添加-x
# Drop root to id 'ntp:ntp' by default.
OPTIONS="-x -u ntp:ntp -p /var/run/ntpd.pid"
# Set to 'yes' to sync hw clock after successful ntpdate
SYNC_HWCLOCK=no
# Additional options for ntpdate
NTPDATE_OPTIONS=""
启动服务
# /sbin/service ntp restart
3、 vim /etc/resolv.conf
4、 添加
[root@m1 ~]# cat /etc/resolv.conf
nameserver 172.16.14.1 添加本机的网关
search localdomain
5、 验证nobody 用户
--在所有节点上验证用户 nobody 存在：
安装软件之前，执行以下过程，以验证在两个 Oracle RAC 节点上存在用户 nobody，要确定该用
户是否存在，输入以下命令：
# id nobody
uid=99(nobody) gid=99(nobody) groups=99(nobody)
如果该命令显示了 nobody 用户的信息，则无需创建该用户。如果用户 nobody 不存在，则输入以下
命令进行创建：
# /usr/sbin/useradd nobody
2.2 禁用防火墙和 SELNUX（所有节点）
关闭防火墙：
service iptables status
service iptables stop
chkconfig iptables off
chkconfig iptables --list
设置/etc/selinux/config 文件，将 SELINUX 设置为 disabled。
[root@rac1 ~]# cat /etc/selinux/config
# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
# enforcing - SELinux security policy is enforced.
# permissive - SELinux prints warnings instead of enforcing.
# disabled - No SELinux policy is loaded.
SELINUX=disabled
# SELINUXTYPE= can take one of these two values:
# targeted - Targeted processes are protected,
# mls - Multi Level Security protection.
SELINUXTYPE=targeted
2.3 配置时间同步(所有节点)
方法一
在 11gR2 中，RAC 在安装的时候，时间同步可以用两种方式来实现：
NTP
CTSS。
当安装程序发现 NTP 协议处于非活动状态时，安装集群时间同步服务将以活动模式自动进行安装并
通 过所 有节 点的时 间。 如果 发现配 置了 NTP，则以 观察 者模 式启动 集群 时间同 步服 务， Oracle Dave 高级 DBA 培训班内部文档 * 严禁外传 Blog: http://blog.csdn.net/tianlesoftware
Clusterware 不会在集群中进行活动的时间同步。
Oracle 集群时间同步服务 (ctssd) 旨在为那些 Oracle RAC 数据库无法访问 NTP 服务的组
织提供服务。
这里我们使用 CTSS.
--配置 CTSS
使用集群时间同步服务在集群中提供同步服务，需要卸载网络时间协议 (NTP) 及其配置。
要停用 NTP 服务，必须停止当前的 ntpd 服务，从初始化序列中禁用该服务，并删
除 ntp.conf 文件。
要在 Linux 上完成这些步骤，以 root 用户身份在两个 Oracle RAC 节点上运行以下命令：
[root@rac1 ~]# /sbin/service ntpd stop
Shutting down ntpd: [ OK ]
[root@rac1 ~]# chkconfig ntpd off
[root@rac1 ~]# mv /etc/ntp.conf /etc/ntp.conf.original
[root@rac1 ~]# chkconfig ntpd --list
ntpd 0:off 1:off 2:off 3:off 4:off 5:off 6:off
[root@rac2 ~]# /sbin/service ntpd stop
Shutting down ntpd: [ OK ]
[root@rac2 ~]# chkconfig ntpd off
[root@rac2 ~]# mv /etc/ntp.conf /etc/ntp.conf.original
[root@rac2 ~]# chkconfig ntpd --list
ntpd 0:off 1:off 2:off 3:off 4:off 5:off 6:off
还要删除以下文件：
rm /var/run/ntpd.pid
此文件保存了 NTP 后台程序的 pid。
在安装后，要确认 ctssd 处于活动状态，用 grid 所有者输入以下命令：
[grid@racnode1 ~]$ crsctl check ctss
CRS-4701: The Cluster Time Synchronization Service is in Active mode.
CRS-4702: Offset (in msec): 0
4、配置SSH等效性
分别以grid oracle 建立2次
grid 用户
su - grid
m1:/home/grid$ ssh-keygen
Generating public/private rsa key pair.
Enter file in which to save the key (/home/grid/.ssh/id_rsa):
Created directory '/home/grid/.ssh'.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /home/grid/.ssh/id_rsa.
Your public key has been saved in /home/grid/.ssh/id_rsa.pub.
The key fingerprint is:
60:9b:fe:65:82:85:44:8d:20:a3:a5:16:54:21:11:72 grid@m1
m1:/home/grid$
公网:
m1:/home/grid$ echo ~
/home/grid
是公钥
下面讲公钥拷贝到3台机器： m1 m2 m3
m1:/home/grid$ ssh-copy-id -i /home/grid/.ssh/id_rsa.pub m1
26 ID
The authenticity of host 'm1 (172.16.15.101)' can't be established.
RSA key fingerprint is 94:cd:c2:8b:08:75:c4:e0:b6:9a:be:93:1b:7e:68:51.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'm1,172.16.15.101' (RSA) to the list of known hosts.
grid@m1's password:
Now try logging into the machine, with "ssh 'm1'", and check in:
.ssh/authorized_keys -------------
to make sure we haven't added extra keys that you weren't expecting.
-----------------------------------说明攻了了
m1:/home/grid$ssh-copy-id -i /home/grid/.ssh/id_rsa.pub m2
26
The authenticity of host 'm2 (172.16.15.102)' can't be established.
RSA key fingerprint is 94:cd:c2:8b:08:75:c4:e0:b6:9a:be:93:1b:7e:68:51.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'm2,172.16.15.102' (RSA) to the list of known hosts.
grid@m2's password:
Now try logging into the machine, with "ssh 'm2'", and check in:
.ssh/authorized_keys
to make sure we haven't added extra keys that you weren't expecting.
m1:/home/grid$ssh-copy-id -i /home/grid/.ssh/id_rsa.pub m3
26
The authenticity of host 'm3 (172.16.15.103)' can't be established.
RSA key fingerprint is 94:cd:c2:8b:08:75:c4:e0:b6:9a:be:93:1b:7e:68:51.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'm3,172.16.15.103' (RSA) to the list of known hosts.
grid@m3's password:
Now try logging into the machine, with "ssh 'm3'", and check in:
.ssh/authorized_keys
to make sure we haven't added extra keys that you weren't expecting.
私网
m1:/home/grid$ssh-copy-id -i /home/grid/.ssh/id_rsa.pub m1-priv
26
The authenticity of host 'm1-priv (10.11.11.1)' can't be established.
RSA key fingerprint is 94:cd:c2:8b:08:75:c4:e0:b6:9a:be:93:1b:7e:68:51.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'm1-priv,10.11.11.1' (RSA) to the list of known hosts.
Now try logging into the machine, with "ssh 'm1-priv'", and check in:
.ssh/authorized_keys
to make sure we haven't added extra keys that you weren't expecting.
m1:/home/grid$ssh-copy-id -i /home/grid/.ssh/id_rsa.pub m2-priv
26
The authenticity of host 'm2-priv (10.11.11.2)' can't be established.
RSA key fingerprint is 94:cd:c2:8b:08:75:c4:e0:b6:9a:be:93:1b:7e:68:51.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'm2-priv,10.11.11.2' (RSA) to the list of known hosts.
Now try logging into the machine, with "ssh 'm2-priv'", and check in:
.ssh/authorized_keys
to make sure we haven't added extra keys that you weren't expecting.
m1:/home/grid$ssh-copy-id -i /home/grid/.ssh/id_rsa.pub m3-priv
26
The authenticity of host 'm3-priv (10.11.11.3)' can't be established.
RSA key fingerprint is 94:cd:c2:8b:08:75:c4:e0:b6:9a:be:93:1b:7e:68:51.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'm3-priv,10.11.11.3' (RSA) to the list of known hosts.
Now try logging into the machine, with "ssh 'm3-priv'", and check in:
.ssh/authorized_keys
to make sure we haven't added extra keys that you weren't expecting.
测试
m1:/home/grid$ssh m1 date;ssh m2 date; ssh m3 date
Thu Oct 10 11:50:50 CST 2013
Thu Oct 10 11:50:50 CST 2013
Thu Oct 10 11:50:50 CST 2013
m1:/home/grid$ssh m1-priv date;ssh m2-priv date; ssh m3-priv date
Thu Oct 10 11:57:40 CST 2013
Thu Oct 10 11:57:40 CST 2013
Thu Oct 10 11:57:40 CST 2013
这个不能拷贝只能 每台都建立
oracle 用户 我就粘贴了 一样的。
这样还没有配置完美
1）SSH会有一个LoginGraceTime的概念，是指ssh登录到对端，不做任何操作的时间，如果超过该时间，则自动断开ssh连接。那么在oracle安装的过程中，需要把该参数设置为“0”，也就是说，不让该功能生效。以免在安装的过程中出错。
用root修改/etc/ssh/sshd_config文件，找到LoginGraceTime字样：
LoginGraceTime 0
#PermitRootLogin yes
#StrictModes yes
将前面的“#”去掉，后面的数字设置为“0”即可。
安装Grid软件：
1、 准备 软件包
oracle官网上有下载
p10404530_112030_Linux-x86-64_1of7
p10404530_112030_Linux-x86-64_2of7
p10404530_112030_Linux-x86-64_3of7 -----grid软件
FTP工具上传到一台主机上就可以了。我上传到m1
上传grid 1 分 oracle软件2分
M1 上
mkdir /tmp/soft
unzip /tmp/soft/ p10404530_112030_Linux-x86-64_3of7
安装cvuqdisk包并验证
在两个 Oracle RAC 节点上安装操作系统程序包 cvuqdisk。如果没有
cvuqdisk，集群验证实用程序就无法发现共享磁盘，当运行（手动运行或在 Oracle Grid
Infrastructure 安装结束时自动运行）集群验证实用程序时，您会收到这样的错误消息：“Package
cvuqdisk not installed”。使用适用于您的硬件体系结构（例如，x86_64 或 i386）的 cvuqdisk RPM。
检查这个包在不：
m1:/home/grid$ls /tmp/soft/grid/rpm/cvuqdisk-1.0.9-1.rpm
/tmp/soft/grid/rpm/cvuqdisk-1.0.9-1.rpm
需要将这个包 拷贝到m2 m3上因为是以便发现磁盘。
看见没有不能使用grid用户安装rpm
m1:/home/grid$rpm -ivh /tmp/soft/grid/rpm/cvuqdisk-1.0.9-1.rpm
error: can't create transaction lock on /var/lib/rpm/__db.000
root用户
需要拷贝这个
m1:/home/grid$scp /tmp/soft/grid/rpm/cvuqdisk-1.0.9-1.rpm m2:/tmp/
cvuqdisk-1.0.9-1.rpm 100% 8551 8.4KB/s 00:00
m1:/home/grid$scp /tmp/soft/grid/rpm/cvuqdisk-1.0.9-1.rpm m3:/tmp/
cvuqdisk-1.0.9-1.rpm 100% 8551 8.4KB/s 00:00
m1:/home/grid$
m2 m3 上都需要（一定要安装啊）
[root@m3 ~]# rpm -ivh /tmp/cvuqdisk-1.0.9-1.rpm
Preparing... ########################################### [100%]
Using default group oinstall to install package
1:cvuqdisk ########################################### [100%]
实行安装检查（非常重要）
我们这里只有DNS没有通过其他的一定要通过。
/tmp/soft/grid/runcluvfy.sh stage –list 查看检查的语法
这句话很重要 建议 记录日志
m1:/home/grid$/tmp/soft/grid/runcluvfy.sh stage -pre crsinst -n m1,m2,m3 -fixup –verbose
环境检查报错
ERROR:
The location "/tmp/CVU_11.2.0.3.0_grid/" is owned by another user on nodes:
m3,m2,m1
Please choose a different work area using CV_DESTLOC
Verification cannot proceed
Pre-check for cluster services setup was unsuccessful on all the nodes.
m1:/tmp/soft/grid$ll
解决：
第一种
以grid用户解压 但是 我没有执行成功
第二种
[root@m1 soft]# ll -l /tmp/soft/
total 3401632
drwxr-xr-x 8 root root 4096 Sep 22 2011 grid
root用户授权
chown -R oracle.oinstall /tmp/soft/
[root@m1 ~]# ll -l /tmp/
total 66192
drwxr-xr-x 3 500 500 4096 Sep 30 06:23 CVU_11.2.0.3.0_grid
drwx------ 2 root root 4096 Oct 10 15:25 gconfd-root
drwxr-xr-x 2 grid oinstall 4096 Oct 14 10:18 hsperfdata_grid
drwx------ 2 root root 4096 Sep 30 02:41 keyring-Q5slL2
drwxr-xr-x 2 500 500 4096 Sep 30 06:23 logs
srwxr-xr-x 1 root root 0 Oct 9 16:57 mapping-root
-rw-r--r-- 1 root root 14176 Oct 9 05:49 oracleasmlib-2.0.4-1.el5.x86_64.rpm
drwxr-xr-x 3 oracle oinstall 4096 Oct 14 09:45 soft
-rw-r--r-- 1 root root 1849173 Oct 9 05:50 unixODBC-2.3.2.tar.gz
drwx------ 2 root root 4096 Sep 30 02:41 virtual-root.aoRYQn
drwxr-xr-x 2 root root 4096 Oct 9 05:55 vmware-config0
drwx------ 2 root root 4096 Oct 13 19:11 vmware-root
-r--r--r-- 1 root root 65792741 Oct 9 01:36 VMwareTools-9.0.0-782409.tar.gz
drwxr-xr-x 7 root root 4096 Jul 15 2012 vmware-tools-distrib
[root@m1 ~]# chown -R grid.oinstall /tmp/CVU_11.2.0.3.0_grid
chown -R grid.oinstall /tmp/logs
看见上面的500 没有 chown 改成 grid.oinstall 就可以了
哈哈 有出错了 这个机器上m1 上检查通过 m2 m3 同样要改哈
[root@m2 ~]# chown -R grid.oinstall /tmp/CVU_11.2.0.3.0_grid/
[root@m2 ~]# chown -R grid.oinstall /tmp/logs/
再次执行环境检查
错误：
ERROR:
以下节点上的位置 "/tmp/CVU_11.2.0.3.0_grid/" 为其他用户所拥有:
m3,m2
[root@m2 ~]# ll /tmp/
total 64384
drwxr-xr-x 3 oracle oinstall 4096 Sep 30 06:23 CVU_11.2.0.3.0_grid
-rwxr-xr-x 1 grid oinstall 8551 Oct 14 10:05 cvuqdisk-1.0.9-1.rpm
drwx------ 2 root root 4096 Oct 11 09:16 gconfd-root
drwx------ 2 root root 4096 Sep 30 02:41 keyring-Q5slL2
drwxr-xr-x 2 oracle oinstall 4096 Sep 30 06:23 logs
srwxr-xr-x 1 root root 0 Oct 9 08:19 mapping-root
-rw-r--r-- 1 root root 14176 Oct 10 02:04 oracleasmlib-2.0.4-1.el5.x86_64.rpm
srw------- 1 root root 0 Oct 9 08:19 scim-panel-socket:0-root
drwx------ 2 root root 4096 Sep 30 02:41 virtual-root.aoRYQn
drwxr-xr-x 2 root root 4096 Oct 10 02:10 vmware-config0
drwx------ 2 root root 4096 Oct 11 09:26 vmware-root
-r--r--r-- 1 root root 65792741 Oct 10 01:49 VMwareTools-9.0.0-782409.tar.gz
drwxr-xr-x 7 root root 4096 Jul 15 2012 vmware-tools-distrib
[root@m2 ~]#
哈哈 环境检查的强大了吧 呵呵
logout
[root@m1 soft]# chown -R grid.oinstall /tmp/CVU_11.2.0.3.0_grid/
[root@m1 soft]# chown -R grid.oinstall /tmp/soft/
[root@m1 soft]# chown -R grid.oinstall /tmp/logs
[root@m1 soft]# ll /tmp/logs/
环境检查文件
[root@m1 soft]# LANG=zh_CN
[root@m1 soft]# su - grid
m1:/home/grid$LANG=zh_CN
m1:/home/grid$/tmp/soft/grid/runcluvfy.sh stage -pre crsinst -n m1,m2,m3 -fixup -verbose
执行 集群服务设置 的预检查
正在检查节点的可访问性...
检查: 节点 "m1" 的节点可访问性
目标节点 是否可访问?
------------------------------------ ------------------------
m3 是
m2 是
m1 是
结果:节点 "m1" 的节点可访问性检查已通过
正在检查等同用户...
检查: 用户 "grid" 的等同用户
节点名 状态
------------------------------------ ------------------------
m3 通过
m2 通过
m1 通过
结果:用户 "grid" 的等同用户检查已通过
正在检查节点连接性...
正在检查主机配置文件...
节点名 状态
------------------------------------ ------------------------
m3 通过
m2 通过
m1 通过
主机配置文件的验证成功
节点 "m3" 的接口信息
名称 IP 地址 子网 网关 默认网关 HW 地址 MTU
------ --------------- --------------- --------------- --------------- ----------------- ------
eth0 172.16.15.103 172.16.14.0 0.0.0.0 172.16.14.1 00:50:56:A8:5F:82 1500
eth1 10.11.11.3 10.11.11.0 0.0.0.0 172.16.14.1 00:50:56:A8:37:C7 1500
节点 "m2" 的接口信息
名称 IP 地址 子网 网关 默认网关 HW 地址 MTU
------ --------------- --------------- --------------- --------------- ----------------- ------
eth0 172.16.15.102 172.16.14.0 0.0.0.0 172.16.14.1 00:50:56:A8:41:9D 1500
eth1 10.11.11.2 10.11.11.0 0.0.0.0 172.16.14.1 00:50:56:A8:15:18 1500
节点 "m1" 的接口信息
名称 IP 地址 子网 网关 默认网关 HW 地址 MTU
------ --------------- --------------- --------------- --------------- ----------------- ------
eth1 10.11.11.1 10.11.11.0 0.0.0.0 172.16.14.1 00:50:56:A8:46:F8 1500
eth0 172.16.15.101 172.16.14.0 0.0.0.0 172.16.14.1 00:50:56:A8:7F:AC 1500
检查: 子网 "172.16.14.0" 的节点连接性
源 目标 是否已连接?
------------------------------ ------------------------------ ----------------
m3[172.16.15.103] m2[172.16.15.102] 是
m3[172.16.15.103] m1[172.16.15.101] 是
m2[172.16.15.102] m1[172.16.15.101] 是
结果:含有节点 m3,m2,m1 的子网 "172.16.14.0" 的节点连接性检查已通过
检查: 子网 "172.16.14.0" 的 TCP 连接性
源 目标 是否已连接?
------------------------------ ------------------------------ ----------------
m1:172.16.15.101 m3:172.16.15.103 通过
m1:172.16.15.101 m2:172.16.15.102 通过
结果:子网 "172.16.14.0" 的 TCP 连接性检查通过
检查: 子网 "10.11.11.0" 的节点连接性
源 目标 是否已连接?
------------------------------ ------------------------------ ----------------
m3[10.11.11.3] m2[10.11.11.2] 是
m3[10.11.11.3] m1[10.11.11.1] 是
m2[10.11.11.2] m1[10.11.11.1] 是
结果:含有节点 m3,m2,m1 的子网 "10.11.11.0" 的节点连接性检查已通过
检查: 子网 "10.11.11.0" 的 TCP 连接性
源 目标 是否已连接?
------------------------------ ------------------------------ ----------------
m1:10.11.11.1 m3:10.11.11.3 通过
m1:10.11.11.1 m2:10.11.11.2 通过
结果:子网 "10.11.11.0" 的 TCP 连接性检查通过
在子网 "172.16.14.0" 上找到的很可能是用于 VIP 的候选接口的接口为:
m3 eth0:172.16.15.103
m2 eth0:172.16.15.102
m1 eth0:172.16.15.101
在子网 "10.11.11.0" 上找到的很可能是用于专用互连的候选接口的接口为:
m3 eth1:10.11.11.3
m2 eth1:10.11.11.2
m1 eth1:10.11.11.1
正在检查子网掩码一致性...
子网 "172.16.14.0" 的子网掩码一致性检查已通过。
子网 "10.11.11.0" 的子网掩码一致性检查已通过。
子网掩码一致性检查已通过。
结果:节点连接性检查已通过
正在检查多点传送通信...
正在检查子网 "172.16.14.0" 是否能够与多点传送组 "230.0.1.0" 进行多点传送通信...
子网 "172.16.14.0" 是否能够与多点传送组 "230.0.1.0" 进行多点传送通信的检查已通过。
正在检查子网 "10.11.11.0" 是否能够与多点传送组 "230.0.1.0" 进行多点传送通信...
子网 "10.11.11.0" 是否能够与多点传送组 "230.0.1.0" 进行多点传送通信的检查已通过。
多点传送通信检查已通过。
检查 ASMLib 配置。
节点名 状态
------------------------------------ ------------------------
m3 通过
m2 通过
m1 通过
结果:ASMLib 配置检查通过。
检查: 内存总量
节点名 可用 必需 状态
------------ ------------------------ ------------------------ ----------
m3 7.814GB (8193556.0KB) 1.5GB (1572864.0KB) 通过
m2 7.814GB (8193556.0KB) 1.5GB (1572864.0KB) 通过
m1 7.814GB (8193556.0KB) 1.5GB (1572864.0KB) 通过
结果:内存总量 检查已通过
检查: 可用内存
节点名 可用 必需 状态
------------ ------------------------ ------------------------ ----------
m3 7.5255GB (7891008.0KB) 50MB (51200.0KB) 通过
m2 7.5225GB (7887912.0KB) 50MB (51200.0KB) 通过
m1 7.2357GB (7587180.0KB) 50MB (51200.0KB) 通过
结果:可用内存 检查已通过
检查: 交换空间
节点名 可用 必需 状态
------------ ------------------------ ------------------------ ----------
m3 9.75GB (1.0223612E7KB) 7.814GB (8193556.0KB) 通过
m2 9.75GB (1.0223612E7KB) 7.814GB (8193556.0KB) 通过
m1 9.75GB (1.0223612E7KB) 7.814GB (8193556.0KB) 通过
结果:交换空间 检查已通过
检查: "m3:/tmp" 的 空闲磁盘空间
路径 节点名 装载点 可用 必需 状态
---------------- ------------ ------------ ------------ ------------ ------------
/tmp m3 / 57.6543GB 1GB 通过
结果:"m3:/tmp" 的 空闲磁盘空间 检查已通过
检查: "m2:/tmp" 的 空闲磁盘空间
路径 节点名 装载点 可用 必需 状态
---------------- ------------ ------------ ------------ ------------ ------------
/tmp m2 / 57.6543GB 1GB 通过
结果:"m2:/tmp" 的 空闲磁盘空间 检查已通过
检查: "m1:/tmp" 的 空闲磁盘空间
路径 节点名 装载点 可用 必需 状态
---------------- ------------ ------------ ------------ ------------ ------------
/tmp m1 / 53.1924GB 1GB 通过
结果:"m1:/tmp" 的 空闲磁盘空间 检查已通过
检查: "grid" 的 用户存在性
节点名 状态 注释
------------ ------------------------ ------------------------
m3 通过 存在(502)
m2 通过 存在(502)
m1 通过 存在(502)
检查 UID 值为 502 的多个用户
结果:对 UID 值为 502 的多个用户进行的检查已通过
结果:"grid" 的 用户存在性 检查已通过
检查: "oinstall" 的 组存在性
节点名 状态 注释
------------ ------------------------ ------------------------
m3 通过 存在
m2 通过 存在
m1 通过 存在
结果:"oinstall" 的 组存在性 检查已通过
检查: "dba" 的 组存在性
节点名 状态 注释
------------ ------------------------ ------------------------
m3 通过 存在
m2 通过 存在
m1 通过 存在
结果:"dba" 的 组存在性 检查已通过
检查: 组 "oinstall" 中用户 "grid" 的成员资格 [作为 主]
节点名 用户存在 组存在 组中的用户 主 状态
---------------- ------------ ------------ ------------ ------------ ------------
m3 是 是 是 是 通过
m2 是 是 是 是 通过
m1 是 是 是 是 通过
结果:组 "oinstall" 中用户 "grid" 的成员资格检查 [作为 主] 已通过
检查: 组 "dba" 中用户 "grid" 的成员资格
节点名 用户存在 组存在 组中的用户 状态
---------------- ------------ ------------ ------------ ----------------
m3 是 是 是 通过
m2 是 是 是 通过
m1 是 是 是 通过
结果:组 "dba" 中用户 "grid" 的成员资格检查已通过
检查: 运行级别
节点名 运行级别 必需 状态
------------ ------------------------ ------------------------ ----------
m3 5 3,5 通过
m2 5 3,5 通过
m1 5 3,5 通过
结果:运行级别 检查已通过
检查: "打开的文件描述符的最大数" 的 硬性限制
节点名 类型 可用 必需 状态
---------------- ------------ ------------ ------------ ----------------
m3 硬性 262144 65536 通过
m2 硬性 262144 65536 通过
m1 硬性 262144 65536 通过
结果:"打开的文件描述符的最大数" 的 硬性限制 检查已通过
检查: "打开的文件描述符的最大数" 的 软性限制
节点名 类型 可用 必需 状态
---------------- ------------ ------------ ------------ ----------------
m3 软性 4096 1024 通过
m2 软性 4096 1024 通过
m1 软性 4096 1024 通过
结果:"打开的文件描述符的最大数" 的 软性限制 检查已通过
检查: "最大用户进程数" 的 硬性限制
节点名 类型 可用 必需 状态
---------------- ------------ ------------ ------------ ----------------
m3 硬性 65536 16384 通过
m2 硬性 65536 16384 通过
m1 硬性 65536 16384 通过
结果:"最大用户进程数" 的 硬性限制 检查已通过
检查: "最大用户进程数" 的 软性限制
节点名 类型 可用 必需 状态
---------------- ------------ ------------ ------------ ----------------
m3 软性 8188 2047 通过
m2 软性 8188 2047 通过
m1 软性 8188 2047 通过
结果:"最大用户进程数" 的 软性限制 检查已通过
检查: 系统体系结构
节点名 可用 必需 状态
------------ ------------------------ ------------------------ ----------
m3 x86_64 x86_64 通过
m2 x86_64 x86_64 通过
m1 x86_64 x86_64 通过
结果:系统体系结构 检查已通过
检查: 内核版本
节点名 可用 必需 状态
------------ ------------------------ ------------------------ ----------
m3 2.6.39-300.26.1.el5uek 2.6.18 通过
m2 2.6.39-300.26.1.el5uek 2.6.18 通过
m1 2.6.39-300.26.1.el5uek 2.6.18 通过
结果:内核版本 检查已通过
检查: "semmsl" 的 内核参数
节点名 当前值 已配置 必需 状态 注释
---------------- ------------ ------------ ------------ ------------ ------------
m3 1250 1250 250 通过
m2 1250 1250 250 通过
m1 1250 1250 250 通过
结果:"semmsl" 的 内核参数 检查已通过
检查: "semmns" 的 内核参数
节点名 当前值 已配置 必需 状态 注释
---------------- ------------ ------------ ------------ ------------ ------------
m3 640000 640000 32000 通过
m2 640000 640000 32000 通过
m1 640000 640000 32000 通过
结果:"semmns" 的 内核参数 检查已通过
检查: "semopm" 的 内核参数
节点名 当前值 已配置 必需 状态 注释
---------------- ------------ ------------ ------------ ------------ ------------
m3 1250 1250 100 通过
m2 1250 1250 100 通过
m1 1250 1250 100 通过
结果:"semopm" 的 内核参数 检查已通过
检查: "semmni" 的 内核参数
节点名 当前值 已配置 必需 状态 注释
---------------- ------------ ------------ ------------ ------------ ------------
m3 512 512 128 通过
m2 512 512 128 通过
m1 512 512 128 通过
结果:"semmni" 的 内核参数 检查已通过
检查: "shmmax" 的 内核参数
节点名 当前值 已配置 必需 状态 注释
---------------- ------------ ------------ ------------ ------------ ------------
m3 68719476736 68719476736 4195100672 通过
m2 68719476736 68719476736 4195100672 通过
m1 68719476736 68719476736 4195100672 通过
结果:"shmmax" 的 内核参数 检查已通过
检查: "shmmni" 的 内核参数
节点名 当前值 已配置 必需 状态 注释
---------------- ------------ ------------ ------------ ------------ ------------
m3 4096 4096 4096 通过
m2 4096 4096 4096 通过
m1 4096 4096 4096 通过
结果:"shmmni" 的 内核参数 检查已通过
检查: "shmall" 的 内核参数
节点名 当前值 已配置 必需 状态 注释
---------------- ------------ ------------ ------------ ------------ ------------
m3 4294967296 4294967296 2097152 通过
m2 4294967296 4294967296 2097152 通过
m1 4294967296 4294967296 2097152 通过
结果:"shmall" 的 内核参数 检查已通过
检查: "file-max" 的 内核参数
节点名 当前值 已配置 必需 状态 注释
---------------- ------------ ------------ ------------ ------------ ------------
m3 6815744 6815744 6815744 通过
m2 6815744 6815744 6815744 通过
m1 6815744 6815744 6815744 通过
结果:"file-max" 的 内核参数 检查已通过
检查: "ip_local_port_range" 的 内核参数
节点名 当前值 已配置 必需 状态 注释
---------------- ------------ ------------ ------------ ------------ ------------
m3 between 9000.0 & 65500.0 between 9000.0 & 65500.0 between 9000.0 & 65500.0 通过
m2 between 9000.0 & 65500.0 between 9000.0 & 65500.0 between 9000.0 & 65500.0 通过
m1 between 9000.0 & 65500.0 between 9000.0 & 65500.0 between 9000.0 & 65500.0 通过
结果:"ip_local_port_range" 的 内核参数 检查已通过
检查: "rmem_default" 的 内核参数
节点名 当前值 已配置 必需 状态 注释
---------------- ------------ ------------ ------------ ------------ ------------
m3 4194304 4194304 262144 通过
m2 4194304 4194304 262144 通过
m1 4194304 4194304 262144 通过
结果:"rmem_default" 的 内核参数 检查已通过
检查: "rmem_max" 的 内核参数
节点名 当前值 已配置 必需 状态 注释
---------------- ------------ ------------ ------------ ------------ ------------
m3 4194304 4194304 4194304 通过
m2 4194304 4194304 4194304 通过
m1 4194304 4194304 4194304 通过
结果:"rmem_max" 的 内核参数 检查已通过
检查: "wmem_default" 的 内核参数
节点名 当前值 已配置 必需 状态 注释
---------------- ------------ ------------ ------------ ------------ ------------
m3 4194304 4194304 262144 通过
m2 4194304 4194304 262144 通过
m1 4194304 4194304 262144 通过
结果:"wmem_default" 的 内核参数 检查已通过
检查: "wmem_max" 的 内核参数
节点名 当前值 已配置 必需 状态 注释
---------------- ------------ ------------ ------------ ------------ ------------
m3 4194304 4194304 1048576 通过
m2 4194304 4194304 1048576 通过
m1 4194304 4194304 1048576 通过
结果:"wmem_max" 的 内核参数 检查已通过
检查: "aio-max-nr" 的 内核参数
节点名 当前值 已配置 必需 状态 注释
---------------- ------------ ------------ ------------ ------------ ------------
m3 6815744 6815744 1048576 通过
m2 6815744 6815744 1048576 通过
m1 6815744 6815744 1048576 通过
结果:"aio-max-nr" 的 内核参数 检查已通过
检查: "make" 的 包存在性
节点名 可用 必需 状态
------------ ------------------------ ------------------------ ----------
m3 make-3.81-3.el5 make-3.81 通过
m2 make-3.81-3.el5 make-3.81 通过
m1 make-3.81-3.el5 make-3.81 通过
结果:"make" 的 包存在性 检查已通过
检查: "binutils" 的 包存在性
节点名 可用 必需 状态
------------ ------------------------ ------------------------ ----------
m3 binutils-2.17.50.0.6-20.el5_8.3 binutils-2.17.50.0.6 通过
m2 binutils-2.17.50.0.6-20.el5_8.3 binutils-2.17.50.0.6 通过
m1 binutils-2.17.50.0.6-20.el5_8.3 binutils-2.17.50.0.6 通过
结果:"binutils" 的 包存在性 检查已通过
检查: "gcc(x86_64)" 的 包存在性
节点名 可用 必需 状态
------------ ------------------------ ------------------------ ----------
m3 gcc(x86_64)-4.1.2-54.el5 gcc(x86_64)-4.1.2 通过
m2 gcc(x86_64)-4.1.2-54.el5 gcc(x86_64)-4.1.2 通过
m1 gcc(x86_64)-4.1.2-54.el5 gcc(x86_64)-4.1.2 通过
结果:"gcc(x86_64)" 的 包存在性 检查已通过
检查: "libaio(x86_64)" 的 包存在性
节点名 可用 必需 状态
------------ ------------------------ ------------------------ ----------
m3 libaio(x86_64)-0.3.106-5 libaio(x86_64)-0.3.106 通过
m2 libaio(x86_64)-0.3.106-5 libaio(x86_64)-0.3.106 通过
m1 libaio(x86_64)-0.3.106-5 libaio(x86_64)-0.3.106 通过
结果:"libaio(x86_64)" 的 包存在性 检查已通过
检查: "glibc(x86_64)" 的 包存在性
节点名 可用 必需 状态
------------ ------------------------ ------------------------ ----------
m3 glibc(x86_64)-2.5-107 glibc(x86_64)-2.5-24 通过
m2 glibc(x86_64)-2.5-107 glibc(x86_64)-2.5-24 通过
m1 glibc(x86_64)-2.5-107 glibc(x86_64)-2.5-24 通过
结果:"glibc(x86_64)" 的 包存在性 检查已通过
检查: "compat-libstdc++-33(x86_64)" 的 包存在性
节点名 可用 必需 状态
------------ ------------------------ ------------------------ ----------
m3 compat-libstdc++-33(x86_64)-3.2.3-61 compat-libstdc++-33(x86_64)-3.2.3 通过
m2 compat-libstdc++-33(x86_64)-3.2.3-61 compat-libstdc++-33(x86_64)-3.2.3 通过
m1 compat-libstdc++-33(x86_64)-3.2.3-61 compat-libstdc++-33(x86_64)-3.2.3 通过
结果:"compat-libstdc++-33(x86_64)" 的 包存在性 检查已通过
检查: "elfutils-libelf(x86_64)" 的 包存在性
节点名 可用 必需 状态
------------ ------------------------ ------------------------ ----------
m3 elfutils-libelf(x86_64)-0.137-3.el5 elfutils-libelf(x86_64)-0.125 通过
m2 elfutils-libelf(x86_64)-0.137-3.el5 elfutils-libelf(x86_64)-0.125 通过
m1 elfutils-libelf(x86_64)-0.137-3.el5 elfutils-libelf(x86_64)-0.125 通过
结果:"elfutils-libelf(x86_64)" 的 包存在性 检查已通过
检查: "elfutils-libelf-devel" 的 包存在性
节点名 可用 必需 状态
------------ ------------------------ ------------------------ ----------
m3 elfutils-libelf-devel-0.137-3.el5 elfutils-libelf-devel-0.125 通过
m2 elfutils-libelf-devel-0.137-3.el5 elfutils-libelf-devel-0.125 通过
m1 elfutils-libelf-devel-0.137-3.el5 elfutils-libelf-devel-0.125 通过
WARNING:
PRVF-7584 : 在节点 m3 上找到多个版本的程序包 "elfutils-libelf-devel": elfutils-libelf-devel(x86_64)-0.137-3.el5,elfutils-libelf-devel(i386)-0.137-3.el5
WARNING:
PRVF-7584 : 在节点 m2 上找到多个版本的程序包 "elfutils-libelf-devel": elfutils-libelf-devel(x86_64)-0.137-3.el5,elfutils-libelf-devel(i386)-0.137-3.el5
WARNING:
PRVF-7584 : 在节点 m1 上找到多个版本的程序包 "elfutils-libelf-devel": elfutils-libelf-devel(x86_64)-0.137-3.el5,elfutils-libelf-devel(i386)-0.137-3.el5
结果:"elfutils-libelf-devel" 的 包存在性 检查已通过
检查: "glibc-common" 的 包存在性
节点名 可用 必需 状态
------------ ------------------------ ------------------------ ----------
m3 glibc-common-2.5-107 glibc-common-2.5 通过
m2 glibc-common-2.5-107 glibc-common-2.5 通过
m1 glibc-common-2.5-107 glibc-common-2.5 通过
结果:"glibc-common" 的 包存在性 检查已通过
检查: "glibc-devel(x86_64)" 的 包存在性
节点名 可用 必需 状态
------------ ------------------------ ------------------------ ----------
m3 glibc-devel(x86_64)-2.5-107 glibc-devel(x86_64)-2.5 通过
m2 glibc-devel(x86_64)-2.5-107 glibc-devel(x86_64)-2.5 通过
m1 glibc-devel(x86_64)-2.5-107 glibc-devel(x86_64)-2.5 通过
结果:"glibc-devel(x86_64)" 的 包存在性 检查已通过
检查: "glibc-headers" 的 包存在性
节点名 可用 必需 状态
------------ ------------------------ ------------------------ ----------
m3 glibc-headers-2.5-107 glibc-headers-2.5 通过
m2 glibc-headers-2.5-107 glibc-headers-2.5 通过
m1 glibc-headers-2.5-107 glibc-headers-2.5 通过
结果:"glibc-headers" 的 包存在性 检查已通过
检查: "gcc-c++(x86_64)" 的 包存在性
节点名 可用 必需 状态
------------ ------------------------ ------------------------ ----------
m3 gcc-c++(x86_64)-4.1.2-54.el5 gcc-c++(x86_64)-4.1.2 通过
m2 gcc-c++(x86_64)-4.1.2-54.el5 gcc-c++(x86_64)-4.1.2 通过
m1 gcc-c++(x86_64)-4.1.2-54.el5 gcc-c++(x86_64)-4.1.2 通过
结果:"gcc-c++(x86_64)" 的 包存在性 检查已通过
检查: "libaio-devel(x86_64)" 的 包存在性
节点名 可用 必需 状态
------------ ------------------------ ------------------------ ----------
m3 libaio-devel(x86_64)-0.3.106-5 libaio-devel(x86_64)-0.3.106 通过
m2 libaio-devel(x86_64)-0.3.106-5 libaio-devel(x86_64)-0.3.106 通过
m1 libaio-devel(x86_64)-0.3.106-5 libaio-devel(x86_64)-0.3.106 通过
结果:"libaio-devel(x86_64)" 的 包存在性 检查已通过
检查: "libgcc(x86_64)" 的 包存在性
节点名 可用 必需 状态
------------ ------------------------ ------------------------ ----------
m3 libgcc(x86_64)-4.1.2-54.el5 libgcc(x86_64)-4.1.2 通过
m2 libgcc(x86_64)-4.1.2-54.el5 libgcc(x86_64)-4.1.2 通过
m1 libgcc(x86_64)-4.1.2-54.el5 libgcc(x86_64)-4.1.2 通过
结果:"libgcc(x86_64)" 的 包存在性 检查已通过
检查: "libstdc++(x86_64)" 的 包存在性
节点名 可用 必需 状态
------------ ------------------------ ------------------------ ----------
m3 libstdc++(x86_64)-4.1.2-54.el5 libstdc++(x86_64)-4.1.2 通过
m2 libstdc++(x86_64)-4.1.2-54.el5 libstdc++(x86_64)-4.1.2 通过
m1 libstdc++(x86_64)-4.1.2-54.el5 libstdc++(x86_64)-4.1.2 通过
结果:"libstdc++(x86_64)" 的 包存在性 检查已通过
检查: "libstdc++-devel(x86_64)" 的 包存在性
节点名 可用 必需 状态
------------ ------------------------ ------------------------ ----------
m3 libstdc++-devel(x86_64)-4.1.2-54.el5 libstdc++-devel(x86_64)-4.1.2 通过
m2 libstdc++-devel(x86_64)-4.1.2-54.el5 libstdc++-devel(x86_64)-4.1.2 通过
m1 libstdc++-devel(x86_64)-4.1.2-54.el5 libstdc++-devel(x86_64)-4.1.2 通过
结果:"libstdc++-devel(x86_64)" 的 包存在性 检查已通过
检查: "sysstat" 的 包存在性
节点名 可用 必需 状态
------------ ------------------------ ------------------------ ----------
m3 sysstat-7.0.2-12.0.1.el5 sysstat-7.0.2 通过
m2 sysstat-7.0.2-12.0.1.el5 sysstat-7.0.2 通过
m1 sysstat-7.0.2-12.0.1.el5 sysstat-7.0.2 通过
结果:"sysstat" 的 包存在性 检查已通过
检查: "ksh" 的 包存在性
节点名 可用 必需 状态
------------ ------------------------ ------------------------ ----------
m3 ksh-20100621-12.el5 ksh-20060214 通过
m2 ksh-20100621-12.el5 ksh-20060214 通过
m1 ksh-20100621-12.el5 ksh-20060214 通过
结果:"ksh" 的 包存在性 检查已通过
检查 UID 值为 0 的多个用户
结果:对 UID 值为 0 的多个用户进行的检查已通过
检查: 当前组 ID
结果:当前组 ID 检查已通过
开始检查 root 用户的主要组的一致性
节点名 状态
------------------------------------ ------------------------
m3 通过
m2 通过
m1 通过
已通过 root 用户主要组的一致性检查
正在使用网络时间协议 (NTP) 启动时钟同步检查...
NTP 配置文件检查开始...
NTP 配置文件 "/etc/ntp.conf" 在所有节点上可用
NTP 配置文件检查通过
正在检查守护程序的活动性...
检查: "ntpd" 的活动性
节点名 正在运行?
------------------------------------ ------------------------
m3 是
m2 是
m1 是
结果:"ntpd" 的活动性检查已通过
针对 NTP 守护程序或服务是否活动的检查在所有节点上均已通过
为快速定向选项 "-x" 检查 NTP 守护程序命令行
检查: NTP 守护程序命令行
节点名 是否设置了快速定向选项?
------------------------------------ ------------------------
m3 是
m2 是
m1 是
结果:
NTP 守护程序快速定向选项检查已通过
在文件 "/etc/sysconfig/ntpd" 中为快速定向选项 "-x" 检查 NTP 守护程序的引导时间配置
检查: NTP 守护程序的引导时间配置
节点名 是否设置了快速定向选项?
------------------------------------ ------------------------
m3 是
m2 是
m1 是
结果:
快速定向选项的 NTP 引导程序的引导时间配置检查已通过
检查所有节点上的 NTP 守护程序或服务是否均使用 UDP 端口 123
检查 NTP 守护程序或服务是否正在使用 UDP 端口 123
节点名 端口是否打开?
------------------------------------ ------------------------
m3 是
m2 是
m1 是
NTP 公用时间服务器检查开始...
NTP 时间服务器 "212.26.18.41" 由所有运行 NTP 守护程序的节点公用
NTP 时间服务器 ".LOCL." 由所有运行 NTP 守护程序的节点公用
公用 NTP 时间服务器检查通过
与 NTP 时间服务器的时钟时间偏移量检查开始...
正在节点 "[m3, m2, m1]" 上检查...
检查: 与 NTP 时间服务器的时钟时间偏移量
时间服务器: 212.26.18.41
时间偏移量限制: 1000.0 毫秒
节点名 时间偏移量 状态
------------ ------------------------ ------------------------
m3 6.589 通过
m2 5.253 通过
m1 0.18 通过
时间服务器 "212.26.18.41" 的时间偏移量在节点 "[m3, m2, m1]" 允许的限制内。
时间服务器: .LOCL.
时间偏移量限制: 1000.0 毫秒
节点名 时间偏移量 状态
------------ ------------------------ ------------------------
m3 0.0 通过
m2 0.0 通过
m1 0.0 通过
时间服务器 ".LOCL." 的时间偏移量在节点 "[m3, m2, m1]" 允许的限制内。
时钟时间偏移量检查通过
结果:使用网络时间协议 (NTP) 进行时钟同步检查通过
正在检查核心文件名模式一致性...
核心文件名模式一致性检查已通过。
检查以确保用户 "grid" 不在 "root" 组中
节点名 状态 注释
------------ ------------------------ ------------------------
m3 通过 不存在
m2 通过 不存在
m1 通过 不存在
结果:用户 "grid" 不属于 "root" 组。检查已通过
检查默认用户文件创建掩码
节点名 可用 必需 注释
------------ ------------------------ ------------------------ ----------
m3 0022 0022 通过
m2 0022 0022 通过
m1 0022 0022 通过
结果:默认用户文件创建掩码检查已通过
检查文件 "/etc/resolv.conf" 在节点间的一致性
检查文件 "/etc/resolv.conf" 以确保只定义了 'domain' 和 'search' 条目中的一个
文件 "/etc/resolv.conf" 未同时定义 'domain' 和 'search' 条目
正在检查文件 "/etc/resolv.conf" 中的 'domain' 条目是否在节点间一致...
文件 "/etc/resolv.conf" 中的 'domain' 条目在节点间一致
正在检查文件 "/etc/resolv.conf" 中的 'search' 条目是否在节点间一致...
文件 "/etc/resolv.conf" 中的 'search' 条目在节点间一致
检查文件 "/etc/resolv.conf" 以确保只定义了一个 'search' 条目
所有节点在文件 "/etc/resolv.conf" 中都定义了一个 'search' 条目
检查所有节点以确保 'search' 条目为 "localdomain" (与在节点 "m3" 上找到的一样)
集群的所有节点都具有相同的 'search' 值
检查无法访问节点的 DNS 响应时间
节点名 状态
------------------------------------ ------------------------
m3 失败
m2 失败
m1 失败
PRVF-5636 : 在以下节点上, 无法访问的节点的 DNS 响应时间超过 "15000" 毫秒: m3,m2,m1
文件 "/etc/resolv.conf" 在各节点间不一致
检查: 时区一致性
结果:时区一致性 检查已通过
在所有节点上预检查 集群服务设置 失败。
m1:/home/grid$
上面没有配置DNS所以报错 如果需要还是可以配置鉴于本公司内网就是没有配。
不要理它了 直接上图安装软件
[root@m1 soft]# xhost +
access control disabled, clients can connect from any host
一定要确保能够抓图 上次没有抓图死活解决不了 重装OK
[root@m1 soft]# su - grid
m1:/home/grid$/tmp/soft/grid/runInstalle
这个是笔记不是 我的 但是 可以思考一下
发现有两个failed,一个是ntp,一个是grid用户不在dba组中
oracle11gR2 RAC中使用Cluster Time Synchronization Service(CTSS)同步各节点的时间,当安装程序发现 NTP 协议处于非活动状态时，安装集群时间同步服务将以活动模式自动进行安装并通过所有节点的时间。如果发现配置了 NTP，则以观察者模式 启动集群时间同步服务，Oracle Clusterware 不会在集群中进行活动的时间同步。
使用root用户在node1,node2中执行以下操作,关闭ntp服务,mv配置文件
-------------------r
问题：
我发现不了磁盘在安装到
怀疑一
mkfs.exts 我分外区之后将磁盘格式化为ext3了
1、 新建虚拟机磁盘
2、
3、
4、
5、
6、
6
M2 上
2
3、
4、m3 也同样是一样的 这里你照着看 我不演示了。
5
6、
7、
完了。
m3 的也是这样添加 一样的 我不演示了
注意： 做完这些之后 init 6 重起机器。一定重启
重启之后 ：
fdisk –l 会看到 /dev/sdg sdh
没有被分区 这个时候分区 但是 不要格式化 记住 不要格式化。
如下：
Disk /dev/sdh: 104 MB, 104857600 bytes
64 heads, 32 sectors/track, 100 cylinders
Units = cylinders of 2048 * 512 = 1048576 bytes
Disk /dev/sdh doesn't contain a valid partition table
Disk /dev/sdg: 2147 MB, 2147483648 bytes
255 heads, 63 sectors/track, 261 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk /dev/sdg doesn't contain a valid partition table
对硬盘分区：
只是需要在一个节点就是了 不需要在其他节点做
fdisk /dev/sdg
fdisk /dev/sdh
fdisk –l 查看生成的信息
Disk /dev/sdh: 104 MB, 104857600 bytes
64 heads, 32 sectors/track, 100 cylinders
Units = cylinders of 2048 * 512 = 1048576 bytes
Device Boot Start End Blocks Id System
/dev/sdh1 1 100 102384 83 Linux
Disk /dev/sdg: 2147 MB, 2147483648 bytes
255 heads, 63 sectors/track, 261 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Device Boot Start End Blocks Id System
/dev/sdg1 1 261 2096451 83 Linux
这种方法不成立。
我新建了2个2 G 500M的磁盘但是 还是不行 并且安装网上说的修改路径
/dev/oracleasm/disks/* 还是不能发现磁盘。
分析：
1 检查结果除DNS没有配置之外 其他配置都是OK。如果有问题时通不过CRS检查的
2 ASM磁盘组 主主 属主没有任何问题 如果原来有问题 我新建了还是发现不了 故可以排除
3 我修改磁盘路径 /dev/sd* 不行 我把磁盘绑定为裸设备 使用udev绑定通过裸设备绑定后修改为/dev/raw/* 还是不能发现
这里 udev就是udev不能使用裸设备。
4 Google网上 修改/dev/oracleasm/disks/* 未果 还是发现不了磁盘 根据google 在网上很多都能通过修改磁盘路径/dev/oracleasm/disks/* 来找到oracleasm磁盘组。
5 节点1 节点2 节点3 fdisk –l 都能够发现分区 并且 严格按照asm磁盘组的步骤来的故步骤上可以排除。
6 到底问题在哪里？？？？
1、没有用grid用户解压
2、grid软件有问题--根本原因。
安装grid软件
1、
2
3
4
加选 中文 如果这里是 中文安装界面 那么就自动加选 不用点击添加按钮 直接下一步
5、
6
7
9
10
11
12
报错：
注意：在 11gr2 中
external >= 1
normal >=3
high >=5
我没有选择外部冗余
12
13
14
15
16
17
[root@m3 ~]# mkdir -p /u01/gridsoft/11.2.0
[root@m3 ~]# mkdir -p /u01/gridbase
[root@m3 ~]# chown -R grid:oinstall /u01
[root@m3 ~]# mkdir -p /u01/oracle/11.2.0/db_1
[root@m3 ~]# mkdir -p /u01/app/oracle/
[root@m3 ~]# chown -R oracle:oinstall /u01/app/oracle
[root@m3 ~]# chmod -R 775 /u01
报错
这么解决OK
解决：
chown -R grid:oinstall /u01
Oinstall组
oracle 11.0.2 的bug
依次执行 必须执行成功
root用户
m1
[root@m1 app]# whoami
root
[root@m1 app]# /u01/app/oraInventory/orainstRoot.sh
Changing permissions of /u01/app/oraInventory.
Adding read,write permissions for group.
Removing read,write,execute permissions for world.
Changing groupname of /u01/app/oraInventory to oinstall.
The execution of the script is complete.
[root@m1 app]# /u01/app/grid/11.2.0/root.sh
Performing root user operation for Oracle 11g
The following environment variables are set as:
ORACLE_OWNER= grid
ORACLE_HOME= /u01/app/grid/11.2.0
Enter the full pathname of the local bin directory: [/usr/local/bin]:
Copying dbhome to /usr/local/bin ...
Copying oraenv to /usr/local/bin ...
Copying coraenv to /usr/local/bin ...
Creating /etc/oratab file...
Entries will be added to the /etc/oratab file as needed by
Database Configuration Assistant when a database is created
Finished running generic part of root script.
Now product-specific root actions will be performed.
Using configuration parameter file: /u01/app/grid/11.2.0/crs/install/crsconfig_params
Creating trace directory
User ignored Prerequisites during installation
OLR initialization - successful
root wallet
root wallet cert
root cert export
peer wallet
profile reader wallet
pa wallet
peer wallet keys
pa wallet keys
peer cert request
pa cert request
peer cert
pa cert
peer root cert TP
profile reader root cert TP
pa root cert TP
peer pa cert TP
pa peer cert TP
profile reader pa cert TP
profile reader peer cert TP
peer user cert
pa user cert
Adding Clusterware entries to inittab
CRS-2672: Attempting to start 'ora.mdnsd' on 'm1'
CRS-2676: Start of 'ora.mdnsd' on 'm1' succeeded
CRS-2672: Attempting to start 'ora.gpnpd' on 'm1'
CRS-2676: Start of 'ora.gpnpd' on 'm1' succeeded
CRS-2672: Attempting to start 'ora.cssdmonitor' on 'm1'
CRS-2672: Attempting to start 'ora.gipcd' on 'm1'
CRS-2676: Start of 'ora.cssdmonitor' on 'm1' succeeded
CRS-2676: Start of 'ora.gipcd' on 'm1' succeeded
CRS-2672: Attempting to start 'ora.cssd' on 'm1'
CRS-2672: Attempting to start 'ora.diskmon' on 'm1'
CRS-2676: Start of 'ora.diskmon' on 'm1' succeeded
CRS-2676: Start of 'ora.cssd' on 'm1' succeeded
ASM created and started successfully.
Disk Group OCR created successfully.
clscfg: -install mode specified
Successfully accumulated necessary OCR keys.
Creating OCR keys for user 'root', privgrp 'root'..
Operation successful.
CRS-4256: Updating the profile
Successful addition of voting disk 3c96dd97eed54fa3bf2e9b4852c2c4e9.
Successful addition of voting disk 7c194843150d4fc1bf654a75b41316ba.
Successful addition of voting disk 0af716a4e7fd4ff3bfcd252c665ec8b5.
Successfully replaced voting disk group with +OCR.
CRS-4256: Updating the profile
CRS-4266: Voting file(s) successfully replaced
## STATE File Universal Id File Name Disk group
-- ----- ----------------- --------- ---------
1. ONLINE 3c96dd97eed54fa3bf2e9b4852c2c4e9 (/dev/ocr1) [OCR]
2. ONLINE 7c194843150d4fc1bf654a75b41316ba (/dev/ocr2) [OCR]
3. ONLINE 0af716a4e7fd4ff3bfcd252c665ec8b5 (/dev/asm-disk1) [OCR]
Located 3 voting disk(s).
CRS-2672: Attempting to start 'ora.asm' on 'm1'
CRS-2676: Start of 'ora.asm' on 'm1' succeeded
CRS-2672: Attempting to start 'ora.OCR.dg' on 'm1'
CRS-2676: Start of 'ora.OCR.dg' on 'm1' succeeded
Configure Oracle Grid Infrastructure for a Cluster ... succeeded
[root@m1 app]#
m2 上
[root@m2 ~]# /u01/app/grid/11.2.0/root.sh
Performing root user operation for Oracle 11g
The following environment variables are set as:
ORACLE_OWNER= grid
ORACLE_HOME= /u01/app/grid/11.2.0
Enter the full pathname of the local bin directory: [/usr/local/bin]:
Copying dbhome to /usr/local/bin ...
Copying oraenv to /usr/local/bin ...
Copying coraenv to /usr/local/bin ...
Creating /etc/oratab file...
Entries will be added to the /etc/oratab file as needed by
Database Configuration Assistant when a database is created
Finished running generic part of root script.
Now product-specific root actions will be performed.
Using configuration parameter file: /u01/app/grid/11.2.0/crs/install/crsconfig_params
Creating trace directory
User ignored Prerequisites during installation
OLR initialization - successful
Adding Clusterware entries to inittab
CRS-4402: The CSS daemon was started in exclusive mode but found an active CSS daemon on node m1, number 1, and is terminating
An active cluster was found during exclusive startup, restarting to join the cluster
Configure Oracle Grid Infrastructure for a Cluster ... succeeded
注意
上面的步骤 不一样了
m3上：
[root@m3 u01]# /u01/app/oraInventory/orainstRoot.sh
Changing permissions of /u01/app/oraInventory.
Adding read,write permissions for group.
Removing read,write,execute permissions for world.
Changing groupname of /u01/app/oraInventory to oinstall.
The execution of the script is complete.
[root@m3 u01]# whoami
root
[root@m3 u01]# /u01/app/grid/11.2.0/root.sh
Performing root user operation for Oracle 11g
The following environment variables are set as:
ORACLE_OWNER= grid
ORACLE_HOME= /u01/app/grid/11.2.0
Enter the full pathname of the local bin directory: [/usr/local/bin]:
Copying dbhome to /usr/local/bin ...
Copying oraenv to /usr/local/bin ...
Copying coraenv to /usr/local/bin ...
Creating /etc/oratab file...
Entries will be added to the /etc/oratab file as needed by
Database Configuration Assistant when a database is created
Finished running generic part of root script.
Now product-specific root actions will be performed.
Using configuration parameter file: /u01/app/grid/11.2.0/crs/install/crsconfig_params
Creating trace directory
User ignored Prerequisites during installation
OLR initialization - successful
Adding Clusterware entries to inittab
CRS-4402: The CSS daemon was started in exclusive mode but found an active CSS daemon on node m1, number 1, and is terminating
An active cluster was found during exclusive startup, restarting to join the cluster
Configure Oracle Grid Infrastructure for a Cluster ... succeeded
[root@m3 u01]#
看到我那个success没有
可以点击OK了。
下一步：
INS-20802 Oracle Cluster Verifiacation Utilitity faild
解决：
INS-20802 Oracle Cluster Verification 实用程序失败
问题现象：
Grid安装到最后一步，两边的root脚本也执行完了，撂出个INS-20802错误，从错误现象来看，看不出什么问题，提示查看.log文件。
Log文件内容：
INFO: Checking Single Client Access Name (SCAN)...
INFO: Checking name resolution setup for "SCAN"...
INFO: ERROR:
INFO: PRVF-4664 : Found inconsistent name resolution entries for SCAN name "SCAN"
INFO: ERROR:
INFO: PRVF-4657 : Name resolution setup check for "SCAN" (IP address: 172.16.9.150) failed
INFO: ERROR:
INFO: PRVF-4664 : Found inconsistent name resolution entries for SCAN name "SCAN"
INFO: Verification of SCAN VIP and Listener setup failed
问题分析：
通过参考Metalink[ID 887471]文章得出以下结论：
http://www.prudentwoo.com/archives/730
http://space.itpub.net/?uid-20674423-action-viewspace-itemid-752693
/article/2627979.html
由于配置了/etc/hosts来解析SCAN，导致未走DNS来进行SCAN的解析，爆出此错误，可以考虑忽略掉，或者删除/etc/hosts文件中的SCAN解析部分，并且再次通过nslookup验证DNS的解析是否正常即可。
直接跳过
find / -name crs_stat
[oracle@m1 bin]$ crs_stat -t
Name Type Target State Host
------------------------------------------------------------
ora....ER.lsnr ora....er.type ONLINE ONLINE m1
ora....N1.lsnr ora....er.type ONLINE ONLINE m1
ora.OCR.dg ora....up.type ONLINE ONLINE m1
ora.asm ora.asm.type ONLINE ONLINE m1
ora.cvu ora.cvu.type ONLINE ONLINE m1
ora.gsd ora.gsd.type OFFLINE OFFLINE
ora....SM1.asm application ONLINE ONLINE m1
ora....M1.lsnr application ONLINE ONLINE m1
ora.m1.gsd application OFFLINE OFFLINE
ora.m1.ons application ONLINE ONLINE m1
ora.m1.vip ora....t1.type ONLINE ONLINE m1
ora....SM2.asm application ONLINE ONLINE m2
ora....M2.lsnr application ONLINE ONLINE m2
ora.m2.gsd application OFFLINE OFFLINE
ora.m2.ons application ONLINE ONLINE m2
ora.m2.vip ora....t1.type ONLINE ONLINE m2
ora....SM3.asm application ONLINE ONLINE m3
ora....M3.lsnr application ONLINE ONLINE m3
ora.m3.gsd application OFFLINE OFFLINE
ora.m3.ons application ONLINE ONLINE m3
ora.m3.vip ora....t1.type ONLINE ONLINE m3
ora....network ora....rk.type ONLINE ONLINE m1
ora.oc4j ora.oc4j.type ONLINE ONLINE m1
ora.ons ora.ons.type ONLINE ONLINE m1
ora.scan1.vip ora....ip.type ONLINE ONLINE m1
[oracle@m1 bin]$ srvctl status asm
ASM is running on m1,m3,m2
[oracle@m1 bin]$
[oracle@m1 bin]$ srvctl status asm
ASM is running on m1,m3,m2
说明我的grid软件是安装好的。
二、安装数据库软件
注意必须以oracle用户解压：
到oracle用户目录下：
su - oracle
mkdir aa
upzip p10404530_112030_Linux-x86-64_1of7.zip
upzip p10404530_112030_Linux-x86-64_2of7.zip
上面2个解压到同一目录 aa
cd /home/oracle/aa/database
./runInstaller
1、
去掉勾
3、
问你有没有metalink帐号
跳过软件更新：
4、
只是安装数据库软件 等软件安装好之后才安装 数据库 分开好些 也可以一起
5、
6、
加选中文
7、
8、
9、
解决：
注意 这里授权一下不要和上面安装 grid的目录搞错了
[root@m1 u01]# ll
total 16
drwxr-xr-x 5 root oinstall 4096 Oct 21 16:00 app
drwxr-xr-x 2 grid oinstall 4096 Oct 21 15:00 gridbase
drwxr-xr-x 3 grid oinstall 4096 Oct 21 14:59 gridsoft
drwxr-xr-x 3 grid oinstall 4096 Oct 21 15:00 oracle
[root@m1 u01]# cd oracle/
[root@m1 oracle]# ll
total 4
drwxr-xr-x 3 grid oinstall 4096 Oct 21 15:00 11.2.0
[root@m1 oracle]# cd 11.2.0/
[root@m1 11.2.0]# ll
total 4
drwxr-xr-x 2 grid oinstall 4096 Oct 21 15:00 db_1
[root@m1 11.2.0]# cd db_1/
[root@m1 db_1]# ll
total 0
[root@m1 db_1]# cd ..
3个节点都要改
cd /u01
chown -R oracle.oinstall oracle/
10、
11、
12
12、
哈哈 出现错了
下一步：
PRVG-1101 : SCAN name "rac-scan" failed to resolve
管方说的：
点击yes
下一步：
下一步：
等待
依次执行这个脚本：
m1 m2 m3
m1
[root@m1 ~]# whoami
root
[root@m1 ~]# /u01/oracle/11.2.0/db_1/root.sh
Performing root user operation for Oracle 11g
The following environment variables are set as:
ORACLE_OWNER= oracle
ORACLE_HOME= /u01/oracle/11.2.0/db_1
Enter the full pathname of the local bin directory: [/usr/local/bin]:
The contents of "dbhome" have not changed. No need to overwrite.
The contents of "oraenv" have not changed. No need to overwrite.
The contents of "coraenv" have not changed. No need to overwrite.
Entries will be added to the /etc/oratab file as needed by
Database Configuration Assistant when a database is created
Finished running generic part of root script.
Now product-specific root actions will be performed.
Finished product-specific root actions.
m2
[root@m2 grid]# whoami
root
[root@m2 grid]# /u01/oracle/11.2.0/db_1/root.sh
Performing root user operation for Oracle 11g
The following environment variables are set as:
ORACLE_OWNER= oracle
ORACLE_HOME= /u01/oracle/11.2.0/db_1
Enter the full pathname of the local bin directory: [/usr/local/bin]:
The contents of "dbhome" have not changed. No need to overwrite.
The contents of "oraenv" have not changed. No need to overwrite.
The contents of "coraenv" have not changed. No need to overwrite.
Entries will be added to the /etc/oratab file as needed by
Database Configuration Assistant when a database is created
Finished running generic part of root script.
Now product-specific root actions will be performed.
Finished product-specific root actions.
[root@m2 grid]#
m3
[root@m3 grid]# /u01/oracle/11.2.0/db_1/root.sh
Performing root user operation for Oracle 11g
The following environment variables are set as:
ORACLE_OWNER= oracle
ORACLE_HOME= /u01/oracle/11.2.0/db_1
Enter the full pathname of the local bin directory: [/usr/local/bin]:
The contents of "dbhome" have not changed. No need to overwrite.
The contents of "oraenv" have not changed. No need to overwrite.
The contents of "coraenv" have not changed. No need to overwrite.
Entries will be added to the /etc/oratab file as needed by
Database Configuration Assistant when a database is created
Finished running generic part of root script.
Now product-specific root actions will be performed.
Finished product-specific root actions.
好了 软件安装好了。
五、 创建 ASM 磁盘组
在安装 Clusterware 的时候，会创建 ASM 实例，但是它只创建了一个 CRS 组来安装 OCR 和 Voting
Disk。
在我们继续安装 Oracle 数据库之前，我们需要创建一个 DATA 和 FRA 的 ASM 磁盘组来存放这些文件。
用 grid 用户运行 asmca（ASM Configuration Assistant）命令就可以弹出创建窗口。
在窗口中创建完 DATA 和 FRA 组后，退出窗口即可。
在建库前需要先创建数据文件的ASM磁盘组，以登录，执行asmca命令：
grid用户：
$asmca
弹出如下界面，按规划要求创建好相应的磁盘组：
有些时候 直接运行asmca找不到
root用户find
cd /u01/app/grid/bin/
./asmca
上面那个是我建立好了的安装GI的时候 现在我们的任务是新建
我们选择2G的这个 为什么 用于存放OMF路径。
其他2个是数据盘。各200G。
呵呵 挺顺利的
再来 建立数据盘：
哈哈 可能要报错哦 试试 为什么呢 你猜猜看 呵呵
原来11g 创建asm磁盘组 选择正常冗余 没有任何限制 也不要求有多少块盘。只是 对
GI 正常冗余有要求。
下一步
点击exit 退出 配置菜单
这里要强掉一下 看见 选择 正常冗余 和 外部冗余的区别没有
正常冗余 有是一块一块的换的 不是一起的用的
外部冗余 是所有盘一起换的是一起用的
[grid@m1 bin]$ crs_stat -t
Name Type Target State Host
------------------------------------------------------------
ora.DB.dg ora....up.type ONLINE ONLINE m1
ora.FRA.dg ora....up.type ONLINE ONLINE m1
ora....ER.lsnr ora....er.type ONLINE ONLINE m1
ora....N1.lsnr ora....er.type ONLINE ONLINE m1
ora.OCR.dg ora....up.type ONLINE ONLINE m1
ora.asm ora.asm.type ONLINE ONLINE m1
ora.cvu ora.cvu.type ONLINE ONLINE m1
ora.gsd ora.gsd.type OFFLINE OFFLINE
ora....SM1.asm application ONLINE ONLINE m1
ora....M1.lsnr application ONLINE ONLINE m1
ora.m1.gsd application OFFLINE OFFLINE
ora.m1.ons application ONLINE ONLINE m1
ora.m1.vip ora....t1.type ONLINE ONLINE m1
ora....SM2.asm application ONLINE ONLINE m2
ora....M2.lsnr application ONLINE ONLINE m2
ora.m2.gsd application OFFLINE OFFLINE
ora.m2.ons application ONLINE ONLINE m2
ora.m2.vip ora....t1.type ONLINE ONLINE m2
ora....SM3.asm application ONLINE ONLINE m3
ora....M3.lsnr application ONLINE ONLINE m3
ora.m3.gsd application OFFLINE OFFLINE
ora.m3.ons application ONLINE ONLINE m3
ora.m3.vip ora....t1.type ONLINE ONLINE m3
ora....network ora....rk.type ONLINE ONLINE m1
ora.oc4j ora.oc4j.type ONLINE ONLINE m1
ora.ons ora.ons.type ONLINE ONLINE m1
ora.scan1.vip ora....ip.type ONLINE ONLINE m1
[grid@m1 bin]$
六 安装DB 数据库
在节点 1 用 Oracle 用户运行 dbca，创建实例。
以oracle用户执行dbca,弹出图形界面来安装DB库。
m1 oracle用户：
su - oralce
dbca
下一步：
下一步：
下一步
配置OEM 默认
开启自动维护功能：
下一步：
下一步：
下一步：
这里是制定数据库数据文件的存放路径
输入密码的时候会弹出一个错 你自己添加确定就是了 没事的
下一步：
下一步：
下一步：
下一步：
他问你有没有足够的空间，这里之后1911M 新建起来之后可以建的，也可以自己添加硬盘。
也可以把它放入DB里面 也可以忽略我就忽略了
注意 如果下次 还是 见到这个界面一定要 选择默认的 3台数据都用这个FRA闪回路径 空间不够最好放到
+DATA里面 不然会报错 ORA 1103 数据库也会夯在 mount哪里。
选择 Typical 勾选 Use Automatic Memory Management
选择 Sizeing菜单
改变进程数 150 --->改到 1200
选择专有模式
现在可以下一步了
点击 finish
好了 等待 大公告成。
出现了问题
这个是配置OEM的一个bug 可以忽略掉。
我怀疑是 刚才设置密码的时候太短：
解决：
这里设置密码的时候一定要 多整几个。
看看可以退回去能行不。
我先查查
点击exit退出 OK 好了
检查：
Name Type Target State Host
------------------------------------------------------------
ora.DB.dg ora....up.type ONLINE ONLINE m1
ora.FRA.dg ora....up.type ONLINE ONLINE m1
ora....ER.lsnr ora....er.type ONLINE ONLINE m1
ora....N1.lsnr ora....er.type ONLINE ONLINE m1
ora.OCR.dg ora....up.type ONLINE ONLINE m1
ora.asm ora.asm.type ONLINE ONLINE m1
ora.cvu ora.cvu.type ONLINE ONLINE m1
ora.gsd ora.gsd.type OFFLINE OFFLINE -----gsd没有运行
ora....SM1.asm application ONLINE ONLINE m1
ora....M1.lsnr application ONLINE ONLINE m1
ora.m1.gsd application OFFLINE OFFLINE
ora.m1.ons application ONLINE ONLINE m1
ora.m1.vip ora....t1.type ONLINE ONLINE m1
ora....SM2.asm application ONLINE ONLINE m2
ora....M2.lsnr application ONLINE ONLINE m2
ora.m2.gsd application OFFLINE OFFLINE
ora.m2.ons application ONLINE ONLINE m2
ora.m2.vip ora....t1.type ONLINE ONLINE m2
ora....SM3.asm application ONLINE ONLINE m3
ora....M3.lsnr application ONLINE ONLINE m3
ora.m3.gsd application OFFLINE OFFLINE
ora.m3.ons application ONLINE ONLINE m3
ora.m3.vip ora....t1.type ONLINE ONLINE m3
ora.mes.db ora....se.type ONLINE ONLINE m1
ora....network ora....rk.type ONLINE ONLINE m1
ora.oc4j ora.oc4j.type ONLINE ONLINE m1
ora.ons ora.ons.type ONLINE ONLINE m1
ora.scan1.vip ora....ip.type ONLINE ONLINE m1
解决：
[oracle@m1 bin]$ pwd
/u01/app/grid/11.2.0/bin
检查应用程序资源的状态
[oracle@m1 bin]$ srvctl status nodeapps -n m1
VIP m1-vip is enabled
VIP m1-vip is running on node: m1
Network is enabled
Network is running on node: m1
GSD is disabled -----------GSD没有运行
GSD is not running on node: m1
ONS is enabled
ONS daemon is running on node: m1
ASM is running on m1
[oracle@m1 bin]$ srvctl status asm -n m2
ASM is running on m2
[oracle@m1 bin]$ srvctl status asm -n m3
ASM is running on m3
Instance mes1 is running on node m1
Instance mes2 is running on node m2
Instance mes3 is running on node m3
检查 Oracle 集群件的状态
[oracle@m1 bin]$ crsctl check crs
CRS-4638: Oracle High Availability Services is online
CRS-4537: Cluster Ready Services is online
CRS-4529: Cluster Synchronization Services is online
CRS-4533: Event Manager is online
TAF可以在安装完rac后配置，也可以在安装中配置，其实就是实现一个服务的负载均衡和failover，应该用srvctl配置的，注意用grid用户下的crs目录中的srvctl
在grid用户下 我的环境变量是但是sqlplus 链接不了
export ORACLE_SID=+ASM2
export ORACLE_BASE=/u01/gridbase
export ORACLE_HOME=/u01/gridsoft/11.2.0
export PATH=$ORACLE_HOME/bin:$PATH:/usr/local/bin/:.
export TEMP=/tmp
export TMP=/tmp
export TMPDIR=/tmp
umask 022
修改环境变量：
注意 ： 我以 grid用户做的
[grid@m1 ~]$ cp ~/.bash_profile ~/.asm
[grid@m1 ~]$ vim ~/.asm
[grid@m1 ~]$ . ~/.asm
[grid@m1 ~]$ sqlplus -s / as sysasm
-bash: sqlplus: command not found
为什么会出现这个情况
建立ASM的时候 是以 grid用户建立 oracle用户没有权限
但是 安装数据库软件 是 以 oracle 用户安装的这样就矛盾了。
oracle 用户
export ORACLE_SID=+ASM1
oracle@m1 ~]$ export ORACLE_SID=+ASM1
[oracle@m1 ~]$ sqlplus -s / as sysasm
ERROR:
ORA-01031: insufficient privileges
报错
在grid用户下 我的环境变量是但是sqlplus 链接不了
grid用户：
安装GI
ASM磁盘组
chown -R grid:oinstall /u01
安装grid的时候 ORACLE_BASE=/u01/app/oracle
SOFT路径=/u01/app/grid/11.2.0
oracle用户：
安装 数据库软件和数据库
安装软件的时候：
ORACLE_BASE=/u01/oracle
Soft=/u01/oracle/11.2.0/db_1
应该是oracle 用户
oracle 用户 建软件 建库 grid 安装 GI 和 asm磁盘组。
cd /u01
chown -R oracle.oinstall oracle/
总结：
安装GI的时候 ORACLE_BASE 目录是 /u01/app//oracle
软件目录是
尝试解决：
1、
--将用户 grid 添加到 dba 组：
[root@rac1 app]# gpasswd -a grid dba
Adding user grid to group dba
[grid@m1 ~]$ cd /u01/app/grid/11.2.0/bin/
[grid@m1 bin]$ sqlplus
Error 6 initializing SQL*Plus
SP2-0667: Message file sp1<lang>.msb not found
SP2-0750: You may need to set ORACLE_HOME to your Oracle software directory
[grid@m1 bin]$
[grid@m1 ~]$ cd /u01/app/grid/11.2.0/bin/
[grid@m1 bin]$ sqlplus
Error 6 initializing SQL*Plus
SP2-0667: Message file sp1<lang>.msb not found
SP2-0750: You may need to set ORACLE_HOME to your Oracle software directory
[grid@m1 bin]$ su - oracle
Password:
[oracle@m1 ~]$ export ORACLE_SID=+ASM1
[oracle@m1 ~]$ sqlplus / as sysasm
SQL*Plus: Release 11.2.0.3.0 Production on Wed Oct 23 09:51:31 2013
Copyright (c) 1982, 2011, Oracle. All rights reserved.
ERROR:
ORA-01031: insufficient privileges
Enter user-name:
2、
解决办法：
export ORACLE_SID=+ASM1
export ORACLE_BASE=/u01/gridbase
export ORACLE_HOME=/u01/app/grid/11.2.0
export PATH=$ORACLE_HOME/bin:$PATH:/usr/local/bin/:.
export TEMP=/tmp
export TMP=/tmp
export TMPDIR=/tmp
umask 022
配置TAF
7.22 节点 2 配置
7.22.1 修改 Tnsnames.ora 文件
NODE2_LOCAL=
(ADDRESS = (PROTOCOL = TCP)(HOST = rac2-vip)(PORT = 1521))
NODE1_LOCAL=
(ADDRESS = (PROTOCOL = TCP)(HOST= rac1-vip)(PORT = 1521))
DAVE_REMOTE =
(DESCRIPTION =
(ADDRESS_LIST =
(ADDRESS = (PROTOCOL = TCP)(HOST=rac1-vip)(PORT = 1521))
(ADDRESS = (PROTOCOL = TCP)(HOST=rac2-vip)(PORT = 1521))
)
)
7.22.2 设置 local_listener 参数
sql > alter system set LOCAL_LISTENER='NODE2_LOCAL' scope=both sid='dave2';
sql> alter system set REMOTE_LISTENER='DAVE_REMOTE' scope=both sid='*';
验证：
$ tnsping node2_local
$ tnsping dave_remote
我这里不淹死了。
11gr2版本：
grid用户
netca
grid用户上默认配置了 listener
但是在oracle用户上就没有配置listener
grid用户默认没有配置service 服务名 但是 oracle用户配置服务名 是不是要我手动配置
oracle 用户：
netca 提示 推荐 建立listener在 grid目录
点击
配置了TAF之后 很多都报错 就像上面的。这个是怎么回事
怎么解决 我的 rac-scan IP 远程不能连接上去？
1、
以oracle用户
alter system set remote_listener=’rac-scan:1521’ scope=both sid=’*’
2
alter system set local_listener='(DESCRIPTION=(ADDRESS_LIST=(ADDRESS=(PROTOCOL=TCP)(HOST=172.16.15.101)(PORT=1521))))' sid='mes1';
alter system set local_listener='(DESCRIPTION=(ADDRESS_LIST=(ADDRESS=(PROTOCOL=TCP)(HOST=172.16.15.102)(PORT=1521))))' sid='mes2';
alter system set local_listener='(DESCRIPTION=(ADDRESS_LIST=(ADDRESS=(PROTOCOL=TCP)(HOST=172.16.15.102)(PORT=1521))))' sid='mes3';
3 show parameter listerner
SQL> show parameter listener
NAME TYPE VALUE
------------------------------------ ---------------------- ------------------------------
listener_networks string
local_listener string (DESCRIPTION=(ADDRESS_LIST=(AD
DRESS=(PROTOCOL=TCP)(HOST=172.
16.15.101)(PORT=1521))))
remote_listener string rac-scan:1521
oracle 下
sqlplus / as sysdba@mes
或者
sqlplus mhz/mhz@mes
这个文档并不齐全。。。。。。。。。。。。
那个文档 我也不知道弄到哪里去了。。。。。。
换了一个内核Knerel 以前内核 2.6.39-300.ol5.9
现在的kernel 是 2.6.18-EL.base
为什么要这么做是因为创建ACFS文件系统的时候不支持2.6.300-OL5.9
说明图片有50张，上传太麻烦。我放在百度云盘提供大家下载
项目规划：
操作系统 oracle-5.9.iso
数据库版本 oracle11g-11.2.0.3.iso
大 小 80G
/ 30G
/opt 50G
存储
注意： 11g中决策盘和仲裁盘在中是一样的，10g决策和仲裁盘必须分开
决策盘、仲裁盘 2G *2 ocr1 ocr2 (grid)
归档备份文件 2G*2
数据盘 200G*2 DG1 DG2
主机配置 CPU8G 内存8G
IP地址规划
节点一
主机 172.16.15.101/23
掩码
pub-vip 172.16.15.86/23
pri-vip 10.11.11.1/29
scan 172.16.15.100
主句名 racdb1.kingvon.com
节点二
主机 172.16.15.102/23
掩码
pub-vip 172.16.15.87/23
pri-vip 10.11.11.2/29
scan 172.16.15.200
主句名 racdb2..kingvon.com
节点三
主机 172.16.15.103/23
掩码
pub-vip 172.16.15.88/23
pri-vip 10.11.11.3/29
scan 172.16.15.300
主句名 racdb3.kingvon.com
安装步骤：
一、 配置存储
二、 配置操作系统（参数）
1、配置IP地址、主机名、内核参数
2、建立安装目录、修改hosts文件
3、解析主机名
4、初始化内核模块
5、识别存储、扫描磁盘
6、对磁盘分区、生效
7、配置时间同步服务器
8、配置SSH等效性
9、关闭selinux、防火墙
三、 安装grid集群管理软件
四、 配置ASM
五、 安装数据库
开始配置
一、环境检查（硬件+软件）
硬件环境：
root用户：
内存
# grep MemTotal /proc/meminfo
[root@localhost ~]# grep MemTotal /proc/meminfo
MemTotal: 8193556 kB
root用户：
swap空间
swap：交换空间swap为8G(内存为1~2G时，swap为起1.5倍，如果大于2G，swap等于内存大小
# grep SwapTotal /proc/meminfo
[root@localhost ~]# grep SwapTotal /proc/meminfo
SwapTotal: 10223612 kB
root用户：
/tmp：/tmp> 500M 最好不少于1G
# df -k /tmp
[root@localhost ~]# df -k /tmp
Filesystem 1K-blocks Used Available Use% Mounted on
/dev/mapper/VolGroup00-LogVol00
71228736 5047624 62504544 8% /
root用户：
/home：/home> 500M 最好不少于1G
# df -k /home
[root@localhost ~]# df -k /home
Filesystem 1K-blocks Used Available Use% Mounted on
/dev/mapper/VolGroup00-LogVol00
71228736 5047624 62504544 8% /
root用户：
系统空间：系统磁盘空间还有不少于6G空间，
# df –h
[root@localhost ~]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/VolGroup00-LogVol00
68G 4.9G 60G 8% /
/dev/sda1 99M 25M 70M 26% /boot
tmpfs 4.0G 0 4.0G 0% /dev/shm
/dev/sr0 3.8G 3.8G 0 100% /mnt/iso
安装中不使用防火墙和selinux
关闭防火墙：
/etc/init.d/iptables stop
chkcnfig iptables off
关闭selinux
[root@localhost ~]# vim /etc/sysconfig/selinux
# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
# enforcing - SELinux security policy is enforced.
# permissive - SELinux prints warnings instead of enforcing.
# disabled - SELinux is fully disabled.
SELINUX=disabled
# SELINUXTYPE= type of policy in use. Possible values are:
# targeted - Only targeted network daemons are protected.
# strict - Full SELinux protection.
SELINUXTYPE=targeted
2、软件环境
对于oracle linux要求内核至少为2.6.16.21[root@localhost ~]# uname -r
2.6.39-300.26.1.el5uek
删除多余的软件包（如果不把它们删除，将严重干扰后续ORACLE的安装和配置）
# rpm -qa ora*
orarun-1.9-21.15 ---针对 suse Linux
OLlinux5.9 ：
[root@localhost ~]# rpm -qa ora*
oracle-logos-4.9.17-10
oraclelinux-release-5-9.0.2
oracle-linux-5.0.0-9.el5
# rpm -qa sap*-------针对suse Linux
sapinit-2.0.1-1.10
OLlinux5.9 ：
rpm -qa sap*----空
# rpm -e orarun-1.9-21.15-------针对suse Linux
# rpm -e sapinit-2.0.1-1.10-------针对suse Linux
# rm –i /etc/oraInst.loc-------针对suse Linux
软件包：（推荐yum源）
binutils-2.17.50.0.6 --------这个是配置DNS服务器使用（鉴于公司的局域网--没有做）
compat-libstdc++-
compat-libstdc++-33-3.2.3
elfutils-libelf-0.125
elfutils-libelf-devel-0.125
elfutils-libelf-devel-static-0.125
gcc-4.1.2
gcc-c++-4.1.2
glibc-2.5-24
glibc-2.5-24
glibc-common-2.5
glibc-devel-2.5
glibc-devel-2.5
glibc-headers-2.5
libaio-0.3.106
libaio-0.3.106
libaio-devel-0.3.106
libgcc-4.1.2
libstdc++-4.1.2
libstdc++-devel 4.1.2
make-3.81
sysstat-7.0.2
unixODBC-2.2.11
unixODBC-devel-2.2.11
假如安装不上unixODBC
那么安装 unixODBC64*
oracleasm-2.6.16.60-0.21-bigsmp-2.0.4-1.
oracleasm-support-2.1.3-1
oracleasmlib-2.0.4-1
顺便安装 oacleasmlib*
没有需要上传
rpm -ivh oracleasmlib*
驱动
做环境监测时候还会提示我们安装包（必须全部安装所需包）
rpm -ivh /tmp/oracleasmlib-2.0.4-1.el5.x86_64.rpm
warning: /tmp/oracleasmlib-2.0.4-1.el5.x86_64.rpm: Header V3 DSA signature: NOKEY, key ID 1e5e0159
Preparing... ########################################### [100%]
1:oracleasmlib ########################################### [100%]
二、配置网络
[root@localhost ~]# cat /etc/sysconfig/network-scripts/ifcfg-eth0
# Intel Corporation 82545EM Gigabit Ethernet Controller (Copper)
DEVICE=eth0
BOOTPROTO=none
BROADCAST=172.16.15.255
HWADDR=00:50:56:a8:7f:ac
IPADDR=172.16.15.101
IPV6INIT=yes
IPV6_AUTOCONF=yes
NETMASK=255.255.254.0
NETWORK=172.16.14.0
ONBOOT=yes
HOTPLUG=yes
GATEWAY=172.16.14.1
TYPE=Ethernet
重启服务
/etc/init.d/network restart
hostname m1
vim /etc/hosts
#public network
172.16.15.101 m1
172.16.15.102 m2
172.16.15.103 m3
#private network
10.11.11.1 m1-priv
10.11.11.2 m2-priv
10.11.11.3 m3-priv
#VIP network
172.16.15.104 m1-vip
172.16.15.105 m2-vip
172.16.15.106 m3-vip
#racscan network
172.16.15.100 rac-scan
1、配置yum 源
虚拟机上挂载 ISO镜像
root用户：
mkdir /mnt/cdrom
mkdir /mnt/iso
mount /dev/cdrom /mnt/cdrom
cp -Rf /mnt/cdrom/* /mnt/iso
2、cp /etc/yum.repo.d/redhat-el5.repo /etc/yum.repo.d/local.repo
3、vim /etc/yum.repo.d/local.repo 清空--添加如下
[Cluster]
name=Cluster
baseurl=file:/mnt/iso/Cluster
enabled=1
gpgcheck=0
gpgkey=file:/mnt/iso/RPM-GPG-KEY-oracle
[VT]
name=VT
baseurl=file:/mnt/iso/VT
enabled=1
gpgcheck=0
gpgkey=file:/mnt/iso/RPM-GPG-KEY-oracle
[ClusterStorage]
name=ClusterStorage
baseurl=file:/mnt/iso/ClusterStorage
enabled=1
gpgcheck=0
gpgkey=file:/mnt/iso/RPM-GPG-KEY-oracle
[Server]
name=Server
baseurl=file:/mnt/iso/Server
enabled=1
gpgcheck=0
gpgkey=file:/mnt/iso/RPM-GPG-KEY-oracle
2、修改内核参数
# Controls the maximum size of a message, in bytes
kernel.msgmnb = 65536
# Controls the default maxmimum size of a mesage queue
kernel.msgmax = 65536
# Controls the maximum shared segment size, in bytes
kernel.shmmax = 68719476736
# Controls the maximum number of shared memory segments, in pages
kernel.shmall = 4294967296
fs.aio-max-nr = 1048576
fs.file-max = 6815744
kernel.shmall = 2097152
kernel.shmmni = 4096
kernel.shmall = 4294967296
kernel.sem = 1250 640000 1250 512
fs.file-max = 6815744
fs.aio-max-nr = 6815744
net.ipv4.ip_local_port_range = 9000 65500
net.core.rmem_default = 4194304
net.core.rmem_max = 4194304
net.core.wmem_default = 4194304
net.core.wmem_max = 4194304
kernel.shmmni = 4096
生效：
sysctl -p
3、修改开文件数的限制
vim /etc/security/limits.conf
grid soft nproc 8188
grid hard nproc 65536
grid soft nofile 4096
grid hard nofile 262144
oracle soft nproc 8188
oracle hard nproc 65536
oracle soft nofile 4096
oracle hard nofile 262144
4、修改login文件
vim /etc/pam.d/login
sessionrequiredpam_limits.so
5、创建grid oracle用户
groupadd -g 501 oinstall
groupadd -g 502 dba
groupadd -g 503 oper
groupadd -g 504 asmadmin
groupadd -g 505 asmoper
groupadd -g 506 asmdba
useradd -g oinstall -G dba,asmdba,oper oracle
useradd -g oinstall -G asmadmin,asmdba,asmoper,oper,dba grid
passwd grid
passwd oracle
6 修改用户环境变量
grid用户：
vim /home/grid/.bash_profile
export ORACLE_BASE=/opt/oracle
export ORACLE_HOME=/oracle/grid
export ORACLE_SID=+ASM1
export ORA_CRS_HOME=/oracle/crs
export NLS_LANG=AMERICAN_AMERICA.UTF8
export NLS_DATE_FORMAT="yyyy-mm-dd hh24:mi:ss"
export PATH=.:${PATH}:$HOME/bin:$ORACLE_HOME/bin
export PATH=${PATH}:/usr/bin:/bin:/usr/bin/X11:/usr/local/bin
export ORACLE_PATH=${PATH}:$ORACLE_HOME/rdbms/admin
export ORACLE_TERM=xterm
export TNS_ADMIN=$ORACLE_HOME/network/admin
export ORA_NLS10=$ORACLE_HOME/nls/data
export LD_LIBRARY_PATH=$ORACLE_HOME/lib
export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$ORACLE_HOME/oracm/lib
export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/lib:/usr/lib:/usr/local/lib
export CLASSPATH=$ORACLE_HOME/JRE
export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/jlib
export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/rdbms/jlib
export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/network/jlib
export THREADS_FLAG=native
export TEMP=/tmp
export TMPDIR=/tmp
export PS1=`hostname`:'$PWD'"$"
umask 022
建立目录：
mkdir -p /oracle/ grid
chown -R grid:oinstall /oracle
mkdir /oracle/db
chown oracle:oinstall /oracle/db
mkdir /oracle/crs
chown oracle:oinstall /oracle/crs
chmod -R 775 /oracle
oracle用户：
vim /home/oracle/.bash_profile
export ORACLE_BASE=/oracle
export ORACLE_HOME=/oracle/db
export ORACLE_SID=mes1
export ORACLE_UNQNAME=mes
export NLS_LANG=AMERICAN_AMERICA.UTF8
export NLS_DATE_FORMAT="yyyy-mm-dd hh24:mi:ss"
export PATH=.:${PATH}:$HOME/bin:$ORACLE_HOME/bin
export PATH=${PATH}:/usr/bin:/bin:/usr/bin/X11:/usr/local/bin:/home/oracle/bin
export ORACLE_PATH=${PATH}:$ORACLE_HOME/rdbms/admin
export ORACLE_TERM=xterm
export TNS_ADMIN=$ORACLE_HOME/network/admin
export ORA_NLS10=$ORACLE_HOME/nls/data
export LD_LIBRARY_PATH=$ORACLE_HOME/lib
export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$ORACLE_HOME/oracm/lib
export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/lib:/usr/lib:/usr/local/lib
export CLASSPATH=$ORACLE_HOME/JRE
export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/jlib
export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/rdbms/jlib
export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/network/jlib
export THREADS_FLAG=native
export TEMP=/tmp
export TMPDIR=/tmp
export PS1=`hostname`:'$PWD'"$"
umask 022
7 网格grid产品安装到 /oracle/grid
数据库oracle软件安装到/opt/oracle
维护的磁盘在共享存储中 dbca建立的数据库位置放在存储设备上。
xhost + 都必须正确 任何一台都不能出错
第一台：
14203
第二台 ：
主机的存储（意思是系统放在那里）
机内盘
第三台
8 配置存储
这里我遇到问题了
1 Udev方式（推荐）
参见：http://www.oracledatabase12g.com/archives/why-asmlib-and-why-not.html
2 ASMLib 方式
3 裸设备
我的错误做法：
Udev方式
RAC看图不说话上思路：
1、 初始化Oracle内核模块 oracleasm configure
2、 配置Udev
ASMLib方式
ITPUB上：
1、oracleasm createdisks CRS1 /dev/sdb1 /dev/sdc1
2、初始化内核模块
我：
1、初始化内核模块 oracleasm configure
2、配置ASMLib /etc/init.d/oracleasm createdisks /dev/sdb1 /dev/sdc1 。。。。
3、配置udev
修改了 /etc/rc.local
4、配置裸设备 /dev/raw/raw1 /dev/raw/raw2
三个都搞了
1 孟哥说的他之前的设备是搞的裸设备 我信了
2 对于这一块 之前 我确实是用的裸设备10g 但是现在 我忘了 还有版本变了11g r2
3、 我删除了磁盘新建了
4、 现在只是配置udev
第一步 编辑虚拟机
第二步 点击添加 出现下面的画面
第三步 点击硬盘 点击 下一步
第四步 选择 使用现有的磁盘
第五步骤
第六步骤
第七步骤
第八步
第九步 选着
第 十步骤
第 11 步骤 查看信息
第十二步骤 接着添加 第二块 CRS 2 盘了 操作步骤是一样的 要仔细看上面我的操作步骤 下面的我截图 只是 截你自己需要注意的或者容易出错的
接着：
添加第三块盘
添加第四个
点击 确定
注意 ：
选择一下 这个 物理共享
m2 开始：
步骤一样的 但是选择需要注意 我会截图的
注意 不要选这个 存储是共用的 还是选择m1.db 当时 是呀 m1建立的存储
报错
解决办法：
重新启动一下 m2.db m3.db 然后重新添加 没得事 以硬件的方式添加照样没得错。
或者关闭m1.db 主机 原因不详。
我之前出现一个错误：发现不了磁盘
配置了ASMLib 绑定了ASM磁盘组
配置了Udev 邦定了Udev
配置了RAW裸设备绑定了裸设备
RAC看图不说话 是基于Linux 6平台的只能参考不能
测试：
只是配置udev
绑定裸设备
vim /etc/udev/rules.d/60-raw.rules
添加
ACTION=="add", KERNEL=="sdb1", RUN+="/bin/raw /dev/raw/raw1 %N"
ACTION=="add", KERNEL=="sdc1", RUN+="/bin/raw /dev/raw/raw2 %N"
ACTION=="add", KERNEL=="sdd1", RUN+="/bin/raw /dev/raw/raw3 %N"
ACTION=="add", KERNEL=="sde1", RUN+="/bin/raw /dev/raw/raw4 %N"
ACTION=="add", KERNEL=="sdf1", RUN+="/bin/raw /dev/raw/raw5 %N"
KERNEL=="raw1", OWNER="grid", GROUP="oinstall", MODE="660"
KERNEL=="raw2", OWNER="grid", GROUP="oinstall", MODE="660"
KERNEL=="raw3", OWNER="grid", GROUP="oinstall", MODE="660"
KERNEL=="raw4", OWNER="grid", GROUP="oinstall", MODE="660"
KERNEL=="raw5", OWNER="grid", GROUP="oinstall", MODE="660"
start_udev
ls /dev/raw
[root@m1 ~]# ls /dev/raw/ -l
crw-rw---- 1 grid oinstall 162, 1 Oct 8 03:33 raw1
crw-rw---- 1 grid oinstall 162, 2 Oct 8 03:33 raw2
crw-rw---- 1 grid oinstall 162, 3 Oct 8 03:33 raw3
crw-rw---- 1 grid oinstall 162, 4 Oct 8 03:33 raw4
crw-rw---- 1 grid oinstall 162, 5 Oct 8 03:33 raw5
加入你用 ll –ls /dev/sd*
[root@m1 ~]# ls -l /dev/sd*
brw-r----- 1 root disk 8, 0 Oct 11 2013 /dev/sda
brw-r----- 1 root disk 8, 1 Oct 11 09:23 /dev/sda1
brw-r----- 1 root disk 8, 2 Oct 11 2013 /dev/sda2
brw-r----- 1 root disk 8, 16 Oct 11 2013 /dev/sdb
brw-r----- 1 root disk 8, 17 Oct 11 2013 /dev/sdb1
brw-r----- 1 root disk 8, 32 Oct 11 2013 /dev/sdc
brw-r----- 1 root disk 8, 33 Oct 11 2013 /dev/sdc1
brw-r----- 1 root disk 8, 48 Oct 11 2013 /dev/sdd
brw-r----- 1 root disk 8, 49 Oct 11 2013 /dev/sdd1
brw-r----- 1 root disk 8, 64 Oct 11 2013 /dev/sde
brw-r----- 1 root disk 8, 65 Oct 11 2013 /dev/sde1
brw-r----- 1 root disk 8, 80 Oct 11 2013 /dev/sdf
brw-r----- 1 root disk 8, 81 Oct 11 2013 /dev/sdf1
看到的是 root disk 所以 因为是root 用户
所以之前 我遇到的那个问题就可以解决了。
磁盘规划：
磁盘的划分后，两节点都能看到，能正确读写。
在其中一节点上运行fdisk -l划分以下分区
/dev/sda1 15G是基类硬盘存放操作系统
/dev/sda2 63G是基类硬盘
/dev/sdb1 1G存放CRS 仲裁盘 决策盘
/dev/sdc1 1G存放CRS
/dev/sdf1 1G存放CRS
/dev/sdd1 200G 存放数据 数据盘
/dev/sde1 200G 存放数据
----/dev/sdd5 50G存放recover-----
----/dev/sdd6 50G存放flash-----
配置ASM磁盘
5、以 root 用户身份在两个节点上配置 ASMLib。 --两个节点6、/etc/init.d/oracleasm configure
7、Configuring the Oracle ASM library driver.
8、This will configure the on-boot properties of the Oracle ASM library
9、driver. The following questions will determine whether the driver is
10、loaded on boot and what permissions it will have. The current values
11、will be shown in brackets ('[]'). Hitting <ENTER> without typing an
12、answer will keep that current value. Ctrl-C will abort.
13、Default user to own the driver interface []: grid
14、Default group to own the driver interface []: asmadmin
15、Start Oracle ASM library driver on boot (y/n)
: y
16、Scan for Oracle ASM disks on boot (y/n) [y]: y
17、Writing Oracle ASM library driver configuration: done
18、Initializing the Oracle ASMLib driver: OK
19、Scanning the system for Oracle ASMLib disks: OK
20、
21、
22、/etc/init.d/oracleasm enable --两个节点
23、Writing Oracle ASM library driver configuration: done
24、Initializing the Oracle ASMLib driver: done
25、Scanning the system for Oracle ASMLib disks: done
26、
27、创建 ASM 磁盘 --任何一个节点上执行即可
28、/etc/init.d/oracleasm createdisk CRS1 /dev/sdb1
29、/etc/init.d/oracleasm createdisk CRS2 /dev/sdc1
30、/etc/init.d/oracleasm createdisk CRS3 /dev/sdf1
31、/etc/init.d/oracleasm createdisk DATA1 /dev/sdd1
32、/etc/init.d/oracleasm createdisk DATA2 /dev/sde1
忽略：
33、/etc/init.d/oracleasm createdisk ARCH /dev/sdd5
34、/etc/init.d/oracleasm createdisk RECOVER /dev/sdd6
报错 ：
[root@m1 ~]# /etc/init.d/oracleasm createdisk CRS1 /dev/sdb1
Marking disk "CRS1" as an ASM disk: [FAILED]
[root@m1 ~]# /etc/init.d/oracleasm createdisk CRS2 /dev/sdb1
Marking disk "CRS2" as an ASM disk: [FAILED]
[root@m1 ~]# /etc/init.d/oracleasm createdisk CRS3 /dev/sdb1
原因： 上次我新建了系统但是没有影响到存储 可以继续使用 也可以通过一下命令删除了新建：
/etc/init.d/oracleasm deletedisk 命令看不到 也删除不了 我就删除了硬盘新建了
我没有删除继续用了
[root@m1 ~]# /etc/init.d/oracleasm listdisks
CRS1
CRS2
CRS3
DATA1
DATA2
35、再检查下是否创建好 --两节点
36、/etc/init.d/oracleasm scandisks
37、/etc/init.d/oracleasm listdisks
38、CRS1
39、CRS2
40、CRS3
41、DATA1
42、DATA2
忽略
43、RECOVER
44、ARCH
1.确认在所有RAC节点上已经安装了必要的UDEV包
[root@rh2 ~]# rpm -qa|grep udev
udev-095-14.21.el5
2.通过scsi_id获取设备的块设备的唯一标识名，假设系统上已有LUN sdc-sdp
for i in b c d e f g ;
do
echo "sd$i" "`scsi_id -g -u -s /block/sd$i` ";
done
sdb 36000c29a89de45f738ab0cfa02b9c79e
sdc 36000c295cfaf6508afb7635d7d212ea4
sdd 36000c2968c0330c628277dd9d434b227
sde 36000c29b24374ca1e1d72fb7cc4eeaeb
sdf 36000c29e6a3d2a6368deeaf7d0cd971b
sdg 36000c290212ef972a444f1036210823b
以上列出于块设备名对应的唯一标识名
3.创建必要的UDEV配置文件，
首先切换到配置文件目录
[root@rh2 ~]# cd /etc/udev/rules.d
定义必要的规则配置文件
[root@rh2 rules.d]# touch 99-oracle-asmdevices.rules
[root@rh2 rules.d]# cat 99-oracle-asmdevices.rules
KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id -g -u -s %p", RESULT=="36000c29a89de45f738ab0cfa02b9c79e", NAME="ocr1", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id -g -u -s %p", RESULT=="36000c295cfaf6508afb7635d7d212ea4", NAME="ocr2", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id -g -u -s %p", RESULT=="36000c2968c0330c628277dd9d434b227", NAME="asm-disk1", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id -g -u -s %p", RESULT=="36000c29b24374ca1e1d72fb7cc4eeaeb", NAME="asm-disk2", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id -g -u -s %p", RESULT=="36000c29e6a3d2a6368deeaf7d0cd971b", NAME="asm-disk3", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id -g -u -s %p", RESULT=="36000c290212ef972a444f1036210823b", NAME="asm-disk4", OWNER="grid", GROUP="asmadmin", MODE="0660"
Result 为/sbin/scsi_id -g -u -s %p的输出--Match the returned string of the last PROGRAM call. This key may be
used in any following rule after a PROGRAM call.
按顺序填入刚才获取的唯一标识名即可
OWNER为安装Grid Infrastructure的用户，在11gr2中一般为grid，GROUP为asmadmin
MODE采用0660即可
NAME为UDEV映射后的设备名，
建议为OCR和VOTE DISK创建独立的DISKGROUP，为了容易区分将该DISKGROUP专用的设备命名为ocr1..ocrn的形式
其余磁盘可以根据其实际用途或磁盘组名来命名
4.将该规则文件拷贝到其他节点上
[root@rh2 rules.d]# scp 99-oracle-asmdevices.rules Other_node:/etc/udev/rules.d
5.在所有节点上启动udev服务，或者重启服务器即可
[root@rh2 rules.d]# /sbin/udevcontrol reload_rules
[root@rh2 rules.d]# /sbin/start_udev
Starting udev: [ OK ]
6.检查设备是否到位
[root@rh2 rules.d]# cd /dev
[root@rh2 dev]# ls -l ocr*
brw-rw---- 1 grid asmadmin 8, 32 Jul 10 17:31 ocr1
brw-rw---- 1 grid asmadmin 8, 48 Jul 10 17:31 ocr2
[root@rh2 dev]# ls -l asm-disk*
[root@m1 dev]# ls -l asm-disk*
brw-rw---- 1 grid asmadmin 8, 48 Oct 18 13:47 asm-disk1
brw-rw---- 1 grid asmadmin 8, 64 Oct 18 13:47 asm-disk2
brw-rw---- 1 grid asmadmin 8, 80 Oct 18 13:47 asm-disk3
brw-rw---- 1 grid asmadmin 8, 96 Oct 18 13:47 asm-disk4
整死弄不出来
1、 /home/grid/run/grid/runInstaller ------不行发现不了磁盘
2、 cd /home/grid/run/grid/
3、 ./runInstaller --------不行 发现不了磁盘
解决：
新建了4块2G的硬件
新建了2块200G硬件
建立了一个udev（上面有记录）---推荐
如果你想用ASMlib也行 上面有步骤 11gr2 不支持raw裸设备（最好不用）
最重要的是 换了一个grid 933M的软件
grid用户下(一定是grid用户）
1、mkdir aa
2、Ftp工具上传到aa目录下
3、unzip p10404530_112030_Linux-x86-64_3of7
4、cd grid/
5、./runInstaller
6、好了
什么原因？
可能是配置文件。
任何软件要保存都必须先加压保存有些应用程序会修改操作系统下的所有文件
9
针对 这个问题
首先挂载镜像 在虚拟机上（点击）
清单-----虚拟机-----客户机------安装VMware-tools
[root@m1 ~]# mount /dev/scd0 /mnt/cdrom/
mount: block device /dev/scd0 is write-protected, mounting read-only
[root@m1 ~]# ls /mnt/cdrom/
manifest.txt VMwareTools-9.0.0-782409.tar.gz
[root@m1 ~]# umount /mnt/cdrom/
[root@m1 ~]# mount /dev/cdrom /mnt/cdrom/
mount: block device /dev/cdrom is write-protected, mounting read-only
[root@m1 ~]# ls /mnt/cdrom/
manifest.txt VMwareTools-9.0.0-782409.tar.gz
cp VMwareTools-9.0.0-782409.tar.gz /tmp
tar -zxpf /tmp/VMwareTools-9.0.0-782409.tar.gz -p是不打印的意思
/tmp/vmware-tools-distrib/vmware-install.pl 回车
安装好之后就发现网卡1 了
条件： 没有按照yum包
解决（没有提示就算了）
会提示gcc错误 （yum安装gcc）
清单-----虚拟机-----客户机------结束VMware-tools安装
挂载 光驱
关闭一下 虚拟机 重新登录 然后 挂载 OK
vmware tools 安装好之后 还不能通过ifconfig 看到网卡1
kudzu --probe --class=network
默认有eth0 MAC地址 没有eth1 MAC 没有关系
lsmod 命令查看模块
lspci 命令
02:01.0 Ethernet controller: Intel Corporation 82545EM Gigabit Ethernet Controller (Copper) (rev 01) 原有的
02:02.0 Ethernet controller: VMware VMXNET Ethernet Controller (rev 10) 增强型那张
增强型 出错：
删除
添加 VMXNET3 如下
接着
2张网卡 设置好保存 之后
[root@localhost ~]# /etc/init.d/network restart
Shutting down interface eth0: [ OK ]
Shutting down interface eth1: [ OK ]
Shutting down loopback interface: [ OK ]
Bringing up loopback interface: [ OK ]
Bringing up interface eth0: [ OK ]
Bringing up interface eth1: [ OK ]
现在可以在Xsell Secrut 链接了
但是 还是有问题 ：找不到这个文件
/etc/udev/ruels.d/ 70-persistent-net.rules
这样也不影响Xshell windows的链接
3、 配置时间同步服务器
service ntpd stop
vim /etc/ntp.conf
添加
server 172.16.10.253 邮件服务器 我们m1 m2 m3 上级：都是他的子服务器
#chkconfig ntpd on
启动ntpd：
service ntpd start
4 /sbin/service ntpd stop
vim /etc/sysconfig/ntpd 添加-x
# Drop root to id 'ntp:ntp' by default.
OPTIONS="-x -u ntp:ntp -p /var/run/ntpd.pid"
# Set to 'yes' to sync hw clock after successful ntpdate
SYNC_HWCLOCK=no
# Additional options for ntpdate
NTPDATE_OPTIONS=""
启动服务
# /sbin/service ntp restart
3、 vim /etc/resolv.conf
4、 添加
[root@m1 ~]# cat /etc/resolv.conf
nameserver 172.16.14.1 添加本机的网关
search localdomain
5、 验证nobody 用户
--在所有节点上验证用户 nobody 存在：
安装软件之前，执行以下过程，以验证在两个 Oracle RAC 节点上存在用户 nobody，要确定该用
户是否存在，输入以下命令：
# id nobody
uid=99(nobody) gid=99(nobody) groups=99(nobody)
如果该命令显示了 nobody 用户的信息，则无需创建该用户。如果用户 nobody 不存在，则输入以下
命令进行创建：
# /usr/sbin/useradd nobody
2.2 禁用防火墙和 SELNUX（所有节点）
关闭防火墙：
service iptables status
service iptables stop
chkconfig iptables off
chkconfig iptables --list
设置/etc/selinux/config 文件，将 SELINUX 设置为 disabled。
[root@rac1 ~]# cat /etc/selinux/config
# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
# enforcing - SELinux security policy is enforced.
# permissive - SELinux prints warnings instead of enforcing.
# disabled - No SELinux policy is loaded.
SELINUX=disabled
# SELINUXTYPE= can take one of these two values:
# targeted - Targeted processes are protected,
# mls - Multi Level Security protection.
SELINUXTYPE=targeted
2.3 配置时间同步(所有节点)
方法一
在 11gR2 中，RAC 在安装的时候，时间同步可以用两种方式来实现：
NTP
CTSS。
当安装程序发现 NTP 协议处于非活动状态时，安装集群时间同步服务将以活动模式自动进行安装并
通 过所 有节 点的时 间。 如果 发现配 置了 NTP，则以 观察 者模 式启动 集群 时间同 步服 务， Oracle Dave 高级 DBA 培训班内部文档 * 严禁外传 Blog: http://blog.csdn.net/tianlesoftware
Clusterware 不会在集群中进行活动的时间同步。
Oracle 集群时间同步服务 (ctssd) 旨在为那些 Oracle RAC 数据库无法访问 NTP 服务的组
织提供服务。
这里我们使用 CTSS.
--配置 CTSS
使用集群时间同步服务在集群中提供同步服务，需要卸载网络时间协议 (NTP) 及其配置。
要停用 NTP 服务，必须停止当前的 ntpd 服务，从初始化序列中禁用该服务，并删
除 ntp.conf 文件。
要在 Linux 上完成这些步骤，以 root 用户身份在两个 Oracle RAC 节点上运行以下命令：
[root@rac1 ~]# /sbin/service ntpd stop
Shutting down ntpd: [ OK ]
[root@rac1 ~]# chkconfig ntpd off
[root@rac1 ~]# mv /etc/ntp.conf /etc/ntp.conf.original
[root@rac1 ~]# chkconfig ntpd --list
ntpd 0:off 1:off 2:off 3:off 4:off 5:off 6:off
[root@rac2 ~]# /sbin/service ntpd stop
Shutting down ntpd: [ OK ]
[root@rac2 ~]# chkconfig ntpd off
[root@rac2 ~]# mv /etc/ntp.conf /etc/ntp.conf.original
[root@rac2 ~]# chkconfig ntpd --list
ntpd 0:off 1:off 2:off 3:off 4:off 5:off 6:off
还要删除以下文件：
rm /var/run/ntpd.pid
此文件保存了 NTP 后台程序的 pid。
在安装后，要确认 ctssd 处于活动状态，用 grid 所有者输入以下命令：
[grid@racnode1 ~]$ crsctl check ctss
CRS-4701: The Cluster Time Synchronization Service is in Active mode.
CRS-4702: Offset (in msec): 0
4、配置SSH等效性
分别以grid oracle 建立2次
grid 用户
su - grid
m1:/home/grid$ ssh-keygen
Generating public/private rsa key pair.
Enter file in which to save the key (/home/grid/.ssh/id_rsa):
Created directory '/home/grid/.ssh'.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /home/grid/.ssh/id_rsa.
Your public key has been saved in /home/grid/.ssh/id_rsa.pub.
The key fingerprint is:
60:9b:fe:65:82:85:44:8d:20:a3:a5:16:54:21:11:72 grid@m1
m1:/home/grid$
公网:
m1:/home/grid$ echo ~
/home/grid
是公钥
下面讲公钥拷贝到3台机器： m1 m2 m3
m1:/home/grid$ ssh-copy-id -i /home/grid/.ssh/id_rsa.pub m1
26 ID
The authenticity of host 'm1 (172.16.15.101)' can't be established.
RSA key fingerprint is 94:cd:c2:8b:08:75:c4:e0:b6:9a:be:93:1b:7e:68:51.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'm1,172.16.15.101' (RSA) to the list of known hosts.
grid@m1's password:
Now try logging into the machine, with "ssh 'm1'", and check in:
.ssh/authorized_keys -------------
to make sure we haven't added extra keys that you weren't expecting.
-----------------------------------说明攻了了
m1:/home/grid$ssh-copy-id -i /home/grid/.ssh/id_rsa.pub m2
26
The authenticity of host 'm2 (172.16.15.102)' can't be established.
RSA key fingerprint is 94:cd:c2:8b:08:75:c4:e0:b6:9a:be:93:1b:7e:68:51.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'm2,172.16.15.102' (RSA) to the list of known hosts.
grid@m2's password:
Now try logging into the machine, with "ssh 'm2'", and check in:
.ssh/authorized_keys
to make sure we haven't added extra keys that you weren't expecting.
m1:/home/grid$ssh-copy-id -i /home/grid/.ssh/id_rsa.pub m3
26
The authenticity of host 'm3 (172.16.15.103)' can't be established.
RSA key fingerprint is 94:cd:c2:8b:08:75:c4:e0:b6:9a:be:93:1b:7e:68:51.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'm3,172.16.15.103' (RSA) to the list of known hosts.
grid@m3's password:
Now try logging into the machine, with "ssh 'm3'", and check in:
.ssh/authorized_keys
to make sure we haven't added extra keys that you weren't expecting.
私网
m1:/home/grid$ssh-copy-id -i /home/grid/.ssh/id_rsa.pub m1-priv
26
The authenticity of host 'm1-priv (10.11.11.1)' can't be established.
RSA key fingerprint is 94:cd:c2:8b:08:75:c4:e0:b6:9a:be:93:1b:7e:68:51.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'm1-priv,10.11.11.1' (RSA) to the list of known hosts.
Now try logging into the machine, with "ssh 'm1-priv'", and check in:
.ssh/authorized_keys
to make sure we haven't added extra keys that you weren't expecting.
m1:/home/grid$ssh-copy-id -i /home/grid/.ssh/id_rsa.pub m2-priv
26
The authenticity of host 'm2-priv (10.11.11.2)' can't be established.
RSA key fingerprint is 94:cd:c2:8b:08:75:c4:e0:b6:9a:be:93:1b:7e:68:51.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'm2-priv,10.11.11.2' (RSA) to the list of known hosts.
Now try logging into the machine, with "ssh 'm2-priv'", and check in:
.ssh/authorized_keys
to make sure we haven't added extra keys that you weren't expecting.
m1:/home/grid$ssh-copy-id -i /home/grid/.ssh/id_rsa.pub m3-priv
26
The authenticity of host 'm3-priv (10.11.11.3)' can't be established.
RSA key fingerprint is 94:cd:c2:8b:08:75:c4:e0:b6:9a:be:93:1b:7e:68:51.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'm3-priv,10.11.11.3' (RSA) to the list of known hosts.
Now try logging into the machine, with "ssh 'm3-priv'", and check in:
.ssh/authorized_keys
to make sure we haven't added extra keys that you weren't expecting.
测试
m1:/home/grid$ssh m1 date;ssh m2 date; ssh m3 date
Thu Oct 10 11:50:50 CST 2013
Thu Oct 10 11:50:50 CST 2013
Thu Oct 10 11:50:50 CST 2013
m1:/home/grid$ssh m1-priv date;ssh m2-priv date; ssh m3-priv date
Thu Oct 10 11:57:40 CST 2013
Thu Oct 10 11:57:40 CST 2013
Thu Oct 10 11:57:40 CST 2013
这个不能拷贝只能 每台都建立
oracle 用户 我就粘贴了 一样的。
这样还没有配置完美
1）SSH会有一个LoginGraceTime的概念，是指ssh登录到对端，不做任何操作的时间，如果超过该时间，则自动断开ssh连接。那么在oracle安装的过程中，需要把该参数设置为“0”，也就是说，不让该功能生效。以免在安装的过程中出错。
用root修改/etc/ssh/sshd_config文件，找到LoginGraceTime字样：
LoginGraceTime 0
#PermitRootLogin yes
#StrictModes yes
将前面的“#”去掉，后面的数字设置为“0”即可。
安装Grid软件：
1、 准备 软件包
oracle官网上有下载
p10404530_112030_Linux-x86-64_1of7
p10404530_112030_Linux-x86-64_2of7
p10404530_112030_Linux-x86-64_3of7 -----grid软件
FTP工具上传到一台主机上就可以了。我上传到m1
上传grid 1 分 oracle软件2分
M1 上
mkdir /tmp/soft
unzip /tmp/soft/ p10404530_112030_Linux-x86-64_3of7
安装cvuqdisk包并验证
在两个 Oracle RAC 节点上安装操作系统程序包 cvuqdisk。如果没有
cvuqdisk，集群验证实用程序就无法发现共享磁盘，当运行（手动运行或在 Oracle Grid
Infrastructure 安装结束时自动运行）集群验证实用程序时，您会收到这样的错误消息：“Package
cvuqdisk not installed”。使用适用于您的硬件体系结构（例如，x86_64 或 i386）的 cvuqdisk RPM。
检查这个包在不：
m1:/home/grid$ls /tmp/soft/grid/rpm/cvuqdisk-1.0.9-1.rpm
/tmp/soft/grid/rpm/cvuqdisk-1.0.9-1.rpm
需要将这个包 拷贝到m2 m3上因为是以便发现磁盘。
看见没有不能使用grid用户安装rpm
m1:/home/grid$rpm -ivh /tmp/soft/grid/rpm/cvuqdisk-1.0.9-1.rpm
error: can't create transaction lock on /var/lib/rpm/__db.000
root用户
需要拷贝这个
m1:/home/grid$scp /tmp/soft/grid/rpm/cvuqdisk-1.0.9-1.rpm m2:/tmp/
cvuqdisk-1.0.9-1.rpm 100% 8551 8.4KB/s 00:00
m1:/home/grid$scp /tmp/soft/grid/rpm/cvuqdisk-1.0.9-1.rpm m3:/tmp/
cvuqdisk-1.0.9-1.rpm 100% 8551 8.4KB/s 00:00
m1:/home/grid$
m2 m3 上都需要（一定要安装啊）
[root@m3 ~]# rpm -ivh /tmp/cvuqdisk-1.0.9-1.rpm
Preparing... ########################################### [100%]
Using default group oinstall to install package
1:cvuqdisk ########################################### [100%]
实行安装检查（非常重要）
我们这里只有DNS没有通过其他的一定要通过。
/tmp/soft/grid/runcluvfy.sh stage –list 查看检查的语法
这句话很重要 建议 记录日志
m1:/home/grid$/tmp/soft/grid/runcluvfy.sh stage -pre crsinst -n m1,m2,m3 -fixup –verbose
环境检查报错
ERROR:
The location "/tmp/CVU_11.2.0.3.0_grid/" is owned by another user on nodes:
m3,m2,m1
Please choose a different work area using CV_DESTLOC
Verification cannot proceed
Pre-check for cluster services setup was unsuccessful on all the nodes.
m1:/tmp/soft/grid$ll
解决：
第一种
以grid用户解压 但是 我没有执行成功
第二种
[root@m1 soft]# ll -l /tmp/soft/
total 3401632
drwxr-xr-x 8 root root 4096 Sep 22 2011 grid
root用户授权
chown -R oracle.oinstall /tmp/soft/
[root@m1 ~]# ll -l /tmp/
total 66192
drwxr-xr-x 3 500 500 4096 Sep 30 06:23 CVU_11.2.0.3.0_grid
drwx------ 2 root root 4096 Oct 10 15:25 gconfd-root
drwxr-xr-x 2 grid oinstall 4096 Oct 14 10:18 hsperfdata_grid
drwx------ 2 root root 4096 Sep 30 02:41 keyring-Q5slL2
drwxr-xr-x 2 500 500 4096 Sep 30 06:23 logs
srwxr-xr-x 1 root root 0 Oct 9 16:57 mapping-root
-rw-r--r-- 1 root root 14176 Oct 9 05:49 oracleasmlib-2.0.4-1.el5.x86_64.rpm
drwxr-xr-x 3 oracle oinstall 4096 Oct 14 09:45 soft
-rw-r--r-- 1 root root 1849173 Oct 9 05:50 unixODBC-2.3.2.tar.gz
drwx------ 2 root root 4096 Sep 30 02:41 virtual-root.aoRYQn
drwxr-xr-x 2 root root 4096 Oct 9 05:55 vmware-config0
drwx------ 2 root root 4096 Oct 13 19:11 vmware-root
-r--r--r-- 1 root root 65792741 Oct 9 01:36 VMwareTools-9.0.0-782409.tar.gz
drwxr-xr-x 7 root root 4096 Jul 15 2012 vmware-tools-distrib
[root@m1 ~]# chown -R grid.oinstall /tmp/CVU_11.2.0.3.0_grid
chown -R grid.oinstall /tmp/logs
看见上面的500 没有 chown 改成 grid.oinstall 就可以了
哈哈 有出错了 这个机器上m1 上检查通过 m2 m3 同样要改哈
[root@m2 ~]# chown -R grid.oinstall /tmp/CVU_11.2.0.3.0_grid/
[root@m2 ~]# chown -R grid.oinstall /tmp/logs/
再次执行环境检查
错误：
ERROR:
以下节点上的位置 "/tmp/CVU_11.2.0.3.0_grid/" 为其他用户所拥有:
m3,m2
[root@m2 ~]# ll /tmp/
total 64384
drwxr-xr-x 3 oracle oinstall 4096 Sep 30 06:23 CVU_11.2.0.3.0_grid
-rwxr-xr-x 1 grid oinstall 8551 Oct 14 10:05 cvuqdisk-1.0.9-1.rpm
drwx------ 2 root root 4096 Oct 11 09:16 gconfd-root
drwx------ 2 root root 4096 Sep 30 02:41 keyring-Q5slL2
drwxr-xr-x 2 oracle oinstall 4096 Sep 30 06:23 logs
srwxr-xr-x 1 root root 0 Oct 9 08:19 mapping-root
-rw-r--r-- 1 root root 14176 Oct 10 02:04 oracleasmlib-2.0.4-1.el5.x86_64.rpm
srw------- 1 root root 0 Oct 9 08:19 scim-panel-socket:0-root
drwx------ 2 root root 4096 Sep 30 02:41 virtual-root.aoRYQn
drwxr-xr-x 2 root root 4096 Oct 10 02:10 vmware-config0
drwx------ 2 root root 4096 Oct 11 09:26 vmware-root
-r--r--r-- 1 root root 65792741 Oct 10 01:49 VMwareTools-9.0.0-782409.tar.gz
drwxr-xr-x 7 root root 4096 Jul 15 2012 vmware-tools-distrib
[root@m2 ~]#
哈哈 环境检查的强大了吧 呵呵
logout
[root@m1 soft]# chown -R grid.oinstall /tmp/CVU_11.2.0.3.0_grid/
[root@m1 soft]# chown -R grid.oinstall /tmp/soft/
[root@m1 soft]# chown -R grid.oinstall /tmp/logs
[root@m1 soft]# ll /tmp/logs/
环境检查文件
[root@m1 soft]# LANG=zh_CN
[root@m1 soft]# su - grid
m1:/home/grid$LANG=zh_CN
m1:/home/grid$/tmp/soft/grid/runcluvfy.sh stage -pre crsinst -n m1,m2,m3 -fixup -verbose
执行 集群服务设置 的预检查
正在检查节点的可访问性...
检查: 节点 "m1" 的节点可访问性
目标节点 是否可访问?
------------------------------------ ------------------------
m3 是
m2 是
m1 是
结果:节点 "m1" 的节点可访问性检查已通过
正在检查等同用户...
检查: 用户 "grid" 的等同用户
节点名 状态
------------------------------------ ------------------------
m3 通过
m2 通过
m1 通过
结果:用户 "grid" 的等同用户检查已通过
正在检查节点连接性...
正在检查主机配置文件...
节点名 状态
------------------------------------ ------------------------
m3 通过
m2 通过
m1 通过
主机配置文件的验证成功
节点 "m3" 的接口信息
名称 IP 地址 子网 网关 默认网关 HW 地址 MTU
------ --------------- --------------- --------------- --------------- ----------------- ------
eth0 172.16.15.103 172.16.14.0 0.0.0.0 172.16.14.1 00:50:56:A8:5F:82 1500
eth1 10.11.11.3 10.11.11.0 0.0.0.0 172.16.14.1 00:50:56:A8:37:C7 1500
节点 "m2" 的接口信息
名称 IP 地址 子网 网关 默认网关 HW 地址 MTU
------ --------------- --------------- --------------- --------------- ----------------- ------
eth0 172.16.15.102 172.16.14.0 0.0.0.0 172.16.14.1 00:50:56:A8:41:9D 1500
eth1 10.11.11.2 10.11.11.0 0.0.0.0 172.16.14.1 00:50:56:A8:15:18 1500
节点 "m1" 的接口信息
名称 IP 地址 子网 网关 默认网关 HW 地址 MTU
------ --------------- --------------- --------------- --------------- ----------------- ------
eth1 10.11.11.1 10.11.11.0 0.0.0.0 172.16.14.1 00:50:56:A8:46:F8 1500
eth0 172.16.15.101 172.16.14.0 0.0.0.0 172.16.14.1 00:50:56:A8:7F:AC 1500
检查: 子网 "172.16.14.0" 的节点连接性
源 目标 是否已连接?
------------------------------ ------------------------------ ----------------
m3[172.16.15.103] m2[172.16.15.102] 是
m3[172.16.15.103] m1[172.16.15.101] 是
m2[172.16.15.102] m1[172.16.15.101] 是
结果:含有节点 m3,m2,m1 的子网 "172.16.14.0" 的节点连接性检查已通过
检查: 子网 "172.16.14.0" 的 TCP 连接性
源 目标 是否已连接?
------------------------------ ------------------------------ ----------------
m1:172.16.15.101 m3:172.16.15.103 通过
m1:172.16.15.101 m2:172.16.15.102 通过
结果:子网 "172.16.14.0" 的 TCP 连接性检查通过
检查: 子网 "10.11.11.0" 的节点连接性
源 目标 是否已连接?
------------------------------ ------------------------------ ----------------
m3[10.11.11.3] m2[10.11.11.2] 是
m3[10.11.11.3] m1[10.11.11.1] 是
m2[10.11.11.2] m1[10.11.11.1] 是
结果:含有节点 m3,m2,m1 的子网 "10.11.11.0" 的节点连接性检查已通过
检查: 子网 "10.11.11.0" 的 TCP 连接性
源 目标 是否已连接?
------------------------------ ------------------------------ ----------------
m1:10.11.11.1 m3:10.11.11.3 通过
m1:10.11.11.1 m2:10.11.11.2 通过
结果:子网 "10.11.11.0" 的 TCP 连接性检查通过
在子网 "172.16.14.0" 上找到的很可能是用于 VIP 的候选接口的接口为:
m3 eth0:172.16.15.103
m2 eth0:172.16.15.102
m1 eth0:172.16.15.101
在子网 "10.11.11.0" 上找到的很可能是用于专用互连的候选接口的接口为:
m3 eth1:10.11.11.3
m2 eth1:10.11.11.2
m1 eth1:10.11.11.1
正在检查子网掩码一致性...
子网 "172.16.14.0" 的子网掩码一致性检查已通过。
子网 "10.11.11.0" 的子网掩码一致性检查已通过。
子网掩码一致性检查已通过。
结果:节点连接性检查已通过
正在检查多点传送通信...
正在检查子网 "172.16.14.0" 是否能够与多点传送组 "230.0.1.0" 进行多点传送通信...
子网 "172.16.14.0" 是否能够与多点传送组 "230.0.1.0" 进行多点传送通信的检查已通过。
正在检查子网 "10.11.11.0" 是否能够与多点传送组 "230.0.1.0" 进行多点传送通信...
子网 "10.11.11.0" 是否能够与多点传送组 "230.0.1.0" 进行多点传送通信的检查已通过。
多点传送通信检查已通过。
检查 ASMLib 配置。
节点名 状态
------------------------------------ ------------------------
m3 通过
m2 通过
m1 通过
结果:ASMLib 配置检查通过。
检查: 内存总量
节点名 可用 必需 状态
------------ ------------------------ ------------------------ ----------
m3 7.814GB (8193556.0KB) 1.5GB (1572864.0KB) 通过
m2 7.814GB (8193556.0KB) 1.5GB (1572864.0KB) 通过
m1 7.814GB (8193556.0KB) 1.5GB (1572864.0KB) 通过
结果:内存总量 检查已通过
检查: 可用内存
节点名 可用 必需 状态
------------ ------------------------ ------------------------ ----------
m3 7.5255GB (7891008.0KB) 50MB (51200.0KB) 通过
m2 7.5225GB (7887912.0KB) 50MB (51200.0KB) 通过
m1 7.2357GB (7587180.0KB) 50MB (51200.0KB) 通过
结果:可用内存 检查已通过
检查: 交换空间
节点名 可用 必需 状态
------------ ------------------------ ------------------------ ----------
m3 9.75GB (1.0223612E7KB) 7.814GB (8193556.0KB) 通过
m2 9.75GB (1.0223612E7KB) 7.814GB (8193556.0KB) 通过
m1 9.75GB (1.0223612E7KB) 7.814GB (8193556.0KB) 通过
结果:交换空间 检查已通过
检查: "m3:/tmp" 的 空闲磁盘空间
路径 节点名 装载点 可用 必需 状态
---------------- ------------ ------------ ------------ ------------ ------------
/tmp m3 / 57.6543GB 1GB 通过
结果:"m3:/tmp" 的 空闲磁盘空间 检查已通过
检查: "m2:/tmp" 的 空闲磁盘空间
路径 节点名 装载点 可用 必需 状态
---------------- ------------ ------------ ------------ ------------ ------------
/tmp m2 / 57.6543GB 1GB 通过
结果:"m2:/tmp" 的 空闲磁盘空间 检查已通过
检查: "m1:/tmp" 的 空闲磁盘空间
路径 节点名 装载点 可用 必需 状态
---------------- ------------ ------------ ------------ ------------ ------------
/tmp m1 / 53.1924GB 1GB 通过
结果:"m1:/tmp" 的 空闲磁盘空间 检查已通过
检查: "grid" 的 用户存在性
节点名 状态 注释
------------ ------------------------ ------------------------
m3 通过 存在(502)
m2 通过 存在(502)
m1 通过 存在(502)
检查 UID 值为 502 的多个用户
结果:对 UID 值为 502 的多个用户进行的检查已通过
结果:"grid" 的 用户存在性 检查已通过
检查: "oinstall" 的 组存在性
节点名 状态 注释
------------ ------------------------ ------------------------
m3 通过 存在
m2 通过 存在
m1 通过 存在
结果:"oinstall" 的 组存在性 检查已通过
检查: "dba" 的 组存在性
节点名 状态 注释
------------ ------------------------ ------------------------
m3 通过 存在
m2 通过 存在
m1 通过 存在
结果:"dba" 的 组存在性 检查已通过
检查: 组 "oinstall" 中用户 "grid" 的成员资格 [作为 主]
节点名 用户存在 组存在 组中的用户 主 状态
---------------- ------------ ------------ ------------ ------------ ------------
m3 是 是 是 是 通过
m2 是 是 是 是 通过
m1 是 是 是 是 通过
结果:组 "oinstall" 中用户 "grid" 的成员资格检查 [作为 主] 已通过
检查: 组 "dba" 中用户 "grid" 的成员资格
节点名 用户存在 组存在 组中的用户 状态
---------------- ------------ ------------ ------------ ----------------
m3 是 是 是 通过
m2 是 是 是 通过
m1 是 是 是 通过
结果:组 "dba" 中用户 "grid" 的成员资格检查已通过
检查: 运行级别
节点名 运行级别 必需 状态
------------ ------------------------ ------------------------ ----------
m3 5 3,5 通过
m2 5 3,5 通过
m1 5 3,5 通过
结果:运行级别 检查已通过
检查: "打开的文件描述符的最大数" 的 硬性限制
节点名 类型 可用 必需 状态
---------------- ------------ ------------ ------------ ----------------
m3 硬性 262144 65536 通过
m2 硬性 262144 65536 通过
m1 硬性 262144 65536 通过
结果:"打开的文件描述符的最大数" 的 硬性限制 检查已通过
检查: "打开的文件描述符的最大数" 的 软性限制
节点名 类型 可用 必需 状态
---------------- ------------ ------------ ------------ ----------------
m3 软性 4096 1024 通过
m2 软性 4096 1024 通过
m1 软性 4096 1024 通过
结果:"打开的文件描述符的最大数" 的 软性限制 检查已通过
检查: "最大用户进程数" 的 硬性限制
节点名 类型 可用 必需 状态
---------------- ------------ ------------ ------------ ----------------
m3 硬性 65536 16384 通过
m2 硬性 65536 16384 通过
m1 硬性 65536 16384 通过
结果:"最大用户进程数" 的 硬性限制 检查已通过
检查: "最大用户进程数" 的 软性限制
节点名 类型 可用 必需 状态
---------------- ------------ ------------ ------------ ----------------
m3 软性 8188 2047 通过
m2 软性 8188 2047 通过
m1 软性 8188 2047 通过
结果:"最大用户进程数" 的 软性限制 检查已通过
检查: 系统体系结构
节点名 可用 必需 状态
------------ ------------------------ ------------------------ ----------
m3 x86_64 x86_64 通过
m2 x86_64 x86_64 通过
m1 x86_64 x86_64 通过
结果:系统体系结构 检查已通过
检查: 内核版本
节点名 可用 必需 状态
------------ ------------------------ ------------------------ ----------
m3 2.6.39-300.26.1.el5uek 2.6.18 通过
m2 2.6.39-300.26.1.el5uek 2.6.18 通过
m1 2.6.39-300.26.1.el5uek 2.6.18 通过
结果:内核版本 检查已通过
检查: "semmsl" 的 内核参数
节点名 当前值 已配置 必需 状态 注释
---------------- ------------ ------------ ------------ ------------ ------------
m3 1250 1250 250 通过
m2 1250 1250 250 通过
m1 1250 1250 250 通过
结果:"semmsl" 的 内核参数 检查已通过
检查: "semmns" 的 内核参数
节点名 当前值 已配置 必需 状态 注释
---------------- ------------ ------------ ------------ ------------ ------------
m3 640000 640000 32000 通过
m2 640000 640000 32000 通过
m1 640000 640000 32000 通过
结果:"semmns" 的 内核参数 检查已通过
检查: "semopm" 的 内核参数
节点名 当前值 已配置 必需 状态 注释
---------------- ------------ ------------ ------------ ------------ ------------
m3 1250 1250 100 通过
m2 1250 1250 100 通过
m1 1250 1250 100 通过
结果:"semopm" 的 内核参数 检查已通过
检查: "semmni" 的 内核参数
节点名 当前值 已配置 必需 状态 注释
---------------- ------------ ------------ ------------ ------------ ------------
m3 512 512 128 通过
m2 512 512 128 通过
m1 512 512 128 通过
结果:"semmni" 的 内核参数 检查已通过
检查: "shmmax" 的 内核参数
节点名 当前值 已配置 必需 状态 注释
---------------- ------------ ------------ ------------ ------------ ------------
m3 68719476736 68719476736 4195100672 通过
m2 68719476736 68719476736 4195100672 通过
m1 68719476736 68719476736 4195100672 通过
结果:"shmmax" 的 内核参数 检查已通过
检查: "shmmni" 的 内核参数
节点名 当前值 已配置 必需 状态 注释
---------------- ------------ ------------ ------------ ------------ ------------
m3 4096 4096 4096 通过
m2 4096 4096 4096 通过
m1 4096 4096 4096 通过
结果:"shmmni" 的 内核参数 检查已通过
检查: "shmall" 的 内核参数
节点名 当前值 已配置 必需 状态 注释
---------------- ------------ ------------ ------------ ------------ ------------
m3 4294967296 4294967296 2097152 通过
m2 4294967296 4294967296 2097152 通过
m1 4294967296 4294967296 2097152 通过
结果:"shmall" 的 内核参数 检查已通过
检查: "file-max" 的 内核参数
节点名 当前值 已配置 必需 状态 注释
---------------- ------------ ------------ ------------ ------------ ------------
m3 6815744 6815744 6815744 通过
m2 6815744 6815744 6815744 通过
m1 6815744 6815744 6815744 通过
结果:"file-max" 的 内核参数 检查已通过
检查: "ip_local_port_range" 的 内核参数
节点名 当前值 已配置 必需 状态 注释
---------------- ------------ ------------ ------------ ------------ ------------
m3 between 9000.0 & 65500.0 between 9000.0 & 65500.0 between 9000.0 & 65500.0 通过
m2 between 9000.0 & 65500.0 between 9000.0 & 65500.0 between 9000.0 & 65500.0 通过
m1 between 9000.0 & 65500.0 between 9000.0 & 65500.0 between 9000.0 & 65500.0 通过
结果:"ip_local_port_range" 的 内核参数 检查已通过
检查: "rmem_default" 的 内核参数
节点名 当前值 已配置 必需 状态 注释
---------------- ------------ ------------ ------------ ------------ ------------
m3 4194304 4194304 262144 通过
m2 4194304 4194304 262144 通过
m1 4194304 4194304 262144 通过
结果:"rmem_default" 的 内核参数 检查已通过
检查: "rmem_max" 的 内核参数
节点名 当前值 已配置 必需 状态 注释
---------------- ------------ ------------ ------------ ------------ ------------
m3 4194304 4194304 4194304 通过
m2 4194304 4194304 4194304 通过
m1 4194304 4194304 4194304 通过
结果:"rmem_max" 的 内核参数 检查已通过
检查: "wmem_default" 的 内核参数
节点名 当前值 已配置 必需 状态 注释
---------------- ------------ ------------ ------------ ------------ ------------
m3 4194304 4194304 262144 通过
m2 4194304 4194304 262144 通过
m1 4194304 4194304 262144 通过
结果:"wmem_default" 的 内核参数 检查已通过
检查: "wmem_max" 的 内核参数
节点名 当前值 已配置 必需 状态 注释
---------------- ------------ ------------ ------------ ------------ ------------
m3 4194304 4194304 1048576 通过
m2 4194304 4194304 1048576 通过
m1 4194304 4194304 1048576 通过
结果:"wmem_max" 的 内核参数 检查已通过
检查: "aio-max-nr" 的 内核参数
节点名 当前值 已配置 必需 状态 注释
---------------- ------------ ------------ ------------ ------------ ------------
m3 6815744 6815744 1048576 通过
m2 6815744 6815744 1048576 通过
m1 6815744 6815744 1048576 通过
结果:"aio-max-nr" 的 内核参数 检查已通过
检查: "make" 的 包存在性
节点名 可用 必需 状态
------------ ------------------------ ------------------------ ----------
m3 make-3.81-3.el5 make-3.81 通过
m2 make-3.81-3.el5 make-3.81 通过
m1 make-3.81-3.el5 make-3.81 通过
结果:"make" 的 包存在性 检查已通过
检查: "binutils" 的 包存在性
节点名 可用 必需 状态
------------ ------------------------ ------------------------ ----------
m3 binutils-2.17.50.0.6-20.el5_8.3 binutils-2.17.50.0.6 通过
m2 binutils-2.17.50.0.6-20.el5_8.3 binutils-2.17.50.0.6 通过
m1 binutils-2.17.50.0.6-20.el5_8.3 binutils-2.17.50.0.6 通过
结果:"binutils" 的 包存在性 检查已通过
检查: "gcc(x86_64)" 的 包存在性
节点名 可用 必需 状态
------------ ------------------------ ------------------------ ----------
m3 gcc(x86_64)-4.1.2-54.el5 gcc(x86_64)-4.1.2 通过
m2 gcc(x86_64)-4.1.2-54.el5 gcc(x86_64)-4.1.2 通过
m1 gcc(x86_64)-4.1.2-54.el5 gcc(x86_64)-4.1.2 通过
结果:"gcc(x86_64)" 的 包存在性 检查已通过
检查: "libaio(x86_64)" 的 包存在性
节点名 可用 必需 状态
------------ ------------------------ ------------------------ ----------
m3 libaio(x86_64)-0.3.106-5 libaio(x86_64)-0.3.106 通过
m2 libaio(x86_64)-0.3.106-5 libaio(x86_64)-0.3.106 通过
m1 libaio(x86_64)-0.3.106-5 libaio(x86_64)-0.3.106 通过
结果:"libaio(x86_64)" 的 包存在性 检查已通过
检查: "glibc(x86_64)" 的 包存在性
节点名 可用 必需 状态
------------ ------------------------ ------------------------ ----------
m3 glibc(x86_64)-2.5-107 glibc(x86_64)-2.5-24 通过
m2 glibc(x86_64)-2.5-107 glibc(x86_64)-2.5-24 通过
m1 glibc(x86_64)-2.5-107 glibc(x86_64)-2.5-24 通过
结果:"glibc(x86_64)" 的 包存在性 检查已通过
检查: "compat-libstdc++-33(x86_64)" 的 包存在性
节点名 可用 必需 状态
------------ ------------------------ ------------------------ ----------
m3 compat-libstdc++-33(x86_64)-3.2.3-61 compat-libstdc++-33(x86_64)-3.2.3 通过
m2 compat-libstdc++-33(x86_64)-3.2.3-61 compat-libstdc++-33(x86_64)-3.2.3 通过
m1 compat-libstdc++-33(x86_64)-3.2.3-61 compat-libstdc++-33(x86_64)-3.2.3 通过
结果:"compat-libstdc++-33(x86_64)" 的 包存在性 检查已通过
检查: "elfutils-libelf(x86_64)" 的 包存在性
节点名 可用 必需 状态
------------ ------------------------ ------------------------ ----------
m3 elfutils-libelf(x86_64)-0.137-3.el5 elfutils-libelf(x86_64)-0.125 通过
m2 elfutils-libelf(x86_64)-0.137-3.el5 elfutils-libelf(x86_64)-0.125 通过
m1 elfutils-libelf(x86_64)-0.137-3.el5 elfutils-libelf(x86_64)-0.125 通过
结果:"elfutils-libelf(x86_64)" 的 包存在性 检查已通过
检查: "elfutils-libelf-devel" 的 包存在性
节点名 可用 必需 状态
------------ ------------------------ ------------------------ ----------
m3 elfutils-libelf-devel-0.137-3.el5 elfutils-libelf-devel-0.125 通过
m2 elfutils-libelf-devel-0.137-3.el5 elfutils-libelf-devel-0.125 通过
m1 elfutils-libelf-devel-0.137-3.el5 elfutils-libelf-devel-0.125 通过
WARNING:
PRVF-7584 : 在节点 m3 上找到多个版本的程序包 "elfutils-libelf-devel": elfutils-libelf-devel(x86_64)-0.137-3.el5,elfutils-libelf-devel(i386)-0.137-3.el5
WARNING:
PRVF-7584 : 在节点 m2 上找到多个版本的程序包 "elfutils-libelf-devel": elfutils-libelf-devel(x86_64)-0.137-3.el5,elfutils-libelf-devel(i386)-0.137-3.el5
WARNING:
PRVF-7584 : 在节点 m1 上找到多个版本的程序包 "elfutils-libelf-devel": elfutils-libelf-devel(x86_64)-0.137-3.el5,elfutils-libelf-devel(i386)-0.137-3.el5
结果:"elfutils-libelf-devel" 的 包存在性 检查已通过
检查: "glibc-common" 的 包存在性
节点名 可用 必需 状态
------------ ------------------------ ------------------------ ----------
m3 glibc-common-2.5-107 glibc-common-2.5 通过
m2 glibc-common-2.5-107 glibc-common-2.5 通过
m1 glibc-common-2.5-107 glibc-common-2.5 通过
结果:"glibc-common" 的 包存在性 检查已通过
检查: "glibc-devel(x86_64)" 的 包存在性
节点名 可用 必需 状态
------------ ------------------------ ------------------------ ----------
m3 glibc-devel(x86_64)-2.5-107 glibc-devel(x86_64)-2.5 通过
m2 glibc-devel(x86_64)-2.5-107 glibc-devel(x86_64)-2.5 通过
m1 glibc-devel(x86_64)-2.5-107 glibc-devel(x86_64)-2.5 通过
结果:"glibc-devel(x86_64)" 的 包存在性 检查已通过
检查: "glibc-headers" 的 包存在性
节点名 可用 必需 状态
------------ ------------------------ ------------------------ ----------
m3 glibc-headers-2.5-107 glibc-headers-2.5 通过
m2 glibc-headers-2.5-107 glibc-headers-2.5 通过
m1 glibc-headers-2.5-107 glibc-headers-2.5 通过
结果:"glibc-headers" 的 包存在性 检查已通过
检查: "gcc-c++(x86_64)" 的 包存在性
节点名 可用 必需 状态
------------ ------------------------ ------------------------ ----------
m3 gcc-c++(x86_64)-4.1.2-54.el5 gcc-c++(x86_64)-4.1.2 通过
m2 gcc-c++(x86_64)-4.1.2-54.el5 gcc-c++(x86_64)-4.1.2 通过
m1 gcc-c++(x86_64)-4.1.2-54.el5 gcc-c++(x86_64)-4.1.2 通过
结果:"gcc-c++(x86_64)" 的 包存在性 检查已通过
检查: "libaio-devel(x86_64)" 的 包存在性
节点名 可用 必需 状态
------------ ------------------------ ------------------------ ----------
m3 libaio-devel(x86_64)-0.3.106-5 libaio-devel(x86_64)-0.3.106 通过
m2 libaio-devel(x86_64)-0.3.106-5 libaio-devel(x86_64)-0.3.106 通过
m1 libaio-devel(x86_64)-0.3.106-5 libaio-devel(x86_64)-0.3.106 通过
结果:"libaio-devel(x86_64)" 的 包存在性 检查已通过
检查: "libgcc(x86_64)" 的 包存在性
节点名 可用 必需 状态
------------ ------------------------ ------------------------ ----------
m3 libgcc(x86_64)-4.1.2-54.el5 libgcc(x86_64)-4.1.2 通过
m2 libgcc(x86_64)-4.1.2-54.el5 libgcc(x86_64)-4.1.2 通过
m1 libgcc(x86_64)-4.1.2-54.el5 libgcc(x86_64)-4.1.2 通过
结果:"libgcc(x86_64)" 的 包存在性 检查已通过
检查: "libstdc++(x86_64)" 的 包存在性
节点名 可用 必需 状态
------------ ------------------------ ------------------------ ----------
m3 libstdc++(x86_64)-4.1.2-54.el5 libstdc++(x86_64)-4.1.2 通过
m2 libstdc++(x86_64)-4.1.2-54.el5 libstdc++(x86_64)-4.1.2 通过
m1 libstdc++(x86_64)-4.1.2-54.el5 libstdc++(x86_64)-4.1.2 通过
结果:"libstdc++(x86_64)" 的 包存在性 检查已通过
检查: "libstdc++-devel(x86_64)" 的 包存在性
节点名 可用 必需 状态
------------ ------------------------ ------------------------ ----------
m3 libstdc++-devel(x86_64)-4.1.2-54.el5 libstdc++-devel(x86_64)-4.1.2 通过
m2 libstdc++-devel(x86_64)-4.1.2-54.el5 libstdc++-devel(x86_64)-4.1.2 通过
m1 libstdc++-devel(x86_64)-4.1.2-54.el5 libstdc++-devel(x86_64)-4.1.2 通过
结果:"libstdc++-devel(x86_64)" 的 包存在性 检查已通过
检查: "sysstat" 的 包存在性
节点名 可用 必需 状态
------------ ------------------------ ------------------------ ----------
m3 sysstat-7.0.2-12.0.1.el5 sysstat-7.0.2 通过
m2 sysstat-7.0.2-12.0.1.el5 sysstat-7.0.2 通过
m1 sysstat-7.0.2-12.0.1.el5 sysstat-7.0.2 通过
结果:"sysstat" 的 包存在性 检查已通过
检查: "ksh" 的 包存在性
节点名 可用 必需 状态
------------ ------------------------ ------------------------ ----------
m3 ksh-20100621-12.el5 ksh-20060214 通过
m2 ksh-20100621-12.el5 ksh-20060214 通过
m1 ksh-20100621-12.el5 ksh-20060214 通过
结果:"ksh" 的 包存在性 检查已通过
检查 UID 值为 0 的多个用户
结果:对 UID 值为 0 的多个用户进行的检查已通过
检查: 当前组 ID
结果:当前组 ID 检查已通过
开始检查 root 用户的主要组的一致性
节点名 状态
------------------------------------ ------------------------
m3 通过
m2 通过
m1 通过
已通过 root 用户主要组的一致性检查
正在使用网络时间协议 (NTP) 启动时钟同步检查...
NTP 配置文件检查开始...
NTP 配置文件 "/etc/ntp.conf" 在所有节点上可用
NTP 配置文件检查通过
正在检查守护程序的活动性...
检查: "ntpd" 的活动性
节点名 正在运行?
------------------------------------ ------------------------
m3 是
m2 是
m1 是
结果:"ntpd" 的活动性检查已通过
针对 NTP 守护程序或服务是否活动的检查在所有节点上均已通过
为快速定向选项 "-x" 检查 NTP 守护程序命令行
检查: NTP 守护程序命令行
节点名 是否设置了快速定向选项?
------------------------------------ ------------------------
m3 是
m2 是
m1 是
结果:
NTP 守护程序快速定向选项检查已通过
在文件 "/etc/sysconfig/ntpd" 中为快速定向选项 "-x" 检查 NTP 守护程序的引导时间配置
检查: NTP 守护程序的引导时间配置
节点名 是否设置了快速定向选项?
------------------------------------ ------------------------
m3 是
m2 是
m1 是
结果:
快速定向选项的 NTP 引导程序的引导时间配置检查已通过
检查所有节点上的 NTP 守护程序或服务是否均使用 UDP 端口 123
检查 NTP 守护程序或服务是否正在使用 UDP 端口 123
节点名 端口是否打开?
------------------------------------ ------------------------
m3 是
m2 是
m1 是
NTP 公用时间服务器检查开始...
NTP 时间服务器 "212.26.18.41" 由所有运行 NTP 守护程序的节点公用
NTP 时间服务器 ".LOCL." 由所有运行 NTP 守护程序的节点公用
公用 NTP 时间服务器检查通过
与 NTP 时间服务器的时钟时间偏移量检查开始...
正在节点 "[m3, m2, m1]" 上检查...
检查: 与 NTP 时间服务器的时钟时间偏移量
时间服务器: 212.26.18.41
时间偏移量限制: 1000.0 毫秒
节点名 时间偏移量 状态
------------ ------------------------ ------------------------
m3 6.589 通过
m2 5.253 通过
m1 0.18 通过
时间服务器 "212.26.18.41" 的时间偏移量在节点 "[m3, m2, m1]" 允许的限制内。
时间服务器: .LOCL.
时间偏移量限制: 1000.0 毫秒
节点名 时间偏移量 状态
------------ ------------------------ ------------------------
m3 0.0 通过
m2 0.0 通过
m1 0.0 通过
时间服务器 ".LOCL." 的时间偏移量在节点 "[m3, m2, m1]" 允许的限制内。
时钟时间偏移量检查通过
结果:使用网络时间协议 (NTP) 进行时钟同步检查通过
正在检查核心文件名模式一致性...
核心文件名模式一致性检查已通过。
检查以确保用户 "grid" 不在 "root" 组中
节点名 状态 注释
------------ ------------------------ ------------------------
m3 通过 不存在
m2 通过 不存在
m1 通过 不存在
结果:用户 "grid" 不属于 "root" 组。检查已通过
检查默认用户文件创建掩码
节点名 可用 必需 注释
------------ ------------------------ ------------------------ ----------
m3 0022 0022 通过
m2 0022 0022 通过
m1 0022 0022 通过
结果:默认用户文件创建掩码检查已通过
检查文件 "/etc/resolv.conf" 在节点间的一致性
检查文件 "/etc/resolv.conf" 以确保只定义了 'domain' 和 'search' 条目中的一个
文件 "/etc/resolv.conf" 未同时定义 'domain' 和 'search' 条目
正在检查文件 "/etc/resolv.conf" 中的 'domain' 条目是否在节点间一致...
文件 "/etc/resolv.conf" 中的 'domain' 条目在节点间一致
正在检查文件 "/etc/resolv.conf" 中的 'search' 条目是否在节点间一致...
文件 "/etc/resolv.conf" 中的 'search' 条目在节点间一致
检查文件 "/etc/resolv.conf" 以确保只定义了一个 'search' 条目
所有节点在文件 "/etc/resolv.conf" 中都定义了一个 'search' 条目
检查所有节点以确保 'search' 条目为 "localdomain" (与在节点 "m3" 上找到的一样)
集群的所有节点都具有相同的 'search' 值
检查无法访问节点的 DNS 响应时间
节点名 状态
------------------------------------ ------------------------
m3 失败
m2 失败
m1 失败
PRVF-5636 : 在以下节点上, 无法访问的节点的 DNS 响应时间超过 "15000" 毫秒: m3,m2,m1
文件 "/etc/resolv.conf" 在各节点间不一致
检查: 时区一致性
结果:时区一致性 检查已通过
在所有节点上预检查 集群服务设置 失败。
m1:/home/grid$
上面没有配置DNS所以报错 如果需要还是可以配置鉴于本公司内网就是没有配。
不要理它了 直接上图安装软件
[root@m1 soft]# xhost +
access control disabled, clients can connect from any host
一定要确保能够抓图 上次没有抓图死活解决不了 重装OK
[root@m1 soft]# su - grid
m1:/home/grid$/tmp/soft/grid/runInstalle
这个是笔记不是 我的 但是 可以思考一下
发现有两个failed,一个是ntp,一个是grid用户不在dba组中
oracle11gR2 RAC中使用Cluster Time Synchronization Service(CTSS)同步各节点的时间,当安装程序发现 NTP 协议处于非活动状态时，安装集群时间同步服务将以活动模式自动进行安装并通过所有节点的时间。如果发现配置了 NTP，则以观察者模式 启动集群时间同步服务，Oracle Clusterware 不会在集群中进行活动的时间同步。
使用root用户在node1,node2中执行以下操作,关闭ntp服务,mv配置文件
-------------------r
问题：
我发现不了磁盘在安装到
怀疑一
mkfs.exts 我分外区之后将磁盘格式化为ext3了
1、 新建虚拟机磁盘
2、
3、
4、
5、
6、
6
M2 上
2
3、
4、m3 也同样是一样的 这里你照着看 我不演示了。
5
6、
7、
完了。
m3 的也是这样添加 一样的 我不演示了
注意： 做完这些之后 init 6 重起机器。一定重启
重启之后 ：
fdisk –l 会看到 /dev/sdg sdh
没有被分区 这个时候分区 但是 不要格式化 记住 不要格式化。
如下：
Disk /dev/sdh: 104 MB, 104857600 bytes
64 heads, 32 sectors/track, 100 cylinders
Units = cylinders of 2048 * 512 = 1048576 bytes
Disk /dev/sdh doesn't contain a valid partition table
Disk /dev/sdg: 2147 MB, 2147483648 bytes
255 heads, 63 sectors/track, 261 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk /dev/sdg doesn't contain a valid partition table
对硬盘分区：
只是需要在一个节点就是了 不需要在其他节点做
fdisk /dev/sdg
fdisk /dev/sdh
fdisk –l 查看生成的信息
Disk /dev/sdh: 104 MB, 104857600 bytes
64 heads, 32 sectors/track, 100 cylinders
Units = cylinders of 2048 * 512 = 1048576 bytes
Device Boot Start End Blocks Id System
/dev/sdh1 1 100 102384 83 Linux
Disk /dev/sdg: 2147 MB, 2147483648 bytes
255 heads, 63 sectors/track, 261 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Device Boot Start End Blocks Id System
/dev/sdg1 1 261 2096451 83 Linux
这种方法不成立。
我新建了2个2 G 500M的磁盘但是 还是不行 并且安装网上说的修改路径
/dev/oracleasm/disks/* 还是不能发现磁盘。
分析：
1 检查结果除DNS没有配置之外 其他配置都是OK。如果有问题时通不过CRS检查的
2 ASM磁盘组 主主 属主没有任何问题 如果原来有问题 我新建了还是发现不了 故可以排除
3 我修改磁盘路径 /dev/sd* 不行 我把磁盘绑定为裸设备 使用udev绑定通过裸设备绑定后修改为/dev/raw/* 还是不能发现
这里 udev就是udev不能使用裸设备。
4 Google网上 修改/dev/oracleasm/disks/* 未果 还是发现不了磁盘 根据google 在网上很多都能通过修改磁盘路径/dev/oracleasm/disks/* 来找到oracleasm磁盘组。
5 节点1 节点2 节点3 fdisk –l 都能够发现分区 并且 严格按照asm磁盘组的步骤来的故步骤上可以排除。
6 到底问题在哪里？？？？
1、没有用grid用户解压
2、grid软件有问题--根本原因。
安装grid软件
1、
2
3
4
加选 中文 如果这里是 中文安装界面 那么就自动加选 不用点击添加按钮 直接下一步
5、
6
7
9
10
11
12
报错：
注意：在 11gr2 中
external >= 1
normal >=3
high >=5
我没有选择外部冗余
12
13
14
15
16
17
[root@m3 ~]# mkdir -p /u01/gridsoft/11.2.0
[root@m3 ~]# mkdir -p /u01/gridbase
[root@m3 ~]# chown -R grid:oinstall /u01
[root@m3 ~]# mkdir -p /u01/oracle/11.2.0/db_1
[root@m3 ~]# mkdir -p /u01/app/oracle/
[root@m3 ~]# chown -R oracle:oinstall /u01/app/oracle
[root@m3 ~]# chmod -R 775 /u01
报错
这么解决OK
解决：
chown -R grid:oinstall /u01
Oinstall组
oracle 11.0.2 的bug
| 直接ignore |
root用户
m1
[root@m1 app]# whoami
root
[root@m1 app]# /u01/app/oraInventory/orainstRoot.sh
Changing permissions of /u01/app/oraInventory.
Adding read,write permissions for group.
Removing read,write,execute permissions for world.
Changing groupname of /u01/app/oraInventory to oinstall.
The execution of the script is complete.
[root@m1 app]# /u01/app/grid/11.2.0/root.sh
Performing root user operation for Oracle 11g
The following environment variables are set as:
ORACLE_OWNER= grid
ORACLE_HOME= /u01/app/grid/11.2.0
Enter the full pathname of the local bin directory: [/usr/local/bin]:
Copying dbhome to /usr/local/bin ...
Copying oraenv to /usr/local/bin ...
Copying coraenv to /usr/local/bin ...
Creating /etc/oratab file...
Entries will be added to the /etc/oratab file as needed by
Database Configuration Assistant when a database is created
Finished running generic part of root script.
Now product-specific root actions will be performed.
Using configuration parameter file: /u01/app/grid/11.2.0/crs/install/crsconfig_params
Creating trace directory
User ignored Prerequisites during installation
OLR initialization - successful
root wallet
root wallet cert
root cert export
peer wallet
profile reader wallet
pa wallet
peer wallet keys
pa wallet keys
peer cert request
pa cert request
peer cert
pa cert
peer root cert TP
profile reader root cert TP
pa root cert TP
peer pa cert TP
pa peer cert TP
profile reader pa cert TP
profile reader peer cert TP
peer user cert
pa user cert
Adding Clusterware entries to inittab
CRS-2672: Attempting to start 'ora.mdnsd' on 'm1'
CRS-2676: Start of 'ora.mdnsd' on 'm1' succeeded
CRS-2672: Attempting to start 'ora.gpnpd' on 'm1'
CRS-2676: Start of 'ora.gpnpd' on 'm1' succeeded
CRS-2672: Attempting to start 'ora.cssdmonitor' on 'm1'
CRS-2672: Attempting to start 'ora.gipcd' on 'm1'
CRS-2676: Start of 'ora.cssdmonitor' on 'm1' succeeded
CRS-2676: Start of 'ora.gipcd' on 'm1' succeeded
CRS-2672: Attempting to start 'ora.cssd' on 'm1'
CRS-2672: Attempting to start 'ora.diskmon' on 'm1'
CRS-2676: Start of 'ora.diskmon' on 'm1' succeeded
CRS-2676: Start of 'ora.cssd' on 'm1' succeeded
ASM created and started successfully.
Disk Group OCR created successfully.
clscfg: -install mode specified
Successfully accumulated necessary OCR keys.
Creating OCR keys for user 'root', privgrp 'root'..
Operation successful.
CRS-4256: Updating the profile
Successful addition of voting disk 3c96dd97eed54fa3bf2e9b4852c2c4e9.
Successful addition of voting disk 7c194843150d4fc1bf654a75b41316ba.
Successful addition of voting disk 0af716a4e7fd4ff3bfcd252c665ec8b5.
Successfully replaced voting disk group with +OCR.
CRS-4256: Updating the profile
CRS-4266: Voting file(s) successfully replaced
## STATE File Universal Id File Name Disk group
-- ----- ----------------- --------- ---------
1. ONLINE 3c96dd97eed54fa3bf2e9b4852c2c4e9 (/dev/ocr1) [OCR]
2. ONLINE 7c194843150d4fc1bf654a75b41316ba (/dev/ocr2) [OCR]
3. ONLINE 0af716a4e7fd4ff3bfcd252c665ec8b5 (/dev/asm-disk1) [OCR]
Located 3 voting disk(s).
CRS-2672: Attempting to start 'ora.asm' on 'm1'
CRS-2676: Start of 'ora.asm' on 'm1' succeeded
CRS-2672: Attempting to start 'ora.OCR.dg' on 'm1'
CRS-2676: Start of 'ora.OCR.dg' on 'm1' succeeded
Configure Oracle Grid Infrastructure for a Cluster ... succeeded
[root@m1 app]#
m2 上
[root@m2 ~]# /u01/app/grid/11.2.0/root.sh
Performing root user operation for Oracle 11g
The following environment variables are set as:
ORACLE_OWNER= grid
ORACLE_HOME= /u01/app/grid/11.2.0
Enter the full pathname of the local bin directory: [/usr/local/bin]:
Copying dbhome to /usr/local/bin ...
Copying oraenv to /usr/local/bin ...
Copying coraenv to /usr/local/bin ...
Creating /etc/oratab file...
Entries will be added to the /etc/oratab file as needed by
Database Configuration Assistant when a database is created
Finished running generic part of root script.
Now product-specific root actions will be performed.
Using configuration parameter file: /u01/app/grid/11.2.0/crs/install/crsconfig_params
Creating trace directory
User ignored Prerequisites during installation
OLR initialization - successful
Adding Clusterware entries to inittab
CRS-4402: The CSS daemon was started in exclusive mode but found an active CSS daemon on node m1, number 1, and is terminating
An active cluster was found during exclusive startup, restarting to join the cluster
Configure Oracle Grid Infrastructure for a Cluster ... succeeded
注意
上面的步骤 不一样了
m3上：
[root@m3 u01]# /u01/app/oraInventory/orainstRoot.sh
Changing permissions of /u01/app/oraInventory.
Adding read,write permissions for group.
Removing read,write,execute permissions for world.
Changing groupname of /u01/app/oraInventory to oinstall.
The execution of the script is complete.
[root@m3 u01]# whoami
root
[root@m3 u01]# /u01/app/grid/11.2.0/root.sh
Performing root user operation for Oracle 11g
The following environment variables are set as:
ORACLE_OWNER= grid
ORACLE_HOME= /u01/app/grid/11.2.0
Enter the full pathname of the local bin directory: [/usr/local/bin]:
Copying dbhome to /usr/local/bin ...
Copying oraenv to /usr/local/bin ...
Copying coraenv to /usr/local/bin ...
Creating /etc/oratab file...
Entries will be added to the /etc/oratab file as needed by
Database Configuration Assistant when a database is created
Finished running generic part of root script.
Now product-specific root actions will be performed.
Using configuration parameter file: /u01/app/grid/11.2.0/crs/install/crsconfig_params
Creating trace directory
User ignored Prerequisites during installation
OLR initialization - successful
Adding Clusterware entries to inittab
CRS-4402: The CSS daemon was started in exclusive mode but found an active CSS daemon on node m1, number 1, and is terminating
An active cluster was found during exclusive startup, restarting to join the cluster
Configure Oracle Grid Infrastructure for a Cluster ... succeeded
[root@m3 u01]#
看到我那个success没有
可以点击OK了。
下一步：
INS-20802 Oracle Cluster Verifiacation Utilitity faild
解决：
INS-20802 Oracle Cluster Verification 实用程序失败
问题现象：
Grid安装到最后一步，两边的root脚本也执行完了，撂出个INS-20802错误，从错误现象来看，看不出什么问题，提示查看.log文件。
Log文件内容：
INFO: Checking Single Client Access Name (SCAN)...
INFO: Checking name resolution setup for "SCAN"...
INFO: ERROR:
INFO: PRVF-4664 : Found inconsistent name resolution entries for SCAN name "SCAN"
INFO: ERROR:
INFO: PRVF-4657 : Name resolution setup check for "SCAN" (IP address: 172.16.9.150) failed
INFO: ERROR:
INFO: PRVF-4664 : Found inconsistent name resolution entries for SCAN name "SCAN"
INFO: Verification of SCAN VIP and Listener setup failed
问题分析：
通过参考Metalink[ID 887471]文章得出以下结论：
http://www.prudentwoo.com/archives/730
http://space.itpub.net/?uid-20674423-action-viewspace-itemid-752693
/article/2627979.html
由于配置了/etc/hosts来解析SCAN，导致未走DNS来进行SCAN的解析，爆出此错误，可以考虑忽略掉，或者删除/etc/hosts文件中的SCAN解析部分，并且再次通过nslookup验证DNS的解析是否正常即可。
直接跳过
find / -name crs_stat
[oracle@m1 bin]$ crs_stat -t
Name Type Target State Host
------------------------------------------------------------
ora....ER.lsnr ora....er.type ONLINE ONLINE m1
ora....N1.lsnr ora....er.type ONLINE ONLINE m1
ora.OCR.dg ora....up.type ONLINE ONLINE m1
ora.asm ora.asm.type ONLINE ONLINE m1
ora.cvu ora.cvu.type ONLINE ONLINE m1
ora.gsd ora.gsd.type OFFLINE OFFLINE
ora....SM1.asm application ONLINE ONLINE m1
ora....M1.lsnr application ONLINE ONLINE m1
ora.m1.gsd application OFFLINE OFFLINE
ora.m1.ons application ONLINE ONLINE m1
ora.m1.vip ora....t1.type ONLINE ONLINE m1
ora....SM2.asm application ONLINE ONLINE m2
ora....M2.lsnr application ONLINE ONLINE m2
ora.m2.gsd application OFFLINE OFFLINE
ora.m2.ons application ONLINE ONLINE m2
ora.m2.vip ora....t1.type ONLINE ONLINE m2
ora....SM3.asm application ONLINE ONLINE m3
ora....M3.lsnr application ONLINE ONLINE m3
ora.m3.gsd application OFFLINE OFFLINE
ora.m3.ons application ONLINE ONLINE m3
ora.m3.vip ora....t1.type ONLINE ONLINE m3
ora....network ora....rk.type ONLINE ONLINE m1
ora.oc4j ora.oc4j.type ONLINE ONLINE m1
ora.ons ora.ons.type ONLINE ONLINE m1
ora.scan1.vip ora....ip.type ONLINE ONLINE m1
[oracle@m1 bin]$ srvctl status asm
ASM is running on m1,m3,m2
[oracle@m1 bin]$
[oracle@m1 bin]$ srvctl status asm
ASM is running on m1,m3,m2
说明我的grid软件是安装好的。
二、安装数据库软件
注意必须以oracle用户解压：
到oracle用户目录下：
su - oracle
mkdir aa
upzip p10404530_112030_Linux-x86-64_1of7.zip
upzip p10404530_112030_Linux-x86-64_2of7.zip
上面2个解压到同一目录 aa
cd /home/oracle/aa/database
./runInstaller
1、
去掉勾
3、
问你有没有metalink帐号
跳过软件更新：
4、
只是安装数据库软件 等软件安装好之后才安装 数据库 分开好些 也可以一起
5、
6、
加选中文
7、
8、
9、
解决：
注意 这里授权一下不要和上面安装 grid的目录搞错了
[root@m1 u01]# ll
total 16
drwxr-xr-x 5 root oinstall 4096 Oct 21 16:00 app
drwxr-xr-x 2 grid oinstall 4096 Oct 21 15:00 gridbase
drwxr-xr-x 3 grid oinstall 4096 Oct 21 14:59 gridsoft
drwxr-xr-x 3 grid oinstall 4096 Oct 21 15:00 oracle
[root@m1 u01]# cd oracle/
[root@m1 oracle]# ll
total 4
drwxr-xr-x 3 grid oinstall 4096 Oct 21 15:00 11.2.0
[root@m1 oracle]# cd 11.2.0/
[root@m1 11.2.0]# ll
total 4
drwxr-xr-x 2 grid oinstall 4096 Oct 21 15:00 db_1
[root@m1 11.2.0]# cd db_1/
[root@m1 db_1]# ll
total 0
[root@m1 db_1]# cd ..
3个节点都要改
cd /u01
chown -R oracle.oinstall oracle/
10、
11、
12
12、
哈哈 出现错了
下一步：
PRVG-1101 : SCAN name "rac-scan" failed to resolve
管方说的：
点击yes
下一步：
下一步：
等待
依次执行这个脚本：
m1 m2 m3
m1
[root@m1 ~]# whoami
root
[root@m1 ~]# /u01/oracle/11.2.0/db_1/root.sh
Performing root user operation for Oracle 11g
The following environment variables are set as:
ORACLE_OWNER= oracle
ORACLE_HOME= /u01/oracle/11.2.0/db_1
Enter the full pathname of the local bin directory: [/usr/local/bin]:
The contents of "dbhome" have not changed. No need to overwrite.
The contents of "oraenv" have not changed. No need to overwrite.
The contents of "coraenv" have not changed. No need to overwrite.
Entries will be added to the /etc/oratab file as needed by
Database Configuration Assistant when a database is created
Finished running generic part of root script.
Now product-specific root actions will be performed.
Finished product-specific root actions.
m2
[root@m2 grid]# whoami
root
[root@m2 grid]# /u01/oracle/11.2.0/db_1/root.sh
Performing root user operation for Oracle 11g
The following environment variables are set as:
ORACLE_OWNER= oracle
ORACLE_HOME= /u01/oracle/11.2.0/db_1
Enter the full pathname of the local bin directory: [/usr/local/bin]:
The contents of "dbhome" have not changed. No need to overwrite.
The contents of "oraenv" have not changed. No need to overwrite.
The contents of "coraenv" have not changed. No need to overwrite.
Entries will be added to the /etc/oratab file as needed by
Database Configuration Assistant when a database is created
Finished running generic part of root script.
Now product-specific root actions will be performed.
Finished product-specific root actions.
[root@m2 grid]#
m3
[root@m3 grid]# /u01/oracle/11.2.0/db_1/root.sh
Performing root user operation for Oracle 11g
The following environment variables are set as:
ORACLE_OWNER= oracle
ORACLE_HOME= /u01/oracle/11.2.0/db_1
Enter the full pathname of the local bin directory: [/usr/local/bin]:
The contents of "dbhome" have not changed. No need to overwrite.
The contents of "oraenv" have not changed. No need to overwrite.
The contents of "coraenv" have not changed. No need to overwrite.
Entries will be added to the /etc/oratab file as needed by
Database Configuration Assistant when a database is created
Finished running generic part of root script.
Now product-specific root actions will be performed.
Finished product-specific root actions.
好了 软件安装好了。
五、 创建 ASM 磁盘组
在安装 Clusterware 的时候，会创建 ASM 实例，但是它只创建了一个 CRS 组来安装 OCR 和 Voting
Disk。
在我们继续安装 Oracle 数据库之前，我们需要创建一个 DATA 和 FRA 的 ASM 磁盘组来存放这些文件。
用 grid 用户运行 asmca（ASM Configuration Assistant）命令就可以弹出创建窗口。
在窗口中创建完 DATA 和 FRA 组后，退出窗口即可。
在建库前需要先创建数据文件的ASM磁盘组，以登录，执行asmca命令：
grid用户：
$asmca
弹出如下界面，按规划要求创建好相应的磁盘组：
有些时候 直接运行asmca找不到
root用户find
cd /u01/app/grid/bin/
./asmca
上面那个是我建立好了的安装GI的时候 现在我们的任务是新建
我们选择2G的这个 为什么 用于存放OMF路径。
其他2个是数据盘。各200G。
呵呵 挺顺利的
再来 建立数据盘：
哈哈 可能要报错哦 试试 为什么呢 你猜猜看 呵呵
原来11g 创建asm磁盘组 选择正常冗余 没有任何限制 也不要求有多少块盘。只是 对
GI 正常冗余有要求。
下一步
点击exit 退出 配置菜单
这里要强掉一下 看见 选择 正常冗余 和 外部冗余的区别没有
正常冗余 有是一块一块的换的 不是一起的用的
外部冗余 是所有盘一起换的是一起用的
[grid@m1 bin]$ crs_stat -t
Name Type Target State Host
------------------------------------------------------------
ora.DB.dg ora....up.type ONLINE ONLINE m1
ora.FRA.dg ora....up.type ONLINE ONLINE m1
ora....ER.lsnr ora....er.type ONLINE ONLINE m1
ora....N1.lsnr ora....er.type ONLINE ONLINE m1
ora.OCR.dg ora....up.type ONLINE ONLINE m1
ora.asm ora.asm.type ONLINE ONLINE m1
ora.cvu ora.cvu.type ONLINE ONLINE m1
ora.gsd ora.gsd.type OFFLINE OFFLINE
ora....SM1.asm application ONLINE ONLINE m1
ora....M1.lsnr application ONLINE ONLINE m1
ora.m1.gsd application OFFLINE OFFLINE
ora.m1.ons application ONLINE ONLINE m1
ora.m1.vip ora....t1.type ONLINE ONLINE m1
ora....SM2.asm application ONLINE ONLINE m2
ora....M2.lsnr application ONLINE ONLINE m2
ora.m2.gsd application OFFLINE OFFLINE
ora.m2.ons application ONLINE ONLINE m2
ora.m2.vip ora....t1.type ONLINE ONLINE m2
ora....SM3.asm application ONLINE ONLINE m3
ora....M3.lsnr application ONLINE ONLINE m3
ora.m3.gsd application OFFLINE OFFLINE
ora.m3.ons application ONLINE ONLINE m3
ora.m3.vip ora....t1.type ONLINE ONLINE m3
ora....network ora....rk.type ONLINE ONLINE m1
ora.oc4j ora.oc4j.type ONLINE ONLINE m1
ora.ons ora.ons.type ONLINE ONLINE m1
ora.scan1.vip ora....ip.type ONLINE ONLINE m1
[grid@m1 bin]$
六 安装DB 数据库
在节点 1 用 Oracle 用户运行 dbca，创建实例。
以oracle用户执行dbca,弹出图形界面来安装DB库。
m1 oracle用户：
su - oralce
dbca
下一步：
下一步：
下一步
配置OEM 默认
开启自动维护功能：
下一步：
下一步：
下一步：
这里是制定数据库数据文件的存放路径
输入密码的时候会弹出一个错 你自己添加确定就是了 没事的
下一步：
下一步：
下一步：
下一步：
他问你有没有足够的空间，这里之后1911M 新建起来之后可以建的，也可以自己添加硬盘。
也可以把它放入DB里面 也可以忽略我就忽略了
注意 如果下次 还是 见到这个界面一定要 选择默认的 3台数据都用这个FRA闪回路径 空间不够最好放到
+DATA里面 不然会报错 ORA 1103 数据库也会夯在 mount哪里。
选择 Typical 勾选 Use Automatic Memory Management
选择 Sizeing菜单
改变进程数 150 --->改到 1200
选择专有模式
现在可以下一步了
点击 finish
好了 等待 大公告成。
出现了问题
这个是配置OEM的一个bug 可以忽略掉。
我怀疑是 刚才设置密码的时候太短：
解决：
这里设置密码的时候一定要 多整几个。
看看可以退回去能行不。
我先查查
点击exit退出 OK 好了
检查：
检查CRS运行状态
[oracle@m1 bin]$ crs_stat -tName Type Target State Host
------------------------------------------------------------
ora.DB.dg ora....up.type ONLINE ONLINE m1
ora.FRA.dg ora....up.type ONLINE ONLINE m1
ora....ER.lsnr ora....er.type ONLINE ONLINE m1
ora....N1.lsnr ora....er.type ONLINE ONLINE m1
ora.OCR.dg ora....up.type ONLINE ONLINE m1
ora.asm ora.asm.type ONLINE ONLINE m1
ora.cvu ora.cvu.type ONLINE ONLINE m1
ora.gsd ora.gsd.type OFFLINE OFFLINE -----gsd没有运行
ora....SM1.asm application ONLINE ONLINE m1
ora....M1.lsnr application ONLINE ONLINE m1
ora.m1.gsd application OFFLINE OFFLINE
ora.m1.ons application ONLINE ONLINE m1
ora.m1.vip ora....t1.type ONLINE ONLINE m1
ora....SM2.asm application ONLINE ONLINE m2
ora....M2.lsnr application ONLINE ONLINE m2
ora.m2.gsd application OFFLINE OFFLINE
ora.m2.ons application ONLINE ONLINE m2
ora.m2.vip ora....t1.type ONLINE ONLINE m2
ora....SM3.asm application ONLINE ONLINE m3
ora....M3.lsnr application ONLINE ONLINE m3
ora.m3.gsd application OFFLINE OFFLINE
ora.m3.ons application ONLINE ONLINE m3
ora.m3.vip ora....t1.type ONLINE ONLINE m3
ora.mes.db ora....se.type ONLINE ONLINE m1
ora....network ora....rk.type ONLINE ONLINE m1
ora.oc4j ora.oc4j.type ONLINE ONLINE m1
ora.ons ora.ons.type ONLINE ONLINE m1
ora.scan1.vip ora....ip.type ONLINE ONLINE m1
解决：
[oracle@m1 bin]$ pwd
/u01/app/grid/11.2.0/bin
检查应用程序资源的状态
[oracle@m1 bin]$ srvctl status nodeapps -n m1
VIP m1-vip is enabled
VIP m1-vip is running on node: m1
Network is enabled
Network is running on node: m1
GSD is disabled -----------GSD没有运行
GSD is not running on node: m1
ONS is enabled
ONS daemon is running on node: m1
[oracle@m1 bin]$ srvctl status asm -n m1
ASM is running on m1
[oracle@m1 bin]$ srvctl status asm -n m2
ASM is running on m2
[oracle@m1 bin]$ srvctl status asm -n m3
ASM is running on m3
检查数据库运行状态
[oracle@m1 bin]$ srvctl status database -d mesInstance mes1 is running on node m1
Instance mes2 is running on node m2
Instance mes3 is running on node m3
检查 Oracle 集群件的状态
[oracle@m1 bin]$ crsctl check crs
CRS-4638: Oracle High Availability Services is online
CRS-4537: Cluster Ready Services is online
CRS-4529: Cluster Synchronization Services is online
CRS-4533: Event Manager is online
TAF可以在安装完rac后配置，也可以在安装中配置，其实就是实现一个服务的负载均衡和failover，应该用srvctl配置的，注意用grid用户下的crs目录中的srvctl
在grid用户下 我的环境变量是但是sqlplus 链接不了
export ORACLE_SID=+ASM2
export ORACLE_BASE=/u01/gridbase
export ORACLE_HOME=/u01/gridsoft/11.2.0
export PATH=$ORACLE_HOME/bin:$PATH:/usr/local/bin/:.
export TEMP=/tmp
export TMP=/tmp
export TMPDIR=/tmp
umask 022
修改环境变量：
注意 ： 我以 grid用户做的
[grid@m1 ~]$ cp ~/.bash_profile ~/.asm
[grid@m1 ~]$ vim ~/.asm
[grid@m1 ~]$ . ~/.asm
[grid@m1 ~]$ sqlplus -s / as sysasm
-bash: sqlplus: command not found
为什么会出现这个情况
建立ASM的时候 是以 grid用户建立 oracle用户没有权限
但是 安装数据库软件 是 以 oracle 用户安装的这样就矛盾了。
oracle 用户
export ORACLE_SID=+ASM1
oracle@m1 ~]$ export ORACLE_SID=+ASM1
[oracle@m1 ~]$ sqlplus -s / as sysasm
ERROR:
ORA-01031: insufficient privileges
报错
在grid用户下 我的环境变量是但是sqlplus 链接不了
grid用户：
安装GI
ASM磁盘组
chown -R grid:oinstall /u01
安装grid的时候 ORACLE_BASE=/u01/app/oracle
SOFT路径=/u01/app/grid/11.2.0
oracle用户：
安装 数据库软件和数据库
安装软件的时候：
ORACLE_BASE=/u01/oracle
Soft=/u01/oracle/11.2.0/db_1
应该是oracle 用户
oracle 用户 建软件 建库 grid 安装 GI 和 asm磁盘组。
cd /u01
chown -R oracle.oinstall oracle/
总结：
安装GI的时候 ORACLE_BASE 目录是 /u01/app//oracle
软件目录是
尝试解决：
1、
--将用户 grid 添加到 dba 组：
[root@rac1 app]# gpasswd -a grid dba
Adding user grid to group dba
[grid@m1 ~]$ cd /u01/app/grid/11.2.0/bin/
[grid@m1 bin]$ sqlplus
Error 6 initializing SQL*Plus
SP2-0667: Message file sp1<lang>.msb not found
SP2-0750: You may need to set ORACLE_HOME to your Oracle software directory
[grid@m1 bin]$
[grid@m1 ~]$ cd /u01/app/grid/11.2.0/bin/
[grid@m1 bin]$ sqlplus
Error 6 initializing SQL*Plus
SP2-0667: Message file sp1<lang>.msb not found
SP2-0750: You may need to set ORACLE_HOME to your Oracle software directory
[grid@m1 bin]$ su - oracle
Password:
[oracle@m1 ~]$ export ORACLE_SID=+ASM1
[oracle@m1 ~]$ sqlplus / as sysasm
SQL*Plus: Release 11.2.0.3.0 Production on Wed Oct 23 09:51:31 2013
Copyright (c) 1982, 2011, Oracle. All rights reserved.
ERROR:
ORA-01031: insufficient privileges
Enter user-name:
2、
解决办法：
export ORACLE_SID=+ASM1
export ORACLE_BASE=/u01/gridbase
export ORACLE_HOME=/u01/app/grid/11.2.0
export PATH=$ORACLE_HOME/bin:$PATH:/usr/local/bin/:.
export TEMP=/tmp
export TMP=/tmp
export TMPDIR=/tmp
umask 022
配置TAF
7.22 节点 2 配置
7.22.1 修改 Tnsnames.ora 文件
NODE2_LOCAL=
(ADDRESS = (PROTOCOL = TCP)(HOST = rac2-vip)(PORT = 1521))
NODE1_LOCAL=
(ADDRESS = (PROTOCOL = TCP)(HOST= rac1-vip)(PORT = 1521))
DAVE_REMOTE =
(DESCRIPTION =
(ADDRESS_LIST =
(ADDRESS = (PROTOCOL = TCP)(HOST=rac1-vip)(PORT = 1521))
(ADDRESS = (PROTOCOL = TCP)(HOST=rac2-vip)(PORT = 1521))
)
)
7.22.2 设置 local_listener 参数
sql > alter system set LOCAL_LISTENER='NODE2_LOCAL' scope=both sid='dave2';
sql> alter system set REMOTE_LISTENER='DAVE_REMOTE' scope=both sid='*';
验证：
$ tnsping node2_local
$ tnsping dave_remote
我这里不淹死了。
11gr2版本：
grid用户
netca
grid用户上默认配置了 listener
但是在oracle用户上就没有配置listener
grid用户默认没有配置service 服务名 但是 oracle用户配置服务名 是不是要我手动配置
oracle 用户：
netca 提示 推荐 建立listener在 grid目录
点击
配置了TAF之后 很多都报错 就像上面的。这个是怎么回事
怎么解决 我的 rac-scan IP 远程不能连接上去？
1、
以oracle用户
alter system set remote_listener=’rac-scan:1521’ scope=both sid=’*’
2
alter system set local_listener='(DESCRIPTION=(ADDRESS_LIST=(ADDRESS=(PROTOCOL=TCP)(HOST=172.16.15.101)(PORT=1521))))' sid='mes1';
alter system set local_listener='(DESCRIPTION=(ADDRESS_LIST=(ADDRESS=(PROTOCOL=TCP)(HOST=172.16.15.102)(PORT=1521))))' sid='mes2';
alter system set local_listener='(DESCRIPTION=(ADDRESS_LIST=(ADDRESS=(PROTOCOL=TCP)(HOST=172.16.15.102)(PORT=1521))))' sid='mes3';
3 show parameter listerner
SQL> show parameter listener
NAME TYPE VALUE
------------------------------------ ---------------------- ------------------------------
listener_networks string
local_listener string (DESCRIPTION=(ADDRESS_LIST=(AD
DRESS=(PROTOCOL=TCP)(HOST=172.
16.15.101)(PORT=1521))))
remote_listener string rac-scan:1521
oracle 下
sqlplus / as sysdba@mes
或者
sqlplus mhz/mhz@mes
这个文档并不齐全。。。。。。。。。。。。
那个文档 我也不知道弄到哪里去了。。。。。。
换了一个内核Knerel 以前内核 2.6.39-300.ol5.9
现在的kernel 是 2.6.18-EL.base
为什么要这么做是因为创建ACFS文件系统的时候不支持2.6.300-OL5.9
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- php处理json数据(从服务器获取，post提交)
- IE6部分兼容问题
- hexo git配置问题笔记
- ps—人物夸张的漫画
- label添加删除线
- Oracle什么时候需要Commit
- excel表格中的数据变成json格式的方法
- Oracle 11g R2 RAC 卸载 grid
- 编写简单的shell脚本
- java设计模式（五）--建造者模式（Builder）
- AutoCompleteTestView输入单个字符不提示
- iOS-UITableView 右侧箭头+取消分割线+取消选中样式+自定义分割线(原生和自定义cell)
- 【斐波那契应用】HDOJ KK's Steel 5620
- assign copy retain weak strong 区别【读Effective Objective-C 2.0 编写高质量iOS与OS X代码的52个有效方法】
- 人人都是产品经理
- excel 导入数值变成科学记数的解决办法.
- Windows下通过Adb shell截屏Android UI并上传PC
- 岁月划过生命线——考研工作篇
- 【杭电oj】3785 - 寻找大富翁（水）
- 一个简单的开始加载界面