LINUX5.7+RAW+EMC+RAC+ORACLE 11G安装详细文档

2024年2月6日发(作者：)

****OTC系统安装

一、 服务器设置及操作系统安装

(一) 配置服务器Raid

1. Web登录EMC

IP：

ID：

Passwd：

2. 建立RAID GROUP

3. 建立STORAGE GROUP

4. 安全设置

(二) 安装操作系统

1. 开始安装操作系统

2. 跳过输入许可步骤

3. 确定系统分区

4. 引导选项（默认即可）

5. 设置主机名及IP地址（也可以安装好后修改）

6. 设置时区

7. 定制安装包

参考一下参数选择，选中程序之后鼠标右键全部选择（没有说明的选项全部默认）

p 默认

ations

Authoring and Publishing

全选

Editors

Engineering and Scientific

Office/Productivity

Sound and Video

Text-based Internet

默认

pment

Development Libraries

Development Tools

GNOME Software Developmnt

Java Development

Legacy Software Development

Ruby

X Software Development

全选

s

FTP Server

全选

Legacy Network Server

Network Servers

Printing Support

Server Configuration Tools

System-----

全选

ges ---------

Chinese

8. 参考上一步说明

9. 安装选项确认

10. 进入安装进程

漫长的等待可以去喝杯咖啡

11. 重启完成之后设置防火墙

Setup———防火墙 关闭。

或者装系统的时候直接选择关闭

(三) 操作系统相关配置

1. 网卡绑定

进入网络端口配置文件目录

cd /etc/sysconfig/network-scripts/

节点一网络配置

按顺序修改以下网卡文件

vi ifcfg-eth0

[root@jf-otc-db1 ~]# cat /etc/sysconfig/network-scripts/ifcfg-eth0

# Intel Corporation 82580 Gigabit Network Connection

DEVICE=eth0

BOOTPROTO=none

HWADDR=90:E2:BA:0A:E4:A4

ONBOOT=yes

MASTER=bond0

SLAVE=yes

TYPE=Ethernet

vi ifcfg-eth1

[root@jf-otc-db1 ~]# cat /etc/sysconfig/network-scripts/ifcfg-eth1

# Intel Corporation 82580 Gigabit Network Connection

DEVICE=eth1

BOOTPROTO=none

HWADDR=90:E2:BA:0A:E4:A5

ONBOOT=yes

MASTER=bond1

SLAVE=yes

TYPE=Ethernet

vi ifcfg-eth2

[root@jf-otc-db1 ~]# cat /etc/sysconfig/network-scripts/ifcfg-eth2

# Broadcom Corporation NetXtreme II BCM5709 Gigabit Ethernet

DEVICE=eth2

BOOTPROTO=none

HWADDR=34:40:B5:B0:33:BC

ONBOOT=yes

MASTER=bond0

SLAVE=yes

TYPE=Ethernet

vi ifcfg-eth3

# Broadcom Corporation NetXtreme II BCM5709 Gigabit Ethernet

DEVICE=eth3

BOOTPROTO=none

HWADDR=34:40:B5:B0:33:BE

ONBOOT=yes

MASTER=bond1

SLAVE=yes

TYPE=Ethernet

vi ifcfg-bond0

[root@jf-otc-db1 ~]# cat /etc/sysconfig/network-scripts/ifcfg-bond0

DEVICE=bond0

BOOTPROTO=none

ONBOOT=yes

IPADDR=10.101.51.

NETMASK=255.255.255.0

TYPE=Ethernet

vi ifcfg-bond1

[root@jf-otc-db1 ~]# cat /etc/sysconfig/network-scripts/ifcfg-bond1

DEVICE=bond1

BOOTPROTO=none

ONBOOT=yes

IPADDR=192.168.51.1

NETMASK=255.255.255.0

TYPE=Ethernet

修改 /etc/

添加如下内容

alias bond0 bonding

options bond0 miimon=100 primary=eth0 mode=1

alias bond1 bonding

options bond1 miimon=100 primary=eth1 mode=1

最后在/etc/中加入

modprobe bonding miimon=100 mode=1

使用root用户输入

service network restart

在第二台机器上重复此操作。

2. 开启FTP（两台机器都做）

修改vsftpd配置文件

vi /etc/vsftpd/user_list 这个文件里面的用户都是被禁止登陆ftp的，所以要使用root用户登陆ftp需要将root用注释掉。

文件内容如下

# vsftpd userlist

# If userlist_deny=NO, only allow users in this file

# If userlist_deny=YES (default), never allow users in this file, and

# do not even prompt for a password.

# Note that the default vsftpd pam config also checks /etc/vsftpd/ftpusers

# for users that are denied.

#root

bin

daemon

adm

lp

sync

shutdown

halt

mail

news

uucp

operator

games

nobody

vi /etc/vsftpd/ftpusers 这个文件里面的用户都是被禁止登陆ftp的，所以要使用root用户登陆ftp需要将root用注释掉。

文件内容如下

# Users that are not allowed to login via ftp

#root

bin

daemon

adm

lp

sync

shutdown

halt

mail

news

uucp

operator

games

nobody

修改完以上配置之后

service vsftpd start 启动vsftpd服务。

[root@jf-otc-db1 ~]# service vsftpd start

Starting vsftpd for vsftpd: [ OK ]

3. 修改两台机器hosts文件

#vi /etc/hosts

添加以下内容

10.101.51. jf-otc-db1

10.101.51. jf-otc-db2

10.101.51. jf-otc=db1-vip

10.101.51. jf-otc-db2-vip

10.101.51. jf-otc-scan

192.168.51.1 jf-otc-db1-priv

192.168.51.2 jf-otc-db2-priv

二、 准备RAC安装环境

(一) 安装powerpath

1. 安装软件包

本次采用的是5.6的版本，上传

5.x86_

和

NaviHostAgent-Linux-64-x86-en_US-6.29.6.0.35-1.x86_

安装过程如下：

[root@jf-otc-db1 pp]# rpm -ivh NaviHostAgent-Linux-64-x86-en_US-6.29.6.0.35-1.x86_

########################################### [100%]

1:NaviHostAgent-Linux-64-########################################### [100%]

[root@jf-otc-db1 pp]# rpm -ivh 5.x86_

########################################### [100%]

1: ########################################### [100%]

All trademarks used herein are the property of their respective owners.

NOTE:License registration is not required to manage the CLARiiON AX series array.

2. 安装EMC Powerpath许可

[root@jf-otc-db1 pp]# emcpreg -install

=========== EMC PowerPath Registration ===========

Do you have a new registration key or keys to enter?[n] y

Enter the registration keys(s) for your product(s),

one per line, pressing Enter after each key.

After typing all keys, press Enter again.

Key (Enter if done): XCP6-MFPM-C3Q5-YPOM-AW9P-APGU

1 key(s) successfully added.

Key successfully installed.

Key (Enter if done):

1 key(s) successfully registered.

[root@jf-otc-db1 pp]#

安装完成后需要重新启动机器让powerpath生效及扫描磁盘。

3. 扫描磁盘并修改伪设备名

重启完成后会在/dev/目录下生成以下几个文件

/dev/emcpowera

/dev/emcpowerb

/dev/emcpowerc

/dev/emcpowerd

/dev/emcpowere

/dev/emcpowerf

/dev/emcpowerg

/dev/emcpowerh

/dev/emcpoweri

/dev/emcpowerj

修改伪设备名

因为powerpath在认盘的时候可能在两边顺序不太一样，所以要结合powermt display dev=all命令将两边的盘统一顺序。

emcpadm rename -s emcpowera -t emcpowerz

emcpadm rename -s emcpowerb -t emcpowery

emcpadm rename -s emcpowerc -t emcpowerx

emcpadm rename -s emcpowerd -t emcpowerw

emcpadm rename -s emcpowere -t emcpowerv

emcpadm rename -s emcpowerf -t emcpoweru

emcpadm rename -s emcpowerz -t emcpowerd

emcpadm rename -s emcpowery -t emcpowerf

emcpadm rename -s emcpowerx -t emcpowerb

emcpadm rename -s emcpowerw -t emcpowere

emcpadm rename -s emcpowerv -t emcpowera

emcpadm rename -s emcpoweru -t emcpowerc

(二) 添加用户并建立用户等效性

1. 创建用户及用户组

两台机器都要配置

groupadd dba -g 500

useradd -g dba -G users -d /home/oracle oracle -u 500

2. 修改用户配置文件

cd /home/oracle

vi .bash_profile

添加以下内容

export ORACLE_BASE=/oracle

export ORACLE_HOME=$ORACLE_BASE/product/10.2.0/db

export ORACLE_CRS_HOME=$ORACLE_BASE/product/10.2.0/crs

export TNS_ADMIN=$ORACLE_HOME/network/admin

export ORA_NLS10=$ORACLE_HOME/nls/data

export PATH=.:$PATH:$HOME/bin:$ORACLE_HOME/bin:$ORACLE_CRS_HOME/bin

export LD_LIBRARY_PATH=.:$LD_LIBRARY_PATH:$ORACLE_HOME/lib:$CRS_HOME/lib

export NLS_LANG='SIMPLIFIED CHINESE_16GBK'

export ORACLE_SID=fmpdb

export LANG=en_US

unset USERNAME

export PS1=`whoami`'@'`hostname`':${PWD}>'

alias ls="ls --color=never"

①注意这里的SID要区别主机和备机，不能一样。

②只能与实例库的名字一样。

(三) 修改系统参数（两台设备都要做）

1. 修改/etc/文件

= 4096

= 1024

# semaphores: semmsl, semmns, semopm, semmni

= 250 32000 100 128

-max = 65536

_local_port_range = 1024 65000

_default=262144

_max=262144

_default=262144

_max=262144

2. 修改/etc/security/文件

oracle soft nproc 2047

oracle hard nproc 16384

oracle soft nofile 1024

oracle hard nofile 65536

oracle soft memlock 5242880

oracle hard memlock 524280

3. 修改/etc/pam.d/login

添加下面一行

session required /lib/security/pam_

(四) 配置用户等效性

（需要使用Oracle用户登陆操作系统）

1. 第一步是生成 SSH 的公共密钥和专用密钥（两台都要配置）

#mkdir ~/.ssh

#chmod 755 ~/.ssh

#/usr/bin/ssh-keygen -t rsa

#/usr/bin/ssh-keygen -t dsa

2. 生成秘钥文件（只需在第一个主机上，以 oracle 用户身份登录）

现在，必须将每个主机上的公共密钥文件 id_ 和 id_ 的内容复制到其他每个主机的 ~/.ssh/authorized_keys 文件中。

cat ~/.ssh/id_ >> ~/.ssh/authorized_keys

cat ~/.ssh/id_ >> ~/.ssh/authorized_keys

cp ~/.ssh/authorized_keys ~/.ssh/ized_keys

3. 只需在第二个主机上，以 oracle 用户身份登录

cat ~/.ssh/id_ >> ~/.ssh/authorized_keys

cat ~/.ssh/id_ >> ~/.ssh/authorized_keys

cp ~/.ssh/authorized_keys ~/.ssh/ized_keys

4. 在第一个主机上，以 oracle 用户身份登录

ftp 从jf-otc-db2主机取得ized_keys

cat ~/.ssh/ized_keys >> ~/.ssh/authorized_keys

chmod 644 ~/.ssh/authorized_keys

5. 在第二个主机上，以 oracle 用户身份登录

ftp 从hlzq-zhgl-s1主机取得ized_keys

cat ~/.ssh/ized_keys >> ~/.ssh/authorized_keys

chmod 644 ~/.ssh/authorized_keys

6. 交换两台机器的秘钥文件

cat ~/.ssh/ized_keys >> ~/.ssh/authorized_keys

chmod 644 ~/.ssh/authorized_keys

请注意，使用 ssh 第一次访问远程主机时，其 RSA 密钥将是未知的，从而将提示确

认是否希望连接该主机。 SSH 将记录该远程主机的 RSA 密钥，并在以后连接该主机时不再做出相关提示。

7. 请注意，使用 ssh 第一次访问远程主机时，其 RSA 密钥将是未知的，从而将提示确认是否希望连接该主机。 SSH 将记录该远程主机的 RSA 密钥，并在以后连接该主机时不再做出相关提示。

在第一个主机上，以 oracle 用户身份登录

ssh jf-otc-db1

ssh jf-otc-db2

在第二个主机上，以 oracle 用户身份登录

ssh jf-otc-db1

ssh jf-otc-db2

8. 验证用户等效性

在建立用户等效性时，不会再提示您输入口令。

在第一个主机上，以 oracle 用户身份登录

exec /usr/bin/ssh-agent $SHELL

/usr/bin/ssh-add

在第二个主机上，以 oracle 用户身份登录

exec /usr/bin/ssh-agent $SHELL

/usr/bin/ssh-add

（请注意，用户等效性仅为当前会话建立。如果切换到其他会话或注销并重新登录，则必须再次运行 ssh-agent 和 ssh-add 才能重新建立用户等效性。）

(添加环境变量)

9. 测试连通性

如果一切均设置正确，现在就可以使用 ssh 在其他集群主机上不必输入口令而登录、执行程序和复制文件了。通过在远程集群主机上运行诸如 date 等简单命令来验证用户等效性：

ssh jf-otc-db2 hostname

jf-otc-db2

测试每个方向上所有服务器的连通性是非常重要的。这样会确保当 OUI 在 CRS 和数据库软件安装期间试图复制文件时不会出现类似以下的消息。该消息只有在远程节点上第一次执行操作时才会出现，因此通过测试连通性，不仅确保了远程操作的正常运行，还完成了初始的安全密钥交换。

(五) 安装配置ASM

1. 安装下列ASM安装包（5）

5.x86_ -----------操作系统光盘

5.x86_-----------操作系统光盘

5.x86_-----------操作系统光盘

5.x86_-----------甲骨文官方网站

5.x86_

5.x86_

5.x86_

2. 配置ASM服务

运行 /etc/init.d/oracleasm configure

回答 oracle , dba, y, y 就可以了

[root@jf-otc-db1 asm]# /etc/init.d/oracleasm configure

Configuring the Oracle ASM library driver.

This will configure the on-boot properties of the Oracle ASM library

driver. The following questions will determine whether the driver is

loaded on boot and what permissions it will have. The current values

will be shown in brackets ('[]'). Hitting without typing an

answer will keep that current value. Ctrl-C will abort.

Default user to own the driver interface []: oracle

Default group to own the driver interface []: dba

Start Oracle ASM library driver on boot (y/n) [n]: y

Scan for Oracle ASM disks on boot (y/n) [y]: y

Writing Oracle ASM library driver configuration: done

Initializing the Oracle ASMLib driver: [ OK ]

Scanning the system for Oracle ASMLib disks: [ OK ]

[root@jf-otc-db1 asm]# /etc/init.d/oracleasm createdisk

Action "createdisk" requires two arguments, the device and the label.

See (8) for more information.

3. 为新磁盘分区

使用root用户登陆后用fdisk命令为硬盘分区。

fdisk /dev/emcpowera 进入任一一个节点执行

Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel

Building a new DOS disklabel. Changes will remain in memory only,

until you decide to write them. After that, of course, the previous

content won't be recoverable.

The number of cylinders for this disk is set to 1958.

There is nothing wrong with that, but this is larger than 1024,

and could in certain setups cause problems with:

1) software that runs at boot time (e.g., old versions of LILO)

2) booting and partitioning software from other OSs

(e.g., DOS FDISK, OS/2 FDISK)

Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)

Command (m for help): n

Command action

e extended

p primary partition (1-4)

p

Partition number (1-4):

Value out of range.

Partition number (1-4): 1

First cylinder (1-145737, default 1):

Using default value 1

Last cylinder, +cylinders or +size{K,M,G} (1-145737, default 145737): +60G

Command (m for help): n

Command action

e extended

Partition number (1-4):

p

Partition number (1-4): 2

First cylinder (7835-145737, default 7835):

Using default value 7835

Last cylinder, +cylinders or +size{K,M,G} (7835-145737, default 145737): +700G

Command (m for help): n

Command action

e extended

p primary partition (1-4)

p

Partition number (1-4): 3

First cylinder (99215-145737, default 99215):

Using default value 99215

Last cylinder, +cylinders or +size{K,M,G} (99215-145737, default 145737):

Using default value 145737

Command (m for help): w

The partition table has been altered!

另一个节点同步一下磁盘信息

partprobe

ls /dev/sd*

4. 创建ASM磁盘

在主服务器上创建ASM磁盘

[root@jf-otc-db1 asm]# /etc/init.d/oracleasm createdisk datavol1 /dev/emcpowerd1

Marking disk "datavol1" as an ASM disk: [ OK ]

[root@jf-otc-db1 asm]# /etc/init.d/oracleasm createdisk datavol2 /dev/emcpowere1

Marking disk "datavol2" as an ASM disk: [ OK ]

[root@jf-otc-db1 asm]# /etc/init.d/oracleasm createdisk logvol1 /dev/emcpowerf1

Marking disk "logvol1" as an ASM disk: [ OK ]

5. 在备机扫描磁盘

使用下面命令

/etc/init.d/oracleasm scandisks ---------扫描ASM磁盘配置信息

/etc/init.d/oracleasm listdisks ------------------查看ASM磁盘信息

将raw 的配置信息， 直接写入: /etc/rc.d/。 这样启动自动加载。 没有使用udev来管理。

[root@rac2 ~]# vi /etc/rc.d/

添加以下内容

chown oracle:dba /dev/emcpowera

chown oracle:dba /dev/emcpowera1

chown oracle:dba /dev/emcpowerb

chown oracle:dba /dev/emcpowerb1

chown oracle:dba /dev/emcpowerc

chown oracle:dba /dev/emcpowerc1

chown oracle:dba /dev/emcpowerd

chown oracle:dba /dev/emcpowerd1

chown oracle:dba /dev/emcpowere

chown oracle:dba /dev/emcpowere1

chown oracle:dba /dev/emcpowerf

chown oracle:dba /dev/emcpowerf1

chmod 777 /dev/emcpowe*

#####

# Oracle Cluster Registry (OCR) devices

#####

raw /dev/raw/raw1 /dev/emcpowera1

raw /dev/raw/raw2 /dev/emcpowerb1

raw /dev/raw/raw3 /dev/emcpowerc1

sleep 2

chown oracle:dba /dev/raw/raw1

chown oracle:dba /dev/raw/raw2

chown oracle:dba /dev/raw/raw3

chmod 777 /dev/raw/

三、 安装oracle

(一) 检查安装环境

1. 检查安装包

binutils-2.17.50.0.6-2 (x86_64)

compat-db-4.2.52-5.1 (x86_64)

compat-libstdc++-296-2.96-138 (i386)

compat-libstdc++-33-3.2.3-61(x86_64)

compat-libstdc++-33-3.2.3-61 (i386)

control-center-2.16.0-14 (x86_64)

gcc-4.1.1-52 (x86_64)

gcc-c++-4.1.1-52 (x86_64)

glibc-2.5-12 (x86_64)

glibc-2.5-12 (i686)

glibc-common-2.5-12 (x86_64)

glibc-devel-2.5-12 (x86_64)

glibc-devel-2.5-12 (i386)

glibc-headers-2.5-12 (x86_64)

ksh-20060214-1.4 (x86_64)

libaio-0.3.106-3.2 (x86_64)

libgcc-4.1.1-52 (i386)

libgcc-4.1.1-52 (x86_64)

libgnome-2.16.0-6 (x86_64)

libgnomeui-2.16.0-5 (x86_64)

libgomp-4.1.1-52 (x86_64)

libstdc++-4.1.1-52 (x86_64)

libstdc++-devel-4.1.1-52 (x86_64)

libXp-1.0.0-8 (i386)

libXtst-1.0.1-3.1(i386)

make-3.81-1.1 (x86_64)

sysstat-7.0.0-3 (x86_64)

2. 配置oracle用户vnc（图形界面）

切换到oracle用户启动vncserver

ps -ef | grep vnc

然后找到进程号，并杀掉，进程号是用户后面的四位数号码

Kill 进程号

修改 /home/oracle/.vnc/xstartup，

oracle@tzjy1:/home/oracle>vi /home/oracle/.vnc/xstartup

#!/bin/sh

# Uncomment the following two lines for normal desktop:

# unset SESSION_MANAGER

# exec /etc/X11/xinit/xinitrc

[ -x /etc/vnc/xstartup ] && exec /etc/vnc/xstartup

[ -r $HOME/.Xresources ] && xrdb $HOME/.Xresources

xsetroot -solid grey

vncconfig -iconic &

xterm -geometry 80x24+10+10 -ls -title "$VNCDESKTOP Desktop" &

#twm &

gnome-session &

用root启动vncserver

vncserver

You will require a password to access your desktops.

Password:123456 #输入vnc 连接密码

Verify:123456 #确认vnc密码

xauth: creating new authority file /root/.Xauthority

New ‘omain:1 (root)’ desktop is omain:1

Creating default startup script /root/.vnc/xstartup

Starting applications specified in /root/.vnc/xstartup

Log file is /root/.vnc/omain:

(二) 安装oracle软件（***必须注销后以Oracle登陆）

1. 安装grid软件 grid目录

$ ./runInstaller

2. 安装和配置集群机构

1.安装和配置集群基础机构

2.安装配置独立服务器基础机构

3.升级网络机构

4.仅升级网络机构软件

3. 高级模式

4. 选择语言

5. 填写集群名字和监听名字，端口号的信息

6. 集群节点信息

7. 添加节点2

8. 选择接口类型

9. 选择存储类型（ASM和共享文件系统）

10. 创建ASM磁盘组

11. 创建ASM口令

12. 不使用智能平台管理接口

13. 添加管理组权限

14. 指定oracle的路径和grid的路径

15. 指定清单路径

Go on

16. 配置

17. 执行1、2脚本

18. 安装

漫长的等待，去个厕所

19. 安装oracle数据库软件

在/tmp/oracle/database目录下输入./runinstaller启动图形安装

20. 跳过

21. 仅安装数据库

22. 选择两个节点

23. 语言

24. 企业版

25. oracle安装位置

26. 操作系统组

27. 标准状态，少包速度打吧 兄弟们

28. 配置信息汇总

安装

29. 安装时候，执行下命令（两台设备都执行）

等待中，可以睡会

30. 创建数据存储磁盘组

使用oracle登陆操作系统

并执行export ORACLE_SID=+ASM1

然后执行asmca

31. 创建数据库实例

使用oracle登陆操作系统，

执行dbca打开实例创建向导

32. 创建实例库

额外补偿，仅限此图

选择所有节点，下一步