|
|
在存储节点少于5个时，如果磁盘组冗余为high时，ocr 盘需要至少5个失败组，这个前提下，额外的2个仲裁盘允许放到数据节点的本地上。
1.使用仲裁磁盘提高容错能力
仲裁磁盘用于在没有五个存储服务器的系统上满足高冗余磁盘组的五个故障组的最低要求。
故障组是磁盘组中磁盘的子集，由于共享硬件，它们可能同时发生故障。 Oracle 建议至少为正常冗余磁盘组设置三个故障组，为高冗余磁盘组设置五个故障组，
以维护合作伙伴状态表 (PST) 的必要副本数量，并确保针对存储硬件故障的稳健性。在工程系统上，这些建议被强制执行以确保系统的最高可用性。
A failure group：
PST 包含有关磁盘组中 Oracle 自动存储管理 (Oracle ASM) 磁盘的状态信息，例如磁盘编号、状态（联机或脱机）、
伙伴磁盘编号、故障组信息和心跳信息。要容忍单个硬件故障，您需要 3 个可用的 PST 副本以形成 2/3 多数。如果有两个硬件故障，那么您总共需要 5 个 PST 副本，以便在两次故障后您仍然拥有 3/5 的多数。
A quorum failure group：
仲裁失败组是一种特殊类型的失败组，不包含用户数据。 仲裁失败组用于存储 PST。 仲裁故障组还可用于存储 Oracle 集群件的投票文件的副本。
由于仲裁故障组中的磁盘不包含用户数据，因此在确定与存储用户数据相关的冗余要求时，不会考虑仲裁故障组。
在系统故障的情况下，正常冗余磁盘组中的三个故障组允许在三个 PST 之间进行比较，以准确确定 PST 的最新和正确版本，这是仅在两个 PST 之间进行比较无法做到的 .
与高冗余磁盘组类似，如果两个故障组处于脱机状态，则 Oracle ASM 将能够在剩余的三个 PST 之间进行比较。
您可以在部署 Exadata 时使用 Oracle Exadata 部署助手 (OEDA) 创建仲裁故障组，也可以稍后使用仲裁磁盘管理器实用程序添加它们。 iSCSI 仲裁磁盘在数据库节点上创建，
并且在这些仲裁磁盘上创建投票文件。 这些额外的仲裁故障组用于满足高冗余磁盘组的五个投票文件和 PST 的最低要求。 存在以下情况时需要仲裁磁盘：
The Oracle Exadata Rack has fewer than five storage servers.
The Oracle Exadata Rack has at least two database nodes.
The Oracle Exadata Rack has at least one high redundancy disk group.
通过创建两个额外的故障组，仲裁故障组允许在少于五台存储服务器的 Oracle Exadata 机架上存在高冗余磁盘组。 如果没有此功能，磁盘组很容易受到双伙伴存储服务器故障的影响，
从而导致 PST 或投票文件仲裁丢失，从而导致整个集群和数据库中断。 请参阅 My Oracle Support 说明 1339373.1，了解如何在这种情况下重新启动集群件和数据库。
iSCSI 仲裁磁盘实施具有高可用性，因为 RDMA 网络结构上的 IP 地址使用 RDS 具有高可用性。
下图中显示的每个 iSCSI 设备对应于 iSCSI 目标的特定路径。 每个路径对应于数据库节点上的一个 RDMA Network Fabric 端口。
对于主动-主动系统中的每个多路径仲裁磁盘设备，有两个 iSCSI 设备，一个用于 ib0 或 re0，另一个用于 ib1 或 re1。
仲裁磁盘可用于裸机 Oracle Real Application Clusters (Oracle RAC) 集群和 Oracle VM Oracle RAC 集群。 对于 Oracle VM Oracle RAC 集群，
仲裁磁盘设备驻留在 Oracle RAC 集群节点中，这些节点是 Oracle VM 用户域，如下图所示
注意：对于启用 pkey 的环境，用于发现目标的接口应该是用于 Oracle Clusterware 通信的 pkey 接口。 使用以下命令列出这些接口：
Grid_home/bin/oifcfg getif | grep cluster_interconnect | awk '{print $1}'
2.仲裁磁盘管理器（quorumdiskmgr）
Oracle Exadata System Software 12.1.2.3.0 版中引入的 Quorum Disk Manager 实用程序可帮助您管理仲裁磁盘。
此实用程序使您能够在两个数据库节点上创建 iSCSI 仲裁磁盘，并将投票文件存储在这两个仲裁磁盘上。 这两个额外的投票文件用于满足高冗余磁盘组的五个投票文件的最低要求。
Quorum Disk Manager 实用程序 (quorumdiskmgr) 用于创建和管理所有必要的组件，包括 iSCSI 配置、iSCSI 目标、iSCSI LUN 和用于实施仲裁磁盘的 iSCSI 设备。
3.仲裁磁盘管理器的软件需求
您必须满足最低软件要求才能使用 Quorum Disk Manager 实用程序。
要使用此功能，需要以下版本：
Oracle Exadata System 软件版本 12.1.2.3.0 及更高版本
适用于所有 Oracle 数据库主目录的补丁 23200778
带有补丁 22722476 和 22682752 的 Oracle Grid Infrastructure 版本 12.1.0.2.160119，或 Oracle Grid Infrastructure 版本 12.1.0.2.160419 及更高版本
对于新部署，Oracle Exadata 部署助手 (OEDA) 会自动安装补丁。
4.quorumdiskmgr 命令参考
仲裁磁盘管理器实用程序 (quorumdiskmgr) 在每个数据库服务器上运行，使您能够在数据库服务器上创建和管理 iSCSI 仲裁磁盘。
您可以使用 quorumdiskmgr 在数据库服务器上创建、列出、更改和删除 iSCSI 仲裁磁盘。 该实用程序在出厂时已安装在数据库服务器上。
1）语法参考
quorumdiskmgr --verb --object [--options]
verb is an action performed on an object. It is one of: alter, create, delete, list.
object is an object on which the command performs an action.
options extend the use of a command combination to include additional parameters for the command.
除非明确说明，否则动词、对象和选项都区分大小写。
在包含空格或标点符号的选项值周围使用双引号字符。
2） Creating a Quorum Disk Configuration (--create --config)
quorumdiskmgr --create --config [--owner owner --group group]
--network-iface-list network-iface-list
Example 2-7 Create a Quorum Disk Configuration for a System with InfiniBand Network Fabric
quorumdiskmgr --create --config --owner=oracle --group=dba --network-iface-list="ib0, ib1"
Example 2-8 Create a Quorum Disk Configuration for a System with RoCE Network Fabric
quorumdiskmgr --create --config --owner=oracle --group=dba --network-iface-list="re0, re1"
3）Creating a Target (--create --target)
quorumdiskmgr --create --target --asm-disk-group asm_disk_group --visible-to ip_list
[--host-name host_name] [--size size]
Example 2-9 Creating a Target For Oracle ASM Disk Group Devices
quorumdiskmgr --create --target --asm-disk-group=datac1 --visible-to="192.168.10.45, 192.168.10.46" --host-name=db01
4）Creating a Device (--create --device)
quorumdiskmgr --create --device --target-ip-list target_ip_list
Example 2-10 Creating Devices From a Target For an Oracle ASM Disk Group
quorumdiskmgr --create --device --target-ip-list="192.168.10.45, 192.168.10.46"
5）Listing Quorum Disk Configurations (--list --config)
quorumdiskmgr --list --config
Example 2-11 Listing the quorum disk configuration on rack with InfiniBand Network Fabric
$ quorumdiskmgr --list --config
Owner: grid
Group: dba
ifaces: exadata_ib1 exadata_ib0
Example 2-12 Listing the quorum disk configuration on rack with RoCE Network Fabric
$ quorumdiskmgr --list --config
Owner: grid
Group: dba
ifaces: exadata_re1 exadata_re0
6）Listing Targets (--list --target)
quorumdiskmgr --list --target [--asm-disk-group asm_disk_group]
Example 2-13 Listing the Target Attributes for a Specific Oracle ASM Disk Grou
quorumdiskmgr --list --target --asm-disk-group=datac1
Name: iqn.2015-05.com.oracle:qd--datac1_db01
Size: 128 MB
Host name: DB01
ASM disk group name: DATAC1
Visible to: iqn.1988-12.com.oracle:192.168.10.23, iqn.1988-12.com.oracle:192.168.10.24,
iqn.1988-12.com.oracle:1b48248af770, iqn.1988-12.com.oracle:7a4a399566
Discovered by: 192.168.10.47, 192.168.10.46
7） Listing Devices (--list --device)
quorumdiskmgr --list --device [--asm-disk-group asm_disk_group] [--host-name host_name]
Example 2-14 Listing Device Attributes for an Oracle ASM Disk Group
This example shows how to list the attributes for devices used by the DATAC1 disk group.
$ quorumdiskmgr --list --device --asm-disk-group datac1
Device path: /dev/exadata_quorum/QD_DATAC1_DB01
Size: 128 MB
Host name: DB01
ASM disk group name: DATAC1
Device path: /dev/exadata_quorum/QD_DATAC1_DB02
Size: 128 MB
Host name: DB02
ASM disk group name: DATAC1
8）Deleting Configurations (--delete --config)
quorumdiskmgr --delete --config
9）Deleting Targets (--delete --target)
quorumdiskmgr --delete --target [--asm-disk-group asm_disk_group]
Example 2-15 Deleting Targets Created for an Oracle ASM Disk Group
This example shows how to delete targets created for the DATAC1 disk group.
quorumdiskmgr --delete --target --asm-disk-group=datac1
10）Deleting Devices (--delete --device)
quorumdiskmgr --delete --device [--asm-disk-group asm_disk_group] [--host-name host_name]
Example 2-16 Deleting Quorum Disk Devices Created from Targets on a Specific Host
This example shows how to delete all the quorum disk devices that were created from the targets on the host DB01.
quorumdiskmgr --delete --device --host-name=db01
11）Changing Owner and Group Values (--alter --config)
quorumdiskmgr --alter --config --owner owner --group group
Example 2-17 Changes the Owner and Group Configuration for Quorum Disk Devices
This example shows how to change the assigned owner and group for quorum disk devices.
quorumdiskmgr --alter --config --owner=grid --group=dba
12）Changing the RDMA Network Fabric IP Addresses (--alter --target)
quorumdiskmgr --alter --target --asm-disk-group asm_disk_group --visible-to ip_list
Example 2-18 Changing the RDMA Network Fabric IP Addresses for Accessing Targets
This example shows how to change the RDMA Network Fabric IP address list that determines which database servers have access to the local target created for DATAC1 disk group
quorumdiskmgr --alter --target --asm-disk-group=datac1 --visible-to="192.168.10.45, 192.168.10.47
5.将仲裁盘加到数据库节点
您可以将仲裁磁盘添加到 Oracle Exadata 机架上的数据库节点，该机架具有少于五个包含高冗余磁盘组的存储服务器。
Oracle 强烈建议在故障组少于五个的所有高冗余磁盘组中使用仲裁磁盘。 拥有五个仲裁磁盘对于在任何高冗余磁盘组中镜像 ASM 元数据很重要，而不仅仅是包含投票文件的磁盘组。
本节中的示例为具有两个数据库服务器的 Oracle Exadata 机架创建仲裁磁盘：db01 和 db02。
通常，每个数据库服务器上有两个 RDMA Network Fabric 端口：
对于具有 InfiniBand 网络结构的系统，端口为：ib0 和 ib1
对于具有 RoCE 网络结构的系统，端口为：re0 和 re1
在每个集群节点上，可以使用以下命令找到用于与 iSCSI 设备通信的网络接口：
$ oifcfg getif | grep cluster_interconnect | awk '{print $1}'
显示每个接口的ip地址
# ip addr show interface_name
RDMA网络接口的IP地址示例：
On db01:
Network interface: ib0 or re0, IP address: 192.168.10.45
Network interface: ib1 or re1, IP address: 192.168.10.46
On db02:
Network interface: ib0 or re0, IP address: 192.168.10.47
Network interface: ib1 or re1, IP address: 192.168.10.48
仲裁磁盘将添加到的 Oracle ASM 磁盘组是 DATAC1。 Oracle ASM 所有者是 grid，用户组是 dba。
在此示例中，我们将在使用仲裁磁盘扩充以产生五个故障组后，将投票文件从正常冗余磁盘组 RECOC1 移动到 DATAC1。
该示例显示集群投票文件从 RECOC1 移动到 DATAC1，但如果您只是将仲裁磁盘添加到高冗余磁盘组并且您已经在其他一些高冗余磁盘组中拥有投票文件，则无需重新定位投票文件。
最初，投票文件驻留在正常冗余磁盘组 RECOC1 上：
$ Grid_home/bin/crsctl query css votedisk
## STATE File Universal Id File Name Disk group
-- ----- ----------------- --------- ---------
1. ONLINE 21f5507a28934f77bf3b7ecf88b26c47 (o/192.168.76.187;192.168.76.188/RECOC1_CD_00_celadm12) [RECOC1]
2. ONLINE 387f71ee81f14f38bfbdf0693451e328 (o/192.168.76.189;192.168.76.190/RECOC1_CD_00_celadm13) [RECOC1]
3. ONLINE 6f7fab62e6054fb8bf167108cdbd2f64 (o/192.168.76.191;192.168.76.192/RECOC1_CD_00_celadm14) [RECOC1]
Located 3 voting disk(s).
如上，vote 盘目前在recoc1 磁盘组（normal冗余）
1）root 登录数据节点db01 和db02
2）检查投票盘是否已经配置，如果配置，跳过此步
# /opt/oracle.SupportTools/quorumdiskmgr --list --config
如果已经配置，输出如下
<18.1
Owner: grid
Group: dba
ifaces: exadata_ib1 exadata_ib0
>=19.1
Owner: grid
Group: dba
ifaces: exadata_ib0
Initiatior name: iqn.1988-12.com.oracle:7a4a399566
如果image 版本>=19.1.0且没升级过，结果可能如下：
Owner: grid
Group: dba
ifaces: exadata_ib0
Initiatior name: iqn.1988-12.com.oracle:192.168.18.205
如果是RoCE 网络，输出如下：
Owner: grid
Group: dba
ifaces: exadata_re0
Initiatior name: iqn.1988-12.com.oracle:192.168.18.205
3）如果上步检查没有创建，则用quorumdiskmgr command with the --create --config 创建仲裁盘配置
For systems with InfiniBand Network Fabric:
# /opt/oracle.SupportTools/quorumdiskmgr --create --config --owner=grid --group=dba --network-iface-list="ib0, ib1"
For systems with RoCE Network Fabric:
# /opt/oracle.SupportTools/quorumdiskmgr --create --config --owner=grid --group=dba --network-iface-list="re0, re1"
4）校验配置完成
# /opt/oracle.SupportTools/quorumdiskmgr --list --config
5）为datac1 创建target，并对数据库节点可见
In this example scenario, the following command would be run on the database servers db01 and db02:
# /opt/oracle.SupportTools/quorumdiskmgr --create --target --asm-disk-group=datac1 --visible-to="192.168.10.45, 192.168.10.46, 192.168.10.47, 192.168.10.48"
6）校验target成功创建
# /opt/oracle.SupportTools/quorumdiskmgr --list --target
--18.x or earlier
Name: iqn.2015-05.com.oracle:QD_DATAC1_DB01
Size: 128 MB
Host name: DB01
ASM disk group name: DATAC1
Visible to: 192.168.10.45, 192.168.10.46, 192.168.10.47, 192.168.10.48
Discovered by:
Name: iqn.2015-05.com.oracle:QD_DATAC1_DB02
Size: 128 MB
Host name: DB02
ASM disk group name: DATAC1
Visible to: 192.168.10.45, 192.168.10.46, 192.168.10.47, 192.168.10.48
Discovered by:
-19.x or later
Name: iqn.2015-05.com.oracle:QD_DATAC1_DB01
Size: 128 MB
Host name: DB01
ASM disk group name: DATAC1
Visible to: 192.168.10.45, 192.168.10.46, 192.168.10.47,
192.168.10.48, iqn.1988-12.com.oracle:ee657eb81b53,
iqn.1988-12.com.oracle:db357ba82b24
Name: iqn.2015-05.com.oracle:QD_DATAC1_DB02
Size: 128 MB
Host name: DB02
ASM disk group name: DATAC1
Visible to: 192.168.10.45, 192.168.10.46, 192.168.10.47,
192.168.10.48, iqn.1988-12.com.oracle:ee657eb81b53,
iqn.1988-12.com.oracle:db357ba82b24
注意：仅当您的系统是从早于 Oracle Exadata 系统软件版本 19.1.0 的版本升级时，输出才会在可见列表中显示 IP 地址和启动器名称。 否则，“可见”列表仅显示其中的 IP 地址。
7）创建设备
In this example scenario, the following command would be run on the database servers db01 and db02:
# /opt/oracle.SupportTools/quorumdiskmgr --create --device --target-ip-list="192.168.10.45, 192.168.10.46,
192.168.10.47, 192.168.10.48"
8）校验设备创建成功
# /opt/oracle.SupportTools/quorumdiskmgr --list --device
Device path: /dev/exadata_quorum/QD_DATAC1_DB01
Size: 128 MB
Host name: DB01
ASM disk group name: DATAC1
Device path: /dev/exadata_quorum/QD_DATAC1_DB02
Size: 128 MB
Host name: DB02
ASM disk group name: DATAC1
9）su - grid ，访问asm
10）调整参数asm_diskstring initialization parameter and add /dev/exadata_quorum/*
show parameter asm_diskstring
SQL> ALTER SYSTEM SET asm_diskstring='o/*/DATAC1_*','o/*/RECOC1_*','/dev/exadata_quorum/*' scope=both sid='*';
11)校验asm能识别到了设备
SQL> set linesize 200
SQL> col path format a50
SQL> SELECT inst_id, label, path, mode_status, header_status
FROM gv$asm_disk WHERE path LIKE '/dev/exadata_quorum/%';
INST_ID LABEL PATH MODE_STATUS HEADER_STATUS
------- -------------- ---------------------------------- ----------- -------------
1 QD_DATAC1_DB01 /dev/exadata_quorum/QD_DATAC1_DB01 ONLINE CANDIDATE
1 QD_DATAC1_DB02 /dev/exadata_quorum/QD_DATAC1_DB02 ONLINE CANDIDATE
2 QD_DATAC1_DB01 /dev/exadata_quorum/QD_DATAC1_DB01 ONLINE CANDIDATE
2 QD_DATAC1_DB02 /dev/exadata_quorum/QD_DATAC1_DB02 ONLINE CANDIDATE
12）将仲裁盘增加到高冗余的磁盘组
如果没有高冗余磁盘组，则创建一个高冗余磁盘组并包含新的仲裁磁盘。 例如：
SQL> CREATE DISKGROUP DATAC1 HIGH REDUNDANCY ADD
QUORUM FAILGROUP db01 DISK '/dev/exadata_quorum/QD_DATAC1_DB01'
QUORUM FAILGROUP db02 DISK '/dev/exadata_quorum/QD_DATAC1_DB02' ...
如果高冗余的磁盘组已经存在，则增加
SQL> ALTER DISKGROUP DATAC1 ADD
QUORUM FAILGROUP db01 DISK '/dev/exadata_quorum/QD_DATAC1_DB01'
QUORUM FAILGROUP db02 DISK '/dev/exadata_quorum/QD_DATAC1_DB02';
提示：故障组名称应与 QD_disk_group_name_ 之后的设备路径的最后一部分匹配。 在此示例中，故障组名称为 DB01 和 DB02。
13）校验仲裁盘在asm磁盘组中的状态从CANDIDATE to MEMBER
SQL> set linesize 200
SQL> col path format a50
SQL> SELECT inst_id, label, path, mode_status, header_status
FROM gv$asm_disk WHERE path LIKE '/dev/exadata_quorum/%';
INST_ID LABEL PATH MODE_STATUS HEADER_STATUS
------- -------------- ---------------------------------- ----------- -------------
1 QD_DATAC1_DB01 /dev/exadata_quorum/QD_DATAC1_DB01 ONLINE MEMBER
1 QD_DATAC1_DB02 /dev/exadata_quorum/QD_DATAC1_DB02 ONLINE MEMBER
2 QD_DATAC1_DB01 /dev/exadata_quorum/QD_DATAC1_DB01 ONLINE MEMBER
2 QD_DATAC1_DB02 /dev/exadata_quorum/QD_DATAC1_DB02 ONLINE MEMBER
14）如果要将投票文件从正常冗余磁盘组移动到具有 5 个五个仲裁磁盘的高冗余磁盘组，您现在可以重新定位投票文件。
$ Grid_home/bin/crsctl replace votedisk +DATAC1
15）校验relocate 成功
$ crsctl query css votedisk
## STATE File Universal Id File Name Disk group
-- ----- ----------------- --------- ---------
1. ONLINE ca2f1b57873f4ff4bf1dfb78824f2912 (o/192.168.10.42/DATAC1_CD_09_celadm12) [DATAC1]
2. ONLINE a8c3609a3dd44f53bf17c89429c6ebe6 (o/192.168.10.43/DATAC1_CD_09_celadm13) [DATAC1]
3. ONLINE cafb7e95a5be4f00bf10bc094469cad9 (o/192.168.10.44/DATAC1_CD_09_celadm14) [DATAC1]
4. ONLINE 4dca8fb7bd594f6ebf8321ac23e53434 (/dev/exadata_quorum/QD_ DATAC1_DB01) [DATAC1]
5. ONLINE 4948b73db0514f47bf94ee53b98fdb51 (/dev/exadata_quorum/QD_ DATAC1_DB02) [DATAC1]
Located 5 voting disk(s).
16）将口令文件移动到high 冗余的DG
a)查看当前口令文件的位置
$ asmcmd pwget --asm
b)移动到高冗余
$ asmcmd pwmove --asm full_path_of_source_file full_path_of_destination_file
--示例：
$ asmcmd pwmove --asm +recoc1/ASM/PASSWORD/pwdasm.256.898960531 +datac1/asmpwdfile
17）移动spfile 到高冗余
a)获取当前spfile 位置
$ asmcmd spget
b)copy 到high 冗余dg
$ asmcmd spcopy full_path_of_source_file full_path_of_destination_file
c)修改gi 配置，下次启动生效
$ asmcmd spset full_path_of_destination_file
d)如果条件允许，重启gi
# Grid_home/bin/crsctl stop crs
# Grid_home/bin/crsctl start crs
18）MGMTDB 移动到high 冗余dg
请参考1589394.1 进行移动
19）可选，重启gi
# Grid_home/bin/crsctl stop crs
# Grid_home/bin/crsctl start crs
6.重建仲裁盘
在某些情况下，您可能需要重新创建仲裁磁盘。
以下是您可能需要重新创建仲裁磁盘的一些示例：
重新创建 guest domU 时
如果在未先从 Oracle ASM 磁盘组中删除仲裁磁盘的情况下删除了仲裁磁盘
1)强制删除仲裁盘
ALTER DISKGROUP dg_name DROP QUORUM DISK disk_name FORCE;
2）参考“Adding Quorum Disks to Database Nodes” 增加一个仲裁盘
7.使用案例：
略
8.恢复数据库服务器后重新配置仲裁磁盘
还原数据库服务器后，lvdisplay 显示仲裁磁盘未还原。
还原数据库服务器时，Exadata 映像救援模式会还原磁盘和文件系统的布局，自定义分区除外，包括仲裁磁盘。 这些文件必须在从备份恢复后重新创建。
为仲裁磁盘创建的逻辑卷位于 /dev/VGExaDb 中，并具有名称前缀 LVDbVd*。
1）使用在 /etc/lvm/archive 下备份的配置，为每个节点上的仲裁磁盘创建一个逻辑卷 (LV)。
# lvcreate -L 128MB -n <LVName> VGExaDb
2）重启所有的服务节点
# shutdown -r now
3）校验仲裁盘被还原
# /opt/oracle.SupportTools/quorumdiskmgr --list --config
Owner: grid
Group: dba
ifaces: exadata_ib1 exadata_ib0
# /opt/oracle.SupportTools/quorumdiskmgr --list --target
Name: iqn.2015-05.com.oracle:QD_DATAC1_DB01
Host name: DB01
ASM disk group name: DATAC1
Size: 128 MB
Visible to: 192.168.10.45, 192.168.10.46
Discovered by: 192.168.10.45, 192.168.10.46
# /opt/oracle.SupportTools/quorumdiskmgr --list --device
Device path: /dev/exadata_quorum/QD_DATAC1_DB01
Host name: DB01
ASM disk group name: DATAC1
Size: 128 MB
Device path: /dev/exadata_quorum/QD_DATAL1_DB01
Host name: DB01
ASM disk group name: DATAC1
Size: 128 MB
4）检查集群中的vote disk 是否有效
# crsctl query css votedisk
## STATE File Universal Id
File Name Disk group
-- ----- ----------------- ------------------------------------ -----------
1. ONLINE ca2f1b57873f4ff4bf1dfb78824f2912 (o/192.168.10.42/DATAC1_CD_09_celadm12) [DATAC1]
2. ONLINE a8c3609a3dd44f53bf17c89429c6ebe6 (o/192.168.10.43/DATAC1_CD_09_celadm13) [DATAC1]
3. ONLINE 4948b73db0514f47bf94ee53b98fdb51 (/dev/exadata_quorum/QD_ DATAC1_DB02) [DATAC1]
4. ONLINE cafb7e95a5be4f00bf10bc094469cad9 (o/192.168.10.44/DATAC1_CD_09_celadm14) [DATAC1]
Located 4 voting disk(s).
请注意，已恢复的数据库服务器 (DB01) 缺少一个表决磁盘。 如果您查询 V$ASM_DISK，您可以看到仲裁磁盘已被恢复过程脱机。
SQL> set line 200
col LABEL for a20
col path for a30
col mode_status for a20
col header_status for a30
SELECT label, path, mode_status, header_status, mount_status
FROM v$asm_disk
WHERE path LIKE '/dev/%';
LABEL PATH MODE_STATUS
HEADER_STATUS MOUNT_S
-------------------- ------------------------------ --------------------
------------------------------ -------
QD_DATAC1_DB01 /dev/exadata_quorum/QD_DATAC1_ ONLINE CANDIDATE CLOSED
QD_DATAC1_DB02 /dev/exadata_quorum/QD_DATAC1_ ONLINE MEMBER CACHED
5）强制删除
SQL> alter diskgroup DATA_C1 drop quorum disk QD_DATAC1_DB01 force;
6）再增加到asm
SQL> alter diskgroup DATA_C1 add quorum failgroup DB01 disk '/dev/exadata_quorum/QD_DATAC1_DB01';
7）检查2个仲裁盘都正常
SQL> SELECT label, path, mode_status, header_status, mount_status
FROM v$asm_disk
WHERE path LIKE '/dev/%';
LABEL PATH MODE_STATUS
HEADER_STATUS MOUNT_S
-------------------- ------------------------------ --------------------
------------------------------ -------
QD_DATAC1_DB01 /dev/exadata_quorum/QD_DATAC1_ ONLINE MEMBER CACHED
QD_DATAC1_DB02 /dev/exadata_quorum/QD_DATAC1_ ONLINE MEMBER CACHED
8）检查集群内的vote disk 也正常
# crsctl query css votedisk
## STATE File Universal Id
File Name Disk group
-- ----- -----------------
------------------------------------ -----------
1. ONLINE ca2f1b57873f4ff4bf1dfb78824f2912
(o/192.168.10.42/DATAC1_CD_09_celadm12) [DATAC1]
2. ONLINE a8c3609a3dd44f53bf17c89429c6ebe6
(o/192.168.10.43/DATAC1_CD_09_celadm13) [DATAC1]
3. ONLINE 4948b73db0514f47bf94ee53b98fdb51
(/dev/exadata_quorum/QD_ DATAC1_DB02) [DATAC1]
4. ONLINE cafb7e95a5be4f00bf10bc094469cad9
(o/192.168.10.44/DATAC1_CD_09_celadm14) [DATAC1]
5. ONLINE 4dca8fb7bd594f6ebf8321ac23e53434
(/dev/exadata_quorum/QD_ DATAC1_DB01) [DATAC1]
Located 5 voting disk(s).
|
|
发表于 2022-1-18 18:32:47