【读书】Exadata 存储设计

Exadata存储设计  --- 摘自《深入理解Oracle Exadata》

1、  存储策略

Exadata的每个存储节点都是一个小型智能SAN，它独立于机柜中的其他存储节点运行。存储节点可以通过以下方式配置，机柜中所有的存储节点为机柜中所有的数据库提供存储服务，这样做可以为系统中的每一个数据库提供最高的IO性能和数据传输率，也可以使用cellip.ora文件将存储节点配置成只为某些特定的数据库服务器服务。另外，通过使用存储域（storage realm）的方法，节点安全策略可以把节点的访问权限只提供给特定的数据库或ASM实例。

隔离存储节点访问例子：

生产环境数据库服务器1~6

生产环境存储节点1~11

/etc/oracle/cell/network-config/cellip.ora

cell="192.168.12.9"

dm01cel01 192.168.12.9

cell="192.168.12.10"

dm01cel02 192.168.12.10

cell="192.168.12.11"

dm01cel03 192.168.12.11

cell="192.168.12.12"

dm01cel04 192.168.12.12

cell="192.168.12.13"

dm01cel05 192.168.12.13

cell="192.168.12.14"

dm01cel06 192.168.12.14

cell="192.168.12.15"

dm01cel07 192.168.12.15

cell="192.168.12.16"

dm01cel08 192.168.12.16

cell="192.168.12.17"

dm01cel09 192.168.12.17

cell="192.168.12.18"

dm01cel10 192.168.12.18

cell="192.168.12.19"

dm01cel11 192.168.12.19

测试环境数据库服务器7~8

测试环境存储节点12~14

/etc/oracle/cell/network-config/cellip.ora

cell="192.168.12.20"

dm01cel12 192.168.12.20

cell="192.168.12.21"

dm01cel13 192.168.12.21

cell="192.168.12.22"

dm01cel14 192.168.12.22

 

2、  节点安全策略

除了通过网络地址隔离存储节点，Exadata还提供了一种安全访问存储节点内特定网格盘的方法。存储节点上维护了一个访问控制列表（ACL），网格盘被定义为可以被特定的ASM集群所访问，也可以是ASM集群中的特定数据库。在默认情况下，节点安全策略是开放的，允许系统内所有的ASM集群和数据库访问所有的网格盘。节点安全策略在两个层次上控制访问网格盘：ASM集群和数据库。

ASM范围安全策略（ASM-scopedsecurity）：ASM范围安全策略通过ASM集群限制访问网格盘，这是节点安全策略的第一个层次。它允许ASM集群内的所有数据库访问所有ASM实例管理的网格盘。

数据库范围安全策略（database-scopedsecurity）：一旦配置了ASM范围安全策略，可以在数据库级别使用数据库范围安全策略进一步控制访问网格盘。数据库范围安全策略最适合用于ASM集群中的数据库只访问ASM实例管理的部分网格盘。

2.1.       节点安全策略的术语

存储域（Storage Realm）：一组共享相同安全域（security domain）的网格盘称为一个存储域。

安全密钥（Security Key）：安全密钥用来向存储域认证ASM和数据库客户端，它提示用来加密存储节点、ASM和数据库之间的信息传递。安全密钥使用CellCLI的命令create key创建，然后使用CellCLI的命令assign key将密钥分配给网格盘。

cellkey.ora：cellkey.ora文件存储在数据库服务器上，一个cellkey.ora文件用于ASM范围安全策略，另一个cellkey.ora文件用于每个需要数据库范围按错了的数据库。cellkey.ora文件用于识别安全密钥、存储域以及ASM集群或者数据库的唯一名字。

Cellkey.ora文件的内容

字段

描述

Key

这是存储节点使用create key命令产生的安全密钥，该密钥用来向存储域认证ASM集群和数据库对于ASM范围安全策略来说，该值必须使用assign key命令分配给ASM集群的安全密钥相匹配对于数据库范围安全策略来说，该值必须与使用assign key命令分配给数据库的安全密钥相匹配。

asm

这是ASM集群的唯一名字，对应ASM实例中的DB_UNIQUE_NAME参数。它用来关联ASM集群和存储域中的网格盘的availableTo属性。使用CelCLI的create griddisk和alter griddisk命令将网格盘分配给这个值对应的ASM。

realm

此字段是可选，如果使用的话，这个值必须与使用CellCLI的alert cell realmName命令分配给存储节点的realmName属性想匹配

 

2.2.       节点安全策略最佳实践

遵循Oracle公司的最佳实践是配置存储安全的重要部分，将为用户节省大量的时间和经历。

l  如果使用数据库范围安全策略，ASM集群中所有的数据库都必须使用。

l  确保一个ASM集群中所有服务器上的ASMcellkey.ora文件的内容、属性和权限完全相同。

l  正如ASMcellkey.ora文件一样，确保所有服务器上的数据库cellkey.ora文件的内容、属主和内容完全相同。

l  确保所有属于相同ASM磁盘组的网格盘在存储节点端的安全设置都是相同的。

l  确保cellkey.ora文件和节点命令在所有节点和服务器上一致地执行，这是非常重要的。使用dcli工具分发cellkey.ora文件可以减少人为错误的可能性。

 

2.3.       配置ASM范围安全策略

使用ASM范围安全策略，ASM集群使用DB_UNIQUE_NAME参数和一个安全密钥向存储节点申请认证。安全密钥在存储节点上创建并存储在数据库服务器的cellkey.ora文件中，存储节点上定义了一个访问控制列表（ACL），用于验证从ASM接收到的安全密钥。每个网格盘的availableTo属性显示允许哪些ASM集群访问它（默认为空）。

可以先看一下当前griddisk的availableTo属性的值，均为空：

         CellCLI>list griddisk attributes name,availableTo,status

        data_CD_disk01_cell02          active

        data_CD_disk02_cell02          active

        data_CD_disk03_cell02          active

        data_CD_disk04_cell02          active

        data_CD_disk05_cell02          active

        data_CD_disk06_cell02          active

        data_CD_disk07_cell02          active

        data_CD_disk08_cell02          active

        data_CD_disk09_cell02          active

        data_CD_disk10_cell02          active

        data_CD_disk11_cell02           active

        data_CD_disk12_cell02          active

配置步骤如下：

1)        关闭ASM集群中所有的数据库和ASM实例。

2)        使用CellCLI的create key命令创建安全密钥：

CellCLI>create key

        dadfce9bcdb07fe7bd4f6d7a6bf26154

这样就简单地创建了密钥，但它不会自动存储。Createkey命令只是需要在任意存储节点上运行一次即可。这个安全密钥将被分配给ASM集群cellkey.ora文件中的key字段。

3)        创建一个cellkey.ora文件，它安装在配置该ASM集群的每个数据库服务器的/etc/oracle/cell/network-config/目录下。设置改文件的属主为ASM软件安装过程中指定的用户组，文件的权限应该运行它能够被用户属主和组属主读取。如：

[root@dmdb02network-config]# cat cellkey.ora

key=dadfce9bcdb07fe7bd4f6d7a6bf26154

asm=+ASM

realm=customer_A_realm

 

[root@dmdb02 network-config]# chowngrid:oinstall cellkey.ora

[root@dmdb02 network-config]# chmod644 cellkey.ora

[root@dmdb02 network-config]# ls -l cellkey.ora

-rw-r--r-- 1 grid oinstall 69 Feb 2214:40 cellkey.ora

把这个文件带属性的负责到其他所有节点上

[grid@dmdb02 network-config]$ scp -p cellkey.oradmdb01:/etc/oracle/cell/network-config/

cellkey.ora                                                                                                               100%   69     0.1KB/s  00:00   

注意，如果文件中定义了一个域，它必须与使用alert cell realm=命令分配给存储节点的域名城相同。

4)        使用shou parameter命令从ASM实例中得到ASM集群的DB_UNIQUE_NAME参数值（这一步实际上应该放在第一步，否则第一步中关闭ASM后这一步就执行不了了）。

SQL> showparameter db_unique_name

NAME                                 TYPE                              VALUE

--------------------------------------------------------------------- ------------------------------

db_unique_name                       string                            +ASM

5)        使用CellCLI的assign key命令分配安全密钥给ASM集群，该命令必须在每个希望让ASM集群访问的存储节点上运行（本例中分配存储节点1和2，则在这两个节点上执行）。

CellCLI>ASSIGN KEY FOR +ASM='dadfce9bcdb07fe7bd4f6d7a6bf26154'

Key for +ASMsuccessfully created

6)        使用CellCLI的create griddisk命令，设置每个希望让ASM集群访问的网格盘的availableTo属性，使用以下命令完成节点上所有网格盘的设置（创建）：

CellCLI>create griddisk all prefix='data',size=128G,availableTo='+ASM'

7)        对于已经存在的网格盘，可以使用alter griddisk命令设置安全策略：

CellCLI> alter griddisk allavailableTo='+ASM'

GridDiskdata_CD_disk01_cell01 successfully altered

GridDiskdata_CD_disk02_cell01 successfully altered

GridDiskdata_CD_disk03_cell01 successfully altered

GridDisk data_CD_disk04_cell01successfully altered

GridDiskdata_CD_disk05_cell01 successfully altered

GridDiskdata_CD_disk06_cell01 successfully altered

GridDiskdata_CD_disk07_cell01 successfully altered

GridDiskdata_CD_disk08_cell01 successfully altered

GridDiskdata_CD_disk09_cell01 successfully altered

GridDiskdata_CD_disk10_cell01 successfully altered

GridDiskdata_CD_disk11_cell01 successfully altered

GridDiskdata_CD_disk12_cell01 successfully altered

8)        也可以使用以下命令设置部分网格盘的安全策略：

CellCLI> alter griddiskdata_CD_disk01_cell02,-

                        data_CD_disk02_cell02,-

                        data_CD_disk03_cell02,-

                        data_CD_disk04_cell02,-

                        data_CD_disk05_cell02,-

                        data_CD_disk06_cell02,-

                        data_CD_disk07_cell02,-

                        data_CD_disk08_cell02,-

                        data_CD_disk09_cell02,-

                        data_CD_disk10_cell02,-

                        data_CD_disk11_cell02,-

                        data_CD_disk12_cell02 -

                        availableTo='+ASM'

GridDiskdata_CD_disk01_cell02 successfully altered

GridDiskdata_CD_disk02_cell02 successfully altered

GridDiskdata_CD_disk03_cell02 successfully altered

GridDiskdata_CD_disk04_cell02 successfully altered

GridDiskdata_CD_disk05_cell02 successfully altered

GridDiskdata_CD_disk06_cell02 successfully altered

GridDiskdata_CD_disk07_cell02 successfully altered

GridDisk data_CD_disk08_cell02successfully altered

GridDiskdata_CD_disk09_cell02 successfully altered

GridDiskdata_CD_disk10_cell02 successfully altered

GridDiskdata_CD_disk11_cell02 successfully altered

GridDiskdata_CD_disk12_cell02 successfully altered

9)        现在可以查看所有存储节点上网格盘的availableTo属性的值了

CellCLI> listgriddisk attributes name,availableTo,status  

         data_CD_disk01_cell01   +ASM   active

         data_CD_disk02_cell01   +ASM   active

         data_CD_disk03_cell01   +ASM   active

         data_CD_disk04_cell01   +ASM   active

         data_CD_disk05_cell01   +ASM   active

         data_CD_disk06_cell01   +ASM   active

         data_CD_disk07_cell01   +ASM   active

         data_CD_disk08_cell01   +ASM   active

         data_CD_disk09_cell01   +ASM    active

         data_CD_disk10_cell01   +ASM   active

         data_CD_disk11_cell01   +ASM   active

         data_CD_disk12_cell01   +ASM   active

CellCLI> listgriddisk attributes name,availableTo,status

         data_CD_disk01_cell02   +ASM   active

         data_CD_disk02_cell02   +ASM   active

         data_CD_disk03_cell02   +ASM   active

         data_CD_disk04_cell02   +ASM   active

         data_CD_disk05_cell02   +ASM   active

         data_CD_disk06_cell02   +ASM   active

         data_CD_disk07_cell02   +ASM   active

         data_CD_disk08_cell02   +ASM   active

         data_CD_disk09_cell02   +ASM   active

         data_CD_disk10_cell02   +ASM   active

         data_CD_disk11_cell02   +ASM   active

         data_CD_disk12_cell02   +ASM   active

CellCLI> listgriddisk attributes name,availableTo,status

         data_CD_disk01_cell03           active

         data_CD_disk02_cell03           active

         data_CD_disk03_cell03           active

         data_CD_disk04_cell03           active

         data_CD_disk05_cell03           active

         data_CD_disk06_cell03           active

         data_CD_disk07_cell03           active

         data_CD_disk08_cell03           active

         data_CD_disk09_cell03           active

         data_CD_disk10_cell03           active

         data_CD_disk11_cell03           active

         data_CD_disk12_cell03           active

         完成ASM范围安全策略的配置后，现在可以重启ASM集群和所有的数据库，当ASM启动后，它将检查cellkey.ora文件，并且传递密钥给存储节点，以获得网格盘的访问权限。

         注明：此次配置ASM范围安全策略，实际上最终是失败的，因此此时去设置访问控制，则将导致数据库可访问的磁盘数据是不完整的（如本例中修改ASM只能访问存储节点1和2的网格盘，将导致此时ASM无法访问存储节点3上的数据，数据是不完整的），最终就是ASM和数据库均无法启动，这告诉我们一个事实就是：设置ASM范围安全策略只能在初始化阶段进行。

2.4.       配置数据库范围安全策略

数据库范围安全策略锁定ASM集群中的数据库只访问特定的网格盘，当多个数据库共享相同的ASM集群时，可以用它实现对网格盘的访问控制。在实施数据库范围安全策略之前，ASM范围安全策略必须已经配置并验证通过。

当使用数据库范围安全策略时，数据库服务器上的每个数据库都将会有一个cellkey.ora文件，并且每个数据库在存储节点上都有一个ACL条目。

配置步骤如下，数据库分别是osdbso和sodbos：

1)        关闭ASM集群中素有的数据库和ASM实例

2)        使用CellCLI的create key 命令创建安全密钥：

CellCLI>create key

        8fd4a3a4eb5d83f3f676630ae8bb274f

CellCLI>create key

        8db9d287a554c3ef99e0ab0285d6750c

Create key命令必须为ASM集群中的每个数据库运行一次，它可以在任意一个存储节点上运行。ASM集群中的每个数据库将会被分配一个安全密钥，保存在数据库的cellkey.ora文件的key字段中。

3)        使用步骤2中创建的密钥，为每个数据库创建一个cellkey.ora文件。

Cellkey.ora文件安装在每个将要配置数据库范围安全策略的数据库服务器上的$ORACLE_HOME/admin/{db_unique_name}/pfile目录下。与配置ASM范围安全策略一样，设置文件的属主为ASM软件安装过程中指定的用户和组，文件的权限应该运行它能被该文件的用户属主和组属主所读取。如：

[oracle@dmdb02 osdbso]$ cat/soft/product/11.2.0.1/dbh/admin/osdbso/cellkey.ora

key=8fd4a3a4eb5d83f3f676630ae8bb274f

asm=+ASM

realm=customer_A_realm

 

[root@dmdb02 osdbso]# chown grid:oinstall /soft/product/11.2.0.1/dbh/admin/osdbso/cellkey.ora

[root@dmdb02 osdbso]# chmod 644 /soft/product/11.2.0.1/dbh/admin/osdbso/cellkey.ora

[root@dmdb02 osdbso]# ls -l/soft/product/11.2.0.1/dbh/admin/osdbso/cellkey.ora

-rw-r--r-- 1 grid oinstall 69 Feb 22 15:55/soft/product/11.2.0.1/dbh/admin/osdbso/cellkey.ora

 

[root@dmdb02sodbos]# cat /soft/product/11.2.0.1/dbh/admin/sodbos/cellkey.ora

key=8db9d287a554c3ef99e0ab0285d6750c

asm=+ASM

realm=customer_A_realm

[root@dmdb02sodbos]# chown grid:oinstall/soft/product/11.2.0.1/dbh/admin/sodbos/cellkey.ora

[root@dmdb02sodbos]# chmod 644 /soft/product/11.2.0.1/dbh/admin/sodbos/cellkey.ora

[root@dmdb02sodbos]# ls -l /soft/product/11.2.0.1/dbh/admin/sodbos/cellkey.ora

-rw-r--r-- 1grid oinstall 69 Feb 22 15:57/soft/product/11.2.0.1/dbh/admin/sodbos/cellkey.ora

注意，如果文件中定义了一个域，它必须与使用alert cell realm=命令分配给存储节点的域名称相同。

4)        使用show parameter命令从数据库中得到每个正在配置的数据库的DB_UNIQUE_NAME参数值（同样的这一步应该是第一步）：

16:00:14 osdbso2@SYS> show parameter db_unique_name

 

NAME                                 TYPE        VALUE

------------------------------------ -----------------------------------------

db_unique_name                      string      osdbso

 

16:00:14 sodbso2@SYS> show parameter db_unique_name

 

NAME                                 TYPE        VALUE

------------------------------------ -----------------------------------------

db_unique_name                      string      sodbso

 

5)        使用CellCLI的assign key命令为每个正在配置的数据库指定安全密钥，这必须在每个想让osdbso和sodbos数据库访问的存储节点上运行。以下命令分配密钥给DB_UNIQUE_NAME为osdbso和sodbos的数据库：

CellCLI>ASSIGN KEY FORosdbso='8fd4a3a4eb5d83f3f676630ae8bb274f',sodbos='8db9d287a554c3ef99e0ab0285d6750c'

Key for osdbsosuccessfully created

Key for sodbossuccessfully created

6)        验证密钥是否正确分配

CellCLI> listkey

         osdbso    8fd4a3a4eb5d83f3f676630ae8bb274f

         sodbos    8db9d287a554c3ef99e0ab0285d6750c

7)        使用CellCLI的create griddisk，为每个数据库创建可以访问的网格盘，注意，ASM和数据库的唯一标识（DB_UNIQUE_NAME）都一起包含在分配命令中。

CellCLI>create griddisk data_CD_disk01_cell01 availableTo='+ASM,OSDBSO'

CellCLI>create griddisk data_CD_disk02_cell01 availableTo='+ASM,SODBOS'

8)        可以用alter griddisk命令修改网格盘的安全分配规则

CellCLI>alter griddisk data_CD_disk01_cell01 availableTo='+ASM,OSDBSO'

CellCLI>alter griddisk data_CD_disk02_cell01 availableTo='+ASM,SODBOS'

完成了osdbso和sodbos数据库的数据库范围安全策略配置后，现在可以重启ASM集群和所有的数据库。Osdbso数据库现在可以访问data_CD_disk01_cell01网格盘，而sodbos数据库可以访问data_CD_disk02_cell01网格盘。

注明：同样这里的使用也是不成功的，只是仿造了操作步骤。

 

2.5.       闪存节点安全策略

节点安全策略一旦实施，可以根据需要更新存储节点上的ACL，并修改网格盘的availableTo属性，从而更改节点安全策略。删除节点安全策略是一个相当简单的过程，回退数据库安全策略，然后删除ASM安全策略。

删除节点安全策略的第一步是删除数据库范围安全策略，一下步骤将会从系统中删除它。

(1)      删除数据库安全策略前，必须关闭数据库和ASM集群。

(2)      使用CellCLI的alter griddisk命令从网格盘的availableTo属性删除数据库。这个命令无法从列表中选择性删除数据库，它只是简单地重新定义了整个列表。请注意，在这里我们仅仅从列表中删除了数据库，ASM的唯一标识仍然保留在列表中。这个操作必须在每个想要删除安全策略的存储节点上运行。

CellCLI>alter griddisk data_CD_disk01_cell01 availableTo='+ASM'

CellCLI>alter griddisk data_CD_disk02_cell01 availableTo='+ASM'

也可以使用以下命令将数据库从所有已经设置安全策略的网格盘中删除

CellCLI>alter griddisk data_CD_disk01_cell01,data_CD_disk02_cell01 availableTo='+ASM'

假设这些数据库没有在节点内任何其他的网格盘上配置安全策略，可以使用以下命令删除存储节点上的ACL列表中的安全密钥：

CellCLI>ASSIGN KEY FOR osdbso='',sodbos=''

Key for osdbsosuccessfully dropped

Key for sodbossuccessfully dropped

(3)      删除位于$ORACLE_HOME/admin/{db_unique_name}/pfile目录下的数据库客户端的cellkey.ora文件。

(4)      现在可以从数据库服务器上删除osdbs和sodbos数据库的cellkey.ora文件

[oracle@dmdb02~]$ rm /soft/product/11.2.0.1/dbh/admin/osdbso/cellkey.ora

rm: removewrite-protected regular file`/soft/product/11.2.0.1/dbh/admin/osdbso/cellkey.ora'? y

[oracle@dmdb02~]$ rm /soft/product/11.2.0.1/dbh/admin/sodbos/cellkey.ora

rm: removewrite-protected regular file`/soft/product/11.2.0.1/dbh/admin/sodbos/cellkey.ora'? y

(5)      使用以下CellCLI命令，验证osdbso和sodbos数据库不在分配任何网格盘

CellCLI> listgriddisk attributes name,availableTo,status     

一旦删除数据库范围安全策略，就可以删除ASM范围安全策略，这将是系统返回到开放的安全状态。以下步骤将删除ASM范围安全策略，一旦完成这些步骤，网格盘将对存储网络中所有的ASM集群和数据库课件。

(1)      在继续此过程之前，请确认已经完全删除数据库范围安全策略。List key 命令应该只显示出分配给ASM集群的密钥，此时不应该有分配给数据库的密钥，如：

CellCLI> listkey detail

         name:                   +ASM

         key:                   dadfce9bcdb07fe7bd4f6d7a6bf26154

运行list griddisk命令列出所有分配给ASM集群的网格盘的名称。

CellCLI> listgriddisk attributes name,availableTo,status     

         data_CD_disk01_cell02   +ASM   active

         data_CD_disk02_cell02   +ASM   active

         data_CD_disk03_cell02   +ASM   active

         data_CD_disk04_cell02   +ASM   active

         data_CD_disk05_cell02   +ASM   active

         data_CD_disk06_cell02   +ASM   active

         data_CD_disk07_cell02   +ASM   active

         data_CD_disk08_cell02   +ASM   active

         data_CD_disk09_cell02   +ASM   active

         data_CD_disk10_cell02   +ASM   active

         data_CD_disk11_cell02   +ASM   active

         data_CD_disk12_cell02   +ASM   active

(2)      删除所有网格盘的availableTo属性中的ASM唯一标识，所有已配置的存储节点上执行

CellCLI>alter griddisk all availableTo=''

GridDisk data_CD_disk01_cell01successfully altered

GridDiskdata_CD_disk02_cell01 successfully altered

GridDiskdata_CD_disk03_cell01 successfully altered

GridDiskdata_CD_disk04_cell01 successfully altered

GridDiskdata_CD_disk05_cell01 successfully altered

GridDiskdata_CD_disk06_cell01 successfully altered

GridDiskdata_CD_disk07_cell01 successfully altered

GridDiskdata_CD_disk08_cell01 successfully altered

GridDiskdata_CD_disk09_cell01 successfully altered

GridDiskdata_CD_disk10_cell01 successfully altered

GridDiskdata_CD_disk11_cell01 successfully altered

GridDiskdata_CD_disk12_cell01 successfully altered

一下命令可以删除分配给指定网格盘的ASM集群

CellCLI>alter griddisk data_CD_disk01_cell02,-

                        data_CD_disk02_cell02,-

                        data_CD_disk03_cell02,-

                        data_CD_disk04_cell02,-

                        data_CD_disk05_cell02,-

                        data_CD_disk06_cell02,-

                        data_CD_disk07_cell02,-

                        data_CD_disk08_cell02,-

                        data_CD_disk09_cell02,-

                        data_CD_disk10_cell02,-

                        data_CD_disk11_cell02,-

                        data_CD_disk12_cell02 -

                        availableTo=''

GridDisk data_CD_disk01_cell02successfully altered

GridDiskdata_CD_disk02_cell02 successfully altered

GridDiskdata_CD_disk03_cell02 successfully altered

GridDiskdata_CD_disk04_cell02 successfully altered

GridDiskdata_CD_disk05_cell02 successfully altered

GridDiskdata_CD_disk06_cell02 successfully altered

GridDiskdata_CD_disk07_cell02 successfully altered

GridDiskdata_CD_disk08_cell02 successfully altered

GridDiskdata_CD_disk09_cell02 successfully altered

GridDiskdata_CD_disk10_cell02 successfully altered

GridDiskdata_CD_disk11_cell02 successfully altered

GridDiskdata_CD_disk12_cell02 successfully altered

(3)      运行一下命令从ACL中删除ASM安全策略，所有需要删除的存储节点上执行

CellCLI>assign key for +ASM=''

Key for +ASMsuccessfully dropped

(4)      运行list griddisk命令验证网格盘已经不再分配给任何ASM集群。

CellCLI> listgriddisk attributes name,availableTo,status     

         data_CD_disk01_cell02           active

         data_CD_disk02_cell02           active

         data_CD_disk03_cell02           active

         data_CD_disk04_cell02           active

         data_CD_disk05_cell02           active

         data_CD_disk06_cell02           active

         data_CD_disk07_cell02           active

         data_CD_disk08_cell02           active

         data_CD_disk09_cell02           active

         data_CD_disk10_cell02           active

         data_CD_disk11_cell02           active

         data_CD_disk12_cell02           active

(5)      删除ASM集群中所有数据库服务器上位于/etc/oracle/cell/network-config目录下的cellkey.ora文件

这样就完成了ASM范围安全策略的商场，现在ASM集群以及它的所服务的所有服务器偶读可以重启了。