ASM磁盘多路径及udev配置
1、1：多路径扫描设备[root@node2 ~]# iscsiadm -m discovery -t sendtargets -p 10.10.10.21:3260[root@node2 ~]# iscsiadm -m discovery -t sendtargets -p 10.10.11.21:3260[root@node1 ~]# iscsiadm -m discovery -t sendtargets -p 10.10.10.20:3260[root@node1 ~]# iscsiadm -m discovery -t sendtargets -p 10.10.11.20:3260注意：记得每个存储两个IP都要扫描如果是rac，节点1和节点2都要执行。
4、4：生成w嘛术铹砾wid号[root@node1 ~]# /sbin/scsi_id -g -u -d /dev/sdb1a7131bd2c389eb5髫潋啜缅e79ff34b15e79cb1b[root@node1 ~]# /sbin/scsi_id -g -u -d /dev/sdc15c660fd0fc09e3c02d1612ca0c4511af[root@node1 ~]# /sbin/scsi_id -g -u -d /dev/sdd17f715a111c0c7ef8d05ed2298ab4c412[root@node1 ~]# /sbin/scsi_id -g -u -d /dev/sde196d1ca5c3dfead0634b120b019d48443[root@node1 ~]# /sbin/scsi_id -g -u -d /dev/sdf11ef74500552e6ed7a3c8c80c2ead9306[root@node1 ~]# /sbin/scsi_id -g -u -d /dev/sdg1a7131bd2c389eb5e79ff34b15e79cb1b[root@node1 ~]# /sbin/scsi_id -g -u -d /dev/sdh106a6ab4342a408070ba5cf81fcaeb88c[root@node1 ~]# /sbin/scsi_id -g -u -d /dev/sdi11ef74500552e6ed7a3c8c80c2ead9306[root@node1 ~]# /sbin/scsi_id -g -u -d /dev/sdj17f715a111c0c7ef8d05ed2298ab4c412[root@node1 ~]# /sbin/scsi_id -g -u -d /dev/sdk196d1ca5c3dfead0634b120b019d48443[root@node1 ~]# /sbin/scsi_id -g -u -d /dev/sdl15c660fd0fc09e3c02d1612ca0c4511af[root@node1 ~]# /sbin/scsi_id -g -u -d /dev/sdm106a6ab4342a408070ba5cf81fcaeb88c可以看到两两重复的然后规划好，哪些设备存放集群信息，哪些设备用来存放数据
5、5：YUM安装多路径软件核心软件：device-mapper-multipath-0.4.9-64.el6.x86_64device-mapper-1.02.77-9.el6.x86_64multipath-tools。主要提供multipathd和multipath等工具和 multipath.conf等配置文件。这些工具通过device mapper的ioctr的接口创建和配置multipath设备（调用device-mapper的用户空间库。创建的多路径设备会在/dev/mapper中）device-mapper：主要包括两大部分：内核部分和用户部分。内核部分主要由device mapper核心（dm.ko）和一些target driver（md-multipath.ko）。核心完成设备的映射，而target根据映射关系和自身特点具体处理从mappered device 下来的i/o。同时，在核心部分，提供了一个接口，用户通过ioctr可和内核部分通信，以指导内核驱动的行为，比如如何创建mappered device，这些divece的属性等。linux device mapper的用户空间部分主要包括device-mapper这个包。其中包括dmsetup工具和一些帮助创建和配置mappered device的库。这些库主要抽象，封装了与ioctr通信的接口，以便方便创建和配置mappered device。multipath-tool的程序中就需要调用这些库YUM软件安装可以参考我的经验：rhel6.4 yum本地yum源配置http://jingyan.baidu.com/article/59a015e340de67f7948865bc.html
6、6：启动多路径服务并配置永久生效[root@node1 Packages]# /etc/init.d/multipathd startStarting multipathd daemon: [ OK ][root@node1 Packages]# chkconfig --list | grep multipathdmultipathd 0:off 1:off 2:off 3:off 4:off 5:off 6:off[root@node1 Packages]# chkconfig --level 345 multipathd on[root@node1 Packages]# chkconfig --list | grep multipathdmultipathd 0:off 1:off 2:off 3:on 4:on 5:on 6:off
8、8：使用udev规茸垂扌馔则修改设备读写权限vi /etc/udev/rules.d/99-oracle-asmdevices.rulesKERNEL=="dm-0", OWNER="grid", GROUP="asmadmin", MODE="0660"KERNEL=="dm-1", OWNER="oracle", GROUP="oinstall", MODE="0660"KERNEL=="dm-2", OWNER="oracle", GROUP="oinstall", MODE="0660"KERNEL=="dm-3", OWNER="grid", GROUP="asmadmin", MODE="0660"KERNEL=="dm-4", OWNER="oracle", GROUP="oinstall", MODE="0660"KERNEL=="dm-5", OWNER="oracle", GROUP="oinstall", MODE="0660"注意：/dev/目录下有多少个dm-*就写多少个，OWNER和asmadmin可以不用这么严格，但是MODE权限必须设置成0660。比如dm-1现在对应的是data11这个设备，但是如果其中一台存储宕机，dm-1对应的一定不是data11了。
9、9：加载设备[root@node1 mapper]# partprobe /dev/sdb[root@node1 mapper]# partprobe /dev/sdc[root@node1 mapper]# partprobe /dev/sdd[root@node1 mapper]# partprobe /dev/sde[root@node1 mapper]# partprobe /dev/sdf[root@node1 mapper]# partprobe /dev/sdg[root@node1 mapper]# partprobe /dev/sdh[root@node1 mapper]# partprobe /dev/sdi[root@node1 mapper]# partprobe /dev/sdj[root@node1 mapper]# partprobe /dev/sdk[root@node1 mapper]# partprobe /dev/sdl[root@node1 mapper]# partprobe /dev/sdm
10、10：加载udev规则并启动udev[root@node1 mapper]# /sbin/udevadm control --reload-rules[root@node1 mapper]# /sbin/start_udevStarting udev: [ OK ][root@node1 mapper]# cd ../[root@node1 dev]# ll dm-*brw-rw----. 1 grid asmadmin 253, 0 Jul 16 12:03 dm-0brw-rw----. 1 oracle oinstall 253, 1 Jul 16 12:03 dm-1brw-rw----. 1 oracle oinstall 253, 2 Jul 16 12:03 dm-2brw-rw----. 1 grid asmadmin 253, 3 Jul 16 12:03 dm-3brw-rw----. 1 oracle oinstall 253, 4 Jul 16 12:03 dm-4brw-rw----. 1 oracle oinstall 253, 5 Jul 16 12:03 dm-5