[原創(chuàng)]Linux ISCSI+Raid 0+LVM配置詳解

zenglingping

CentOS 5.2+Raid 0+LVM+ISCSI配置詳解

[本文結尾附PDF]
系統(tǒng)環(huán)境：CentOS 5.2
硬件配置：ASUS P5GC-MX +Intel E2160+Kinston 1GB 667*2+D-Link 530 1Gbps
硬盤1：Seagate 80GB/7200S/8MB/SATA
硬盤2：Seagate  1TB/7200S/32MB/SATA
硬盤3：Seagate  1TB/7200S/32MB/SATA

場景：
一臺用于備份文件的服務器目前空間不足（使用Symantec Backup Exec 10d for Windows Servers備份軟件，備份文件服務器的所有數(shù)據，保留15天，每周六完整備份，周一至周五增量備份，現(xiàn)有2TB的空間已用完），該服務器已安裝8個（容量與規(guī)格不一，有SCSI/IDE/SATA）硬盤，機箱內已無空間再增加硬盤，經過考慮，決定重新安裝一臺LINUX服務器配置ISCSI服務（提供Target Server角色），在Windows Server 2003上安裝Microsoft iSCSI Initiator驅動，添加ISCSI硬盤，解決目前的空間問題；

Target Server要求系統(tǒng)安裝在ST 80GB的硬盤上，兩塊1TB的硬盤配置為Raid 0,然后在Raild 0硬盤上配置LVM，在LVM上創(chuàng)建兩個邏輯卷，LV1（data1）為1.5TB，LV2(data2)為325GB；

Target server 建立兩個target device，將LVM創(chuàng)建的兩個邏輯卷分別加入兩個target device,node1連接到target device 1(iqn.2008-12.cn.lanexpert:iscsi-data1)，node2連接到target device 2（iqn.2008-12.cn.lanexpert:iscsi-data2）

功能        操作系統(tǒng)        主機名稱        IP地址
Iscsi-target server        CentOS 5.2        Fsbak2.lanexpert.cn        192.168.3.19
Iscsi-initiator(node1)        Windows Server 2003 Std R2 with sp2        Fsbak1.lanexpert.cn        192.168.3.18
Iscsi-initiator(node2)        Windows XP Pro With sp3        Client1.lanexpert.cn        192.168.11.108

Target Server系統(tǒng)安裝在Seagate 80GB的硬盤上，在安裝系統(tǒng)時，根據以下要求分區(qū)（僅為個人習慣，供參考），其它兩個1TB的硬盤暫時不分區(qū)；
/boot    100MB
/             10GB
/usr        20GB
/home   10GB
/var        30GB
Swap      3GB

系統(tǒng)選擇最小化安裝，僅安裝最基本的服務；

一、        配置Raid 0
#fdisk  -l           (顯示所有連接在主機上的硬盤)
Disk /dev/sda: 80.0 GB, 80025280000 bytes
255 heads, 63 sectors/track, 9729 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *           1          13      104391   83  Linux
/dev/sda2              14        2624    20972857+  83  Linux
/dev/sda3            2625        3929    10482412+  83  Linux
/dev/sda4            3930        9729    46588500    5  Extended
/dev/sda5            3930        5234    10482381   83  Linux
/dev/sda6            5235        5708     3807373+  82  Linux swap / Solaris
/dev/sda7            5709        9729    32298651   83  Linux

Disk /dev/sdb: 1000.2 GB, 1000204886016 bytes
255 heads, 63 sectors/track, 121601 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes


Disk /dev/sdc: 1000.2 GB, 1000204886016 bytes
255 heads, 63 sectors/track, 121601 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

從以上信息可以看到，/dev/sda連接的是我們的系統(tǒng)分區(qū)，其它兩個硬盤（sdb and sdc）沒有分區(qū)表；

現(xiàn)在，我們要為另外兩個硬盤分別創(chuàng)建分區(qū)，參考如下：

#fdisk /dev/sdb
The number of cylinders for this disk is set to 121601.
There is nothing wrong with that, but this is larger than 1024,
and could in certain setups cause problems with:
1) software that runs at boot time (e.g., old versions of LILO)
2) booting and partitioning software from other OSs
   (e.g., DOS FDISK, OS/2 FDISK)
#進入fdisk程序的工作畫面后，如果硬盤太大，就會出現(xiàn)上述信息，這個信息表明，某些舊版本的軟件與操作系統(tǒng)將無法支持大于1024柱面后的扇區(qū)使用
Command (m for help):m  #可以通過此命令查看所有參數(shù)
Command action
   a   toggle a bootable flag
   b   edit bsd disklabel
   c   toggle the dos compatibility flag
   d   delete a partition
   l   list known partition types
   m   print this menu
   n   add a new partition
   o   create a new empty DOS partition table
   p   print the partition table
   q   quit without saving changes
   s   create a new empty Sun disklabel
   t   change a partition's system id
   u   change display/entry units
   v   verify the partition table
   w   write table to disk and exit
   x   extra functionality (experts only)
Command (m for help): new
Command action
   e   extended
   p   primary partition (1-4) p
Partition number (1-4): 1
First cylinder (1-121601, default 1):
Using default value 1
Last cylinder or +size or +sizeM or +sizeK (1-121601, default 121601):
Using default value 121601

Command (m for help): type
Selected partition 1
Hex code (type L to list codes): fd
Changed system type of partition 1 to fd (Linux raid autodetect)

Command (m for help): write
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.

重復以上命令對sdc進行分區(qū)；

完畢后使用fdisk –l查看分區(qū)信息：
#fdisk -l
isk /dev/sda: 80.0 GB, 80025280000 bytes
255 heads, 63 sectors/track, 9729 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *           1          13      104391   83  Linux
/dev/sda2              14        2624    20972857+  83  Linux
/dev/sda3            2625        3929    10482412+  83  Linux
/dev/sda4            3930        9729    46588500    5  Extended
/dev/sda5            3930        5234    10482381   83  Linux
/dev/sda6            5235        5708     3807373+  82  Linux swap / Solaris
/dev/sda7            5709        9729    32298651   83  Linux

Disk /dev/sdb: 1000.2 GB, 1000204886016 bytes
255 heads, 63 sectors/track, 121601 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

   Device Boot      Start         End      Blocks   Id  System
/dev/sdb1               1      121601   976760001   fd  Linux raid autodetect

Disk /dev/sdc: 1000.2 GB, 1000204886016 bytes
255 heads, 63 sectors/track, 121601 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

   Device Boot      Start         End      Blocks   Id  System
/dev/sdc1               1      121601   976760001   fd  Linux raid autodetect

配置raid使用mdadm命令，有關該命令的具體參數(shù)參考man mdadm;

# mdadm --create /dev/md0 --level=0 --raid-devices=2 /dev/sdb1 /dev/sdc1
mdadm: array /dev/md0 started.

# cat /proc/mdstat    #查看Raid信息
Personalities : [raid0]
md0 : active raid0 sdc1[1] sdb1[0]
      1953519872 blocks 64k chunks
      
unused devices: <none>

# fdisk -l

Disk /dev/sda: 80.0 GB, 80025280000 bytes
255 heads, 63 sectors/track, 9729 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *           1          13      104391   83  Linux
/dev/sda2              14        2624    20972857+  83  Linux
/dev/sda3            2625        3929    10482412+  83  Linux
/dev/sda4            3930        9729    46588500    5  Extended
/dev/sda5            3930        5234    10482381   83  Linux
/dev/sda6            5235        5708     3807373+  82  Linux swap / Solaris
/dev/sda7            5709        9729    32298651   83  Linux

Disk /dev/sdb: 1000.2 GB, 1000204886016 bytes
255 heads, 63 sectors/track, 121601 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

   Device Boot      Start         End      Blocks   Id  System
/dev/sdb1               1      121601   976760001   fd  Linux raid autodetect

Disk /dev/sdc: 1000.2 GB, 1000204886016 bytes
255 heads, 63 sectors/track, 121601 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

   Device Boot      Start         End      Blocks   Id  System
/dev/sdc1               1      121601   976760001   fd  Linux raid autodetect

Disk /dev/md0: 2000.4 GB, 2000404348928 bytes
2 heads, 4 sectors/track, 488379968 cylinders
Units = cylinders of 8 * 512 = 4096 bytes

Disk /dev/md0 doesn't contain a valid partition table

# mdadm --detail --scan
ARRAY /dev/md0 level=raid0 num-devices=2 UUID=bf5eb6f7:da2e7196:dc2b05b5:fa5903c1

為了讓系統(tǒng)開機啟動時自動加載raid信息，可以使用以下命令將配置信息寫入/etc/mdadm.conf文件，該文件默認沒有，可自行創(chuàng)建；

#echo DEVICE /dev/sdb1 /dev/sdc1 > /etc/mdadm.conf
#mdadm –detail –scan >> /etc/mdadm.conf   (--為兩個中短線)

# cat /etc/mdadm.conf
DEVICE /dev/sdb1 /dev/sdc1
ARRAY /dev/md0 level=raid0 num-devices=2 UUID=bf5eb6f7:da2e7196:dc2b05b5:fa5903c1

二、        配置LVM；

要配置LVM，可以按以下步驟進行：
1.        創(chuàng)建和初始化物理卷（Physical Volume），通過pvcreate建立pv，即pv階段；
2.        添加物理卷到卷組（Volume Group），使用vgcreate加入多個pv成為vg，即vg階段；
3.        在卷組上創(chuàng)建邏輯卷（logical volume），使用lvcreate劃分vg,成為一個或多個lv,即lv階段；

# pvcreate /dev/md0      #創(chuàng)建PV
  Physical volume "/dev/md0" successfully created

# pvscan
  PV /dev/md0   VG LVM1   lvm2 [1.82 TB / 1.82 GB free]
  Total: 1 [1.82 TB] / in use: 1 [1.82 TB] / in no VG: 0 [0   ]

# vgcreate LVM1 /dev/md0  #創(chuàng)建VG
  Volume group "LVM1" successfully created

# vgdisplay  LVM1   
  --- Volume group ---
  VG Name               LVM1
  System ID            
  Format                lvm2
  Metadata Areas        1
  Metadata Sequence No  1
  VG Access             read/write
  VG Status             resizable
  MAX LV                0
  Cur LV                0
  Open LV               0
  Max PV                0
  Cur PV                1
  Act PV                1
  VG Size               1.82 TB
  PE Size               4.00 MB
  Total PE              476933
  Alloc PE / Size       0 / 0   
  Free  PE / Size       476933 / 1.82 TB
  VG UUID               97Fecv-lBFP-oB19-dfrF-wJ7y-9KJ9-9sIKYG

# lvcreate -L 1.5TB -n data1 LVM1     #創(chuàng)建LV
  /dev/cdrom: open failed: Read-only file system
  Logical volume "data1" created

# lvcreate -L 325GB -n data2 LVM1   #創(chuàng)建LV
  /dev/cdrom: open failed: Read-only file system
  Logical volume "data2" created

# lvscan                   #查看LV信息
  ACTIVE            '/dev/LVM1/data1' [1.50 TB] inherit
  ACTIVE            '/dev/LVM1/data2' [325.00 GB] inherit

# pvscan                  #再次查看PV信息
  PV /dev/md0   VG LVM1   lvm2 [1.82 TB / 2.02 GB free]
  Total: 1 [1.82 TB] / in use: 1 [1.82 TB] / in no VG: 0 [0   ]

# vgdisplay LVM1       #再次查看VG信息

  --- Volume group ---
  VG Name               LVM1
  System ID            
  Format                lvm2
  Metadata Areas        1
  Metadata Sequence No  5
  VG Access             read/write
  VG Status             resizable
  MAX LV                0
  Cur LV                2
  Open LV               2
  Max PV                0
  Cur PV                1
  Act PV                1
  VG Size               1.82 TB
  PE Size               4.00 MB
  Total PE              476933
  Alloc PE / Size       476416 / 1.82 TB
  Free  PE / Size       517 / 2.02 GB
  VG UUID               97Fecv-lBFP-oB19-dfrF-wJ7y-9KJ9-9sIKYG

到這里，本實例的LVM配置完成；
注意：由于要將LV掛載到iscsi，所以，在這里不必格式化，也不必將LV掛載到系統(tǒng)中，以下是掛載方法，如應用于其它地方，可以參考；

格式化邏輯卷
#mke2fs -j /dev/LVM1/data1
#mke2fs -j /dev/LVM1/data2

參數(shù)說明：
-j ：本來mke2fs是ext2,加上-j后，會主動加入日志而成為ext3

#新增兩個掛載點
#mkdir -pv /data1 /data2  

掛載命令，本例不需要將以下兩個LV掛載到系統(tǒng)中；
#mount /dev/LVM1/data1 /data1
#mount /dev/LVM1/data2 /data2

設置開機自動掛載：
編輯/etc/fstab
#Raid 0 and LVM1
/dev/LVM1/data1         /data1                  ext3    defaults        2 2
/dev/LVM1/data2         /data2                  ext3    defaults        2 2

★有關掛載參數(shù)說明，請參考鳥哥私房菜——基礎學習篇

三、        配置ISCSI
1、        安裝iscsi-target，iscsi-target可以從以下網址下載:
#wget ftp://ftp.muug.mb.ca/mirror/cent ... 20snap.el5.i386.rpm
#rpm -ivh scsi-target-utils-0.0-0.20070620snap.el5.i386.rpm

#啟動tgtd服務
#service tgtd start     
  
#設置開機自啟動tgtd服務
#chkconfig --level 345 tgtd on      

#服務啟動后，可以查看監(jiān)聽端口：
# netstat -tunlp |grep tgtd
tcp        0      0 0.0.0.0:3260                0.0.0.0:*                   LISTEN      2295/tgtd           
tcp        0      0 :::3260                     :::*                        LISTEN      2295/tgtd           

可以看到，默認target server使用的服務端口是tcp 3260;
2、        建立target device
Centos 5.0以上是利用tgtadm命令來設置而不是編寫/etc/ietd.conf(據臺灣朋友Alex Lin介紹，4.0是通過編寫/etc/ietd.conf來配置的，本節(jié)也是參考Alex的文章測試的)，個人認為tgtadm的命令相關參數(shù)真的較難記，幸好scsi-target-utils軟件中包含如何利用tagadm命令建立target device的步驟，建議讀者一定要把/usr/share/doc/scsi-target-utils-0.0/README.iscs打開閱讀，里面有舉例說明可參考；

現(xiàn)準備新增iqn名為iqn.2008-12.cn.lanexpert:iscsi-data1的target device
[iscsi qualified name]   (簡稱iqn)，格式通常如下：
格   式        意  義        范  例
Yyyy-mm        年－月        2008-12
Reversed domain name        把域名反過來寫        Cn.lanexpert
identifier        識別字，通常描述這個儲存空間的用途        Iscsi-data1

新增target device 命令如下：

#tgtadm --lld iscsi --op new --mode target --tid 1 -T iqn.2008-12.cn.lanexpert:iscsi-data1

執(zhí)行后，可以利用以下命令查看target device:
# tgtadm --lld iscsi --op show  --mode target
Target 1: iqn.2008-12. cn.lanexpert:iscsi-data1
    System information:
        Driver: iscsi
        Status: running
    LUN information:
        LUN: 0
            Type: controller
            SCSI ID: deadbeaf1:0
            SCSI SN: beaf10
            Size: 0
            Backing store: No backing store
    Account information:
ACL information:
3、        將target server 新建的LV1（/dev/LVM1/data1）加入target device
#tgtadm --lld iscsi --op new --mode logicalunit --tid 1 --lun 1 -b /dev/LVM1/data1
將邏輯卷加入target device后，利用下列命令查看target device的信息：
# tgtadm --lld iscsi --op show  --mode target
Target 1: iqn.2008-12. cn.lanexpert:iscsi-data1
    System information:
        Driver: iscsi
        Status: running
    I_T nexus information:
    LUN information:
        LUN: 0
            Type: controller
            SCSI ID: deadbeaf1:0
            SCSI SN: beaf10
            Size: 0
            Backing store: No backing store
        LUN: 1
            Type: disk
            SCSI ID: deadbeaf1:1
            SCSI SN: beaf11
            Size: 1T                       
#這里有些不解，實際上的容量是1.5TB，后來我在Win2k3上連接并分區(qū)時也是1.5TB
            Backing store: /dev/LVM1/data1
    Account information:
    ACL information:

4、        允許initiator主機node1(192.168.3.1可以存取此target device
#tgtadm --lld iscsi --op bind --mode target --tid 1 -I 192.168.3.18

將邏輯卷加入target device后，利用下面的命令查看target device的信息：
# tgtadm --lld iscsi --op show  --mode target
Target 1: iqn.2008-12.local.superlgroup.xt:iscsi-data1
    System information:
        Driver: iscsi
        Status: running
    I_T nexus information:
    LUN information:
        LUN: 0
            Type: controller
            SCSI ID: deadbeaf1:0
            SCSI SN: beaf10
            Size: 0
            Backing store: No backing store
        LUN: 1
            Type: disk
            SCSI ID: deadbeaf1:1
            SCSI SN: beaf11
            Size: 1T
            Backing store: /dev/LVM1/data1
    Account information:
    ACL information:
        192.168.3.18

再使用以下命令創(chuàng)建另一個target device:
tgtadm --lld iscsi --op new --mode target --tid 2 -T iqn.2008-12.cn.lanexpert:iscsi-data2
tgtadm --lld iscsi --op new --mode logicalunit --tid 2 --lun 1 -b /dev/LVM1/data2
tgtadm --lld iscsi --op bind --mode target --tid 2 -I 192.168.11.108

創(chuàng)建完畢后，再利用下面的命令查看target device:
# tgtadm --lld iscsi --op show  --mode target
Target 1: iqn.2008-12.cn.lanexpert:iscsi-data1
    System information:
        Driver: iscsi
        Status: running
    I_T nexus information:
    LUN information:
        LUN: 0
            Type: controller
            SCSI ID: deadbeaf1:0
            SCSI SN: beaf10
            Size: 0
            Backing store: No backing store
        LUN: 1
            Type: disk
            SCSI ID: deadbeaf1:1
            SCSI SN: beaf11
            Size: 1T
            Backing store: /dev/LVM1/data1
    Account information:
    ACL information:
        192.168.3.18
Target 2: iqn.2008-12.cn.lanexpert:iscsi-data2
    System information:
        Driver: iscsi
        Status: running
    I_T nexus information:
    LUN information:
        LUN: 0
            Type: controller
            SCSI ID: deadbeaf2:0
            SCSI SN: beaf20
            Size: 0
            Backing store: No backing store
        LUN: 1
            Type: disk
            SCSI ID: deadbeaf2:1
            SCSI SN: beaf21
            Size: 325G
            Backing store: /dev/LVM1/data2
    Account information:
    ACL information:
        192.168.11.108

5、        修改/etc/rc.local，設置開機自動加載target device配置
因為以上命令的配置結果，重新開機后便會消失，而且現(xiàn)版本的target server,Redhat尚未修改成System V服務，如果需要系統(tǒng)重新啟動后上述配置仍然有效，只能將以上配置寫入/etc/rc.local，讓系統(tǒng)每次開機都自動執(zhí)行一次：

# ISCSI target device setting -LingPing 2008/12/06
#target 1 (Space 1.5TB)
tgtadm --lld iscsi --op new --mode target --tid 1 -T iqn.2008-12.cn.lanexpert:iscsi-data1
tgtadm --lld iscsi --op new --mode logicalunit --tid 1 --lun 1 -b /dev/LVM1/data1
tgtadm --lld iscsi --op bind --mode target --tid 1 -I 192.168.3.18

#target 2 (Space 325GB)
tgtadm --lld iscsi --op new --mode target --tid 2 -T iqn.2008-12.cn.lanexpert:iscsi-data2
tgtadm --lld iscsi --op new --mode logicalunit --tid 2 --lun 1 -b /dev/LVM1/data2
tgtadm --lld iscsi --op bind --mode target --tid 2 -I 192.168.11.108

由于tgtdm的參數(shù)短時間內難于記憶，建議多參考man或以下提及的文章；
本節(jié)主要參考臺灣朋友林彥明的大作，在鳥哥的網站可下載到，原文還詳細介紹了iscsi initiator on rhel 5.1的配置，值得一讀；

四、        配置Windows（Initiator）系統(tǒng)連接到ISCSI

Initiator主要是負責電腦連接到target作磁盤讀取功能，如果是Windows系統(tǒng)，可以到Microsoft的官方網站下載最新版本的initiator，可在以下網址選擇適合自己的版本：
http://www.microsoft.com/downloa ... &DisplayLang=en

1、安裝initiator
雙擊iator-2.08-build3825-x86fre.exe依提示進行安裝，安裝完畢后，會在桌面上產生一個Microsoft iSCSI Initiator圖標；

2、配置initiator
雙擊Microsoft iSCSI Initiator圖標，在discovery選項的target portals框中，選擇add,填寫target portals的地址，例如192.168.3.19，端口保持默認；如圖：

[圖一]

數(shù)秒鐘后，可以在targets選項中看到剛才在target server建立的iqn名稱（是經過授權的，未經授權的將不會顯示出來），本例中的截圖是node2,所以顯示的是iqn.2008-12.cn.lanexpert:iscsi-data2


在圖一中，點擊log on,出現(xiàn)如下所示對話框，建議勾選第一個選項，讓系統(tǒng)重啟后自動加載；


[圖二]
然后打開我的電腦－屬性－管理－磁盤管理，會彈出一個初始化磁盤的向導，依向導提示即可如操作本機中的硬盤一樣進行分區(qū)、格式化等工作；
如圖三所示，在實際使用中幾乎與本地硬盤沒有區(qū)別：


主要參考資料：Linux系統(tǒng)管理手冊（第二版）、鳥哥私房菜、林彥明朋友的專題文章（rhel5-iscsi.pdf）
LingPing
2008/12/06
http://blog.sina.com.cn/zenglingping

[ 本帖最后由 zenglingping 于 2008-12-13 14:23 編輯 ]

chenliang

沙發(fā)，頂了下

lotusin

樓主很詳細，很認真。精華潛力貼。

viacky

難得周末晚上還貼這么精彩的文章...頂

snailnasa

特地進來學習的，支持樓主的共享精神啊。從來沒在linux上配置過iscsi-target.

zenglingping

後來LP催我了， 不然可以將插圖貼上…

不過PDF有插圖；

zenglingping

呵呵，我也是第一次（LVM/Fdisk/ISCSI）配置這玩意兒，而且之前也沒有在Windows或專業(yè)的硬件設備上測試過；

這次測試還算順利

歡迎大家參與討論與糾錯

nightlover

謝謝分享

liqiang425

哥們你太好了，非常感謝