Lustre配置

bellcat2008

                              
v\:* {behavior:url(#default#VML);}
o\:* {behavior:url(#default#VML);}
w\:* {behavior:url(#default#VML);}
.shape {behavior:url(#default#VML);}

  Normal
  0
  
  7.8 磅
  0
  2
  
  false
  false
  false
  
   
   
   
   
   
   
   
   
   
   
   
   
  
  MicrosoftInternetExplorer4



st1\:*{behavior:url(#ieooui) }
/* Style Definitions */
table.MsoNormalTable
        {mso-style-name:普通表格;
        mso-tstyle-rowband-size:0;
        mso-tstyle-colband-size:0;
        mso-style-noshow:yes;
        mso-style-parent:"";
        mso-padding-alt:0cm 5.4pt 0cm 5.4pt;
        mso-para-margin:0cm;
        mso-para-margin-bottom:.0001pt;
        mso-pagination:widow-orphan;
        font-size:10.0pt;
        font-family:"Times New Roman";
        mso-ansi-language:#0400;
        mso-fareast-language:#0400;
        mso-bidi-language:#0400;}
Lustre配置(LustreCFG2.0)
注：LustreCFG是Lustre
Configure 的縮寫，代表Lustre的一種配置方案。
一．  lustre介紹
    lustre是一種在linux平臺(tái)上運(yùn)行的集群文件系統(tǒng)，它具有高性能，支持不同網(wǎng)絡(luò)，容錯(cuò)性好，支持Posix標(biāo)準(zhǔn)的特點(diǎn)。
二．  整體架構(gòu)
    一個(gè)Lustre文件系統(tǒng)主要包括以下四個(gè)組件：管理服務(wù)器Management Server(mgs), 元數(shù)據(jù)服務(wù)器Meta Data Target(mdt), 對象存儲(chǔ)服務(wù)器Object
Storge Target(ost) ,客戶端Lustre clients(lc)。
1.LustreCFG1.0:
LustreCFG1.0中，將mgs和mdt設(shè)置在同一臺(tái)服務(wù)器上，ost獨(dú)立占用一臺(tái)服務(wù)器，一個(gè)客戶端lc。三個(gè)節(jié)點(diǎn)分別用mds,ost,lc表示。
配置環(huán)境à操作系統(tǒng)：3臺(tái)redhat5企業(yè)版 ，選擇完全安裝，每臺(tái)都有唯一的硬盤，三者都是運(yùn)行在VMware Workstation 5.5.3
build-34685。
注：每臺(tái)機(jī)器硬盤在分區(qū)時(shí)，先留出一塊空閑分區(qū)（如何確定留出的分區(qū)大小目前還沒有固定方案，我留出了2G），該空閑分區(qū)在后面需要掛載lustre文件系統(tǒng)（具體方法見后面說明）。
2.LustreCFG2.0:
LustreCFG2.0中，仍將mgs和mdt設(shè)置在同一臺(tái)服務(wù)器上(mgs和md非性能瓶頸，一般無必要分離)，4個(gè)ost節(jié)點(diǎn)，2個(gè)客戶端lc節(jié)點(diǎn)。
配置基本環(huán)境同上1.LustreCFG1.0。
三．  LustreCFG1.0介紹
1．在每個(gè)節(jié)點(diǎn)需要做的工作：
【1】    關(guān)閉防火墻和SELINUX
在桌面上點(diǎn)擊系統(tǒng)à管理à安全級別和防火墻。里面有防火墻和SELINUX的選項(xiàng)，選擇“禁用”即可。另外，關(guān)閉SELINUX也可以修改配置文件/etc/selinux/config，設(shè)置SELINUX的值為SELINUX=disabled。通過修改配置文件來關(guān)閉防火墻目前還不會(huì)，嘿嘿。
【2】    確認(rèn)系統(tǒng)支持
# cat /etc/redhat-release
Red Hat Enterprise
Linux Server release 5 (Tikanga)

# uname -a
Linux mds 2.6.18-8.1.14.el5_lustre.1.6.3smp
#1 SMP Sun Oct 7 20:29:00 EDT 2007 i686 i686 i386 GNU/Linux

# perl -v

This is perl, v5.8.8
built for i386-linux-thread-multi
Copyright
1987-2006, Larry Wall
Perl may be copied
only under the terms of either the Artistic License or the
GNU General Public
License, which may be found in the Perl 5 source kit.
Complete
documentation for Perl, including FAQ lists, should be found on
this system using
"man perl" or "perldoc perl".  If you have access to the
Internet, point
your browser at http://www.perl.org/, the Perl Home Page.

# python -V
Python 2.4.3
【3】    安裝e2fsprogs包
安裝e2fsprogs-devel-1.40.2.cfs5-0redhat.i386.rpm
和e2fsprogs-1.40.2.cfs5-0redhat.i386.rpm兩個(gè)包。
# rpm  -Uvh  --nodeps e2fsprogs-devel-1.40.2.cfs5-0redhat.i386.rpm
#rpm  -Uvh  --nodeps
–-force  e2fsprogs-1.40.2.cfs5-0redhat.i386.rpm
注意：e2fsprogs-1.40.2.cfs5-0redhat.i386.rpm需要強(qiáng)制安裝。--nodeps  –-force參數(shù)的前面是兩條橫線。
【4】    安裝PyXML
#  tar –zxvf  PyXML-0.8.4.tar.gz
#  cd  Py.XML-0.8.4
#  python
setup.py build
#  python
setup.py install
【5】    安裝lustre包
#  rpm   -ivh  kernel-lustre-smp-2.6.18-8.1.14.el5_lustre.1.6.3.i686.rpm
#  rpm   -ivh  kernel-lustre-source-2.6.18-8.1.14.el5_lustre.1.6.3.i686.rpm
#  rpm   -ivh  lustre-modules-1.6.3-2.6.18_8.1.14.el5_lustre.1.6.3smp.i686.rpm
#  rpm   -ivh  lustre-1.6.3-2.6.18_8.1.14.el5_lustre.1.6.3smp.i686.rpm
#  rpm   -ivh  lustre-source-1.6.3-2.6.18_8.1.14.el5_lustre.1.6.3smp.i686.rpm
# rpm  -ivh  lustre-debuginfo-1.6.3-2.6.18_8.1.14.el5_lustre.1.6.3smp.i686.rpm
#  rpm   -ivh  lustre-ldiskfs-3.0.2-2.6.18_8.1.14.el5_lustre.1.6.3smp.i686.rpm
注意：以上包的安裝順序參考于王日友的安裝手冊，另外，有些包需要使用命令參量
--force和 --nodeps 進(jìn)行強(qiáng)制安裝。有沒有更好的安裝順序？
【6】 設(shè)置network模塊
#  vi  /etc/modprobe.conf
添加如下語句：
      options  
lnet  networks=tcp
【7】域名問題
#  vi  /etc/hosts
添加如下語句：
192.168.0.158
mds
192.168.0.159
ost
192.168.0.160
lc

#  vi  /etc/sysconfig/network
修改HOSTNAME=域名
例如：   在mds上  修改HOSTNAME=mds�？梢酝ㄟ^ping 主機(jī)名(mds,ost,lc)來檢測各主機(jī)互聯(lián)互通問題。
【8】 修改啟動(dòng)項(xiàng)
#
vi  /boot/grub/grub.conf
修改為：   
default=0
            timeout=5
【9】 掛載空閑分區(qū)
利用fdisk  /dev/sda命令將空閑分區(qū)創(chuàng)建為一個(gè)新的分區(qū)，LustreCFG1.0中將空閑分區(qū)創(chuàng)建為/dev/sda5。
【10】重啟問題
執(zhí)行完上面的【9】就可以重啟操作系統(tǒng)了，但是重啟時(shí)，可能會(huì)遇到 libdb-4.2.so : No such file or directory的啟動(dòng)錯(cuò)誤，因此在重啟前最好搜索一下/lib目錄下有無libdb-4.2.so，若無，則執(zhí)行如下命令：
        cp   
libdb-4.3.so   libdb-4.2.so
至此需要安裝的包安裝畢！，將三個(gè)節(jié)點(diǎn)重新啟動(dòng)。
2．在mds上執(zhí)行如下操作：
#mkfs.lustre  --fsname=testfs  --mdt  --mgs
/dev/sda5
#mkdir  –p  /mnt/test/mds    //創(chuàng)建一個(gè)目錄以掛載lustre
#mount  –t  lustre
/dev/sda5  /mnt/test/mds
#cat  /proc/fs/lustre/devices
3．在ost上執(zhí)行以下操作：
     # mkfs.lustre  –fsname=testfs  --ost  
--mgsnode=mds@tcp0  /dev/sda5
   
# mkdir  –p  /mnt/test/ost   //創(chuàng)建一個(gè)目錄以掛載lustre
   
# mount  –t  luster  /dev/sda5  /mnt/test/ost
4．在客戶端lc上執(zhí)行以下操作：
# mkdir –p  /mnt/testfs
# mount –t  luster  mds@tcp0:/testfs  /mnt/testfs
至此，客戶端已經(jīng)掛載了lustre文件系統(tǒng)，在客戶端testfs文件系統(tǒng)上創(chuàng)建test.txt，在ost上就能看到test.txt的創(chuàng)建，一般在ost節(jié)點(diǎn)可以通過df –l知道容量的變化(文件要比較大)。另外，在一個(gè)客戶端拷入文件，在另一個(gè)客戶端也可以看到該文件。
5．停止lustre系統(tǒng)：
在lc上執(zhí)行命令：
    #
umount   /mnt/testfs
6．后記
對于lustre還有很多問題有待研究，比如時(shí)間同步問題，lustre的適用范圍，以及調(diào)優(yōu)。

四．  LustreCFG2.0介紹
整體架構(gòu)如下：
192.168.0.158   mds
192.168.0.159   ost01
192.168.0.160   ost02
192.168.0.161   ost03
192.168.0.163   ost04
192.168.0.164   lc01
192.168.0.165   lc02
1．在每個(gè)節(jié)點(diǎn)需要做的工作：
同lustreCFG1.0在每個(gè)節(jié)點(diǎn)需要做的工作。
2．在mds上：
    #
mkfs.lustre  --fsname  datafs  --mdt
–mgs  /dev/sda5
    #  mkdir  -p  /mnt/data/mds
#  mount  -t  lustre /dev/sda5  /mnt/data/mds
3．在ost上：
    #  mkfs.lustre  --fsname testfs  --ost  --mgsnode=mds@tcp0  /dev/sda5
#  mkfs.lustre  --fsname testfs  --ost  --mgsnode=mds@tcp0
/dev/sdd5
#  mkfs.lustre  --fsname testfs  --ost  --mgsnode=mds@tcp0
/dev/sda5
#  mkfs.lustre  --fsname testfs  --ost  --mgsnode=mds@tcp0
/dev/sda5

#  mkdir -p  /mnt/test/ost01
#  mount -t  lustre  /dev/sda5  /mnt/test/ost01
#  mkdir -p  /mnt/test/ost02
#  mount –t  lustre  /dev/sda5  /mnt/test/ost02
#  mkdir -p  /mnt/test/ost03
#  mount –t  lustre  /dev/sda5 /mnt/test/ost03
#  mkdir -p  /mnt/test/ost04
#  mount –t  lustre /dev/sda5  /mnt/test/ost04
4．在lc上：
    #   mount
–t  lustre  mds@tcp0:/testfs  /mnt/testfs
    #   mount –t
lustre  mds@tcp0:testfs  /mnt/testfs
5．后記：
    目前來講只是對如何配置lustre有了一定的經(jīng)驗(yàn)，下一步需要在真機(jī)上進(jìn)行嚴(yán)格的測試比對，以選出最適合的配置方案。








本文來自ChinaUnix博客，如果查看原文請點(diǎn)：http://blog.chinaunix.net/u3/93789/showart_1945245.html