[原創(chuàng)] LVS+Heartbeat配置Linux服務(wù)器群集

qtsunk

【實驗配置環(huán)境】
服務(wù)器系統(tǒng)：CentOS-5.6
LVS主節(jié)點（lvs-master）：192.168.2.250(eth0) 心跳直連接口：192.168.1.250(eth1)
LVS備節(jié)點（lvs-backup）：192.168.2.251(eth0) 心跳直連接口：192.168.1.251(eth1)
Web Server-1：192.168.2.252
Web Server-2：192.168.2.253
VIP（虛擬IP）：192.168.2.254
注：4臺服務(wù)器已經(jīng)配置好LNMP（Linux+Nginx+PHP(FastCGI模式)+Mysql）網(wǎng)站運行環(huán)境，當(dāng)然使用apache也可以。這里主備節(jié)點也當(dāng)作真實服務(wù)器使用，所以也配置了網(wǎng)站環(huán)境。



主備調(diào)度器eth1接口使用交叉線相連（理論上是這樣）
線序為： 一頭為568A標(biāo)準(zhǔn)：白綠，綠；白橙，藍(lán)；白藍(lán)，橙；白棕，棕
另一頭為568B標(biāo)準(zhǔn)：白橙，橙；白綠，藍(lán)；白藍(lán)，綠；白棕，棕

在LVS主節(jié)點和備節(jié)點的/etc/hosts中加入以下內(nèi)容：
#vim /etc/hosts

192.168.2.250 lvs-master
192.168.2.251 lvs-backup修改主機名：

# vim /etc/sysconfig/network

NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME=lvs-master
GATEWAY=192.168.2.1# vim /etc/hosts

# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1 lvs-master localhost.localdomain localhost
::1 localhost6.localdomain6 localhost6這2個文件都要修改，修改完后重啟生效，備份機修改方法一樣，不在重述。

【下載軟件】
[libnet]
wget http://search.cpan.org/CPAN/authors/id/G/GB/GBARR/libnet-1.22.tar.gz
[ipvsadm]
wget http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.24.tar.gz
[Heartbeat]
wget http://hg.linux-ha.org/heartbeat-STABLE_3_0/archive/STABLE-3.0.4.tar.bz2
[Cluster Glue]
wget http://hg.linux-ha.org/glue/archive/glue-1.0.7.tar.bz2
[Resource Agents]
wget https://download.github.com/ClusterLabs-resource-agents-agents-1.0.4-0-gc06b6f3.tar.gz

一、 配置LVS主節(jié)點（lvs-master）
1. 安裝libnet
# tar zxvf libnet-1.1.2.2.tar.gz
# cd libnet
# ./configure
# make && make install
# cd ..

2. 安裝ipvsadm
# yum install kernel-devel //安裝對應(yīng)內(nèi)核的kernel-devel
# tar zxvf ipvsadm-1.24.tar.gz
# cd ipvsadm-1.24
# ln -s /usr/src/kernels/`ls /usr/src/kernels/` /usr/src/linux //將當(dāng)前使用內(nèi)核連接到/usr/src/linux
# make && make install
# cd..

3. 安裝Heartbeat
3.1 確認(rèn)系統(tǒng)已經(jīng)安裝以下軟件（系統(tǒng)光盤中有）
libxslt、libxslt-devel、libgcrypt-devel、autoconf、automake、pkgconfig、libgpg-error-devel、libtool、sgml-common、opensp、openjade、xml-common、docbook-dtds、docbook-style
如果在編譯安裝過程中出錯，很有可能是因為缺少了相關(guān)的軟件包

3.2 安裝glue
# groupadd haclient
# useradd -g haclient -M -s /sbin/nologin hacluster
# tar jxvf glue-1.0.7.tar.bz2
# cd Reusable-Cluster-Components-glue--glue-1.0.7/
# ./autogen.sh
# ./configure
# make && make install
# cd ..

3.3 安裝 agents
# tar zxvf ClusterLabs-resource-agents-agents-1.0.4-0-gc06b6f3.tar.gz
# cd ClusterLabs-resource-agents-c06b6f3/
# ./autogen.sh
# ./configure
# make && make install
# cd..

3.4 安裝Heartbeat
# tar jxvf Heartbeat-3-0-STABLE-3.0.4.tar.bz2
# cd Heartbeat-3-0-STABLE-3.0.4
# ./ConfigureMe configure
# gmake && make install
# cd..

4. 配置lvs啟動腳本
本實驗采用的是lvs-DR模式，該模式的特點是客戶端的請求從主/備節(jié)點進(jìn)入分配到web server，然后web server的響應(yīng)是直接交付給客戶端的。
# vim /etc/init.d/lvs

1. #!/bin/sh
   
2. #chkconfig: 2345 20 80
   
3. #description: start_lvs_of_dr
   
4. 
   
5. VIP1=192.168.2.254
   
6. RIP1=192.168.2.250
   
7. RIP2=192.168.2.251
   
8. RIP3=192.168.2.252
   
9. RIP4=192.168.2.253
   
10. 
    
11. ./etc/rc.d/init.d/functions
    
12. case "$1" in
    
13. start)
    
14. echo "開啟LVS DirectorServer..."
    
15. #設(shè)置虛擬IP地址
    
16. #LVS啟動時添加VIP的網(wǎng)口eth0:0
    
17. /sbin/ifconfig eth0:0 $VIP1 broadcast $VIP1 netmask 255.255.255.255 up
    
18. /sbin/route add -host $VIP1 dev eth0:0
    
19. #清除IPVS表
    
20. /sbin/ipvsadm -C
    
21. #設(shè)置LVS
    
22. /sbin/ipvsadm -A -t $VIP1:80 -s lc
    
23. /sbin/ipvsadm -a -t $VIP1:80 -r $RIP1:80 -g
    
24. /sbin/ipvsadm -a -t $VIP1:80 -r $RIP2:80 -g
    
25. /sbin/ipvsadm -a -t $VIP1:80 -r $RIP3:80 –g
    
26. /sbin/ipvsadm -a -t $VIP1:80 -r $RIP4:80 -g
    
27. #使用ipvsadm來轉(zhuǎn)發(fā)客戶端請求。-s lc為最小連接數(shù)算法，-g是采用DR模式。有多少RIP就添加幾條記錄。
    
28. #啟動LVS
    
29. /sbin/ipvsadm
    
30. ;;
    
31. 
    
32. stop)
    
33. echo "停止LVS DirectorServer..."
    
34. #關(guān)閉時清除ipvsadm表
    
35. /sbin/ipvsadm –C
    
36. ;;
    
37. 
    
38. *)
    
39. echo "Usage: $0 {start|stop}"
    
40. exit 1
    
41. esac注：這個腳本不要使用chkconfig管理，放入/etc/init.d內(nèi)即可。

復(fù)制代碼

5. 安裝ldirectord相關(guān)組件
默認(rèn)安裝完上面的三個軟件包之后，ldirectord已經(jīng)安裝到系統(tǒng)中，默認(rèn)路徑在 /usr/etc/ ，由于ldirectord是由perl語言編寫的，所以必須安裝相關(guān)的軟件包：Socket6、libwww-perl、URI、MailTools、HTML-Parser
# yum -y install perl-Socket6 perl-libwww-perl perl-URI perl-MailTools perl-HTML-Parser

也可以在http://search.cpan.org/網(wǎng)站下載相關(guān)軟件包安裝
安裝方法：
# perl Makefile.PL
# make && make install

6. 配置heartbeat
# cp -a /usr/etc/ha.d/ /etc/
# rm -fr /usr/etc/ha.d/
# ln -s /etc/ha.d/ /usr/etc/
# cp /usr/share/doc/haresources /etc/ha.d/
# cp /usr/share/doc/authkeys /etc/ha.d/
# cp /usr/share/doc/ha.cf /etc/ha.d/
# chmod 600 /etc/ha.d/authkeys //這個文件的權(quán)限必須是600

6.1 修改配置文件
6.1.1 authkeys文件配置（authkeys文件的作用是用來設(shè)置心跳信息的加密方式）
vim /etc/ha.d/authkeys

auth 1
1 crc
#2 sha1 HI!
#3 md5 Hello!此設(shè)置是使用crc循環(huán)冗余校驗，不采用加密的方式。

6.1.2 ha.cf為heartbeat的主配置文件，修改下面配置。
# vim /etc/ha.d/ha.cf

1. #日志文件位置
   
2. logfile /var/log/ha-log
   
3. #指定主備服務(wù)器多久發(fā)送一次心跳
   
4. keepalive 2
   
5. #指定30秒沒有收到對方心跳就認(rèn)為對方已經(jīng)down機
   
6. deadtime 30
   
7. #10秒沒有收到心跳，便發(fā)出警報。
   
8. warntime 10
   
9. #對方DOWN后120秒重新檢測一次。
   
10. initdead 120
    
11. #指定監(jiān)聽端口
    
12. udpport 694
    
13. #心跳監(jiān)聽網(wǎng)口，這里為eth1
    
14. bcast eth1 //去掉后面#linux
    
15. #備份機的心跳線接口與接口IP
    
16. ucast eth1 192.168.1.251
    
17. #主節(jié)點恢復(fù)后，自動收回資源。
    
18. auto_failback on
    
19. #指定主備服務(wù)器的主機名稱，即在hosts文件中指定的。第一個node為主服務(wù)器，第二個node為備服務(wù)器。
    
20. node lvs-master //服務(wù)器的主機名
    
21. node lvs-backup
    
22. #當(dāng)192.168.2.1、192.168.2.2這兩個IP都不能ping通時，對方即開始接管資源。
    
23. ping_group group1 192.168.2.1 192.168.2.2
    
24. #啟用ipfail腳本
    
25. respawn root /usr/lib/heartbeat/ipfail
    
26. #指定運行ipfail的用戶。
    
27. apiauth ipfail gid=root uid=root6.1.3 haresources文件配置，這個文件是指定虛擬IP和改主機控制的腳本。
    
28. # vim /etc/ha.d/haresources
    
29. 
    
30. lvs-master 192.168.2.254 lvs ldirectord
    
31. // master.lvs.net可為主節(jié)點主機名，192.168.2.254為虛擬IP6.1.4 ldirectord.cf是ldirectord進(jìn)程的配置文件，該進(jìn)程用來監(jiān)視web server的運行狀況，如果web server不能響應(yīng)請求則把它排除在轉(zhuǎn)發(fā)列表外。
    
32. 復(fù)制安裝文件ldirectord目錄上的ldirectord.cf 到/etc/ha.d/conf下，如果找不到可以查找一下：find / -name ldirectord.cf
    
33. # mkdir /etc/ha.d/conf
    
34. # cp ldirectord.cf /etc/ha.d/conf
    
35. # vim /etc/ha.d/conf/ldirectord.cf
    
36. 
    
37. # Global Directives
    
38. #設(shè)置真實web server的超時時間
    
39. checktimeout=30
    
40. #監(jiān)視真實web server的時間間隔
    
41. checkinterval=10
    
42. #如全部真實web server失敗，則轉(zhuǎn)發(fā)至本地
    
43. fallback=127.0.0.1:80
    
44. #改變配置文件內(nèi)容，不需要重新ldirectord
    
45. autoreload=yes
    
46. #指定日志位置
    
47. logfile="/var/log/ldirectord.log"
    
48. quiescent=no
    
49. 
    
50. # A sample virual with a fallback that will override the gobal setting
    
51. #指定虛擬IP
    
52. virtual=192.168.2.254:80
    
53. #指定真實web server IP及監(jiān)聽端口
    
54. real=192.168.2.250:80 gate
    
55. real=192.168.2.251:80 gate
    
56. real=192.168.2.252:80 gate
    
57. real=192.168.2.253:80 gate
    
58. fallback=127.0.0.1:80 gate
    
59. service=http
    
60. #指定轉(zhuǎn)發(fā)算法
    
61. scheduler=lc //這里的算法要和LVS腳本的算法一樣
    
62. protocol=tcp
    
63. #監(jiān)視VIP服務(wù)器的方法
    
64. checktype=negotiate
    
65. checkport=80
    
66. #監(jiān)聽測試頁面名稱，這個頁面放入真實web server web服務(wù)的根目錄
    
67. request="lvs_testpage.html"
    
68. #指定測試頁面返回內(nèi)容
    
69. receive="Test Page"
    
70. virtualhost= lvstest.net配置文件中的lvs_testpage.html必須存在網(wǎng)站根目錄下，校驗一下配置：

復(fù)制代碼

# ldirectord -d /etc/ha.d/conf/ldirectord.cf start //按Ctrl+C結(jié)束
# cp /etc/ha.d/shellfuncs /usr/lib/ocf/resource.d/heartbeat/.ocf-shellfuncs

以上lvs和heartbeat配置完成。
LVS備節(jié)點（lvs-backup）的配置和LVS主節(jié)點（lvs-master）完全一樣。
只是在/etc/ha.d/ha.cf中“ucast eth1 192.168.1.251”此配置地址不一樣。

二、配置真實web server腳本
在每臺web server的/etc/init.d目錄下放置realserver腳本，這里主備節(jié)點同時也作為web server使用。
# vim /etc/init.d/realserver

1. #!/bin/bash
   
2. # chkconfig: 2345 20 80
   
3. # description: lvs_dr_realserver
   
4. 
   
5. #指定虛擬IP
   
6. VIP=192.168.2.254
   
7. host=`/bin/hostname`
   
8. case "$1" in
   
9. start)
   
10. # Start LVS-DR real server on this machine.
    
11. /sbin/ifconfig lo down
    
12. /sbin/ifconfig lo up
    
13. #修改相關(guān)內(nèi)核參數(shù)
    
14. echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
    
15. echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
    
16. echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
    
17. echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
    
18. 
    
19. /sbin/ifconfig lo:0 $VIP netmask 255.255.255.255 up
    
20. /sbin/route add -host $VIP dev lo:0
    
21. ;;
    
22. stop)
    
23. # Stop LVS-DR real server loopback device(s).
    
24. /sbin/ifconfig lo:0 down
    
25. ;;
    
26. status)
    
27. # Status of LVS-DR real server.
    
28. islothere=`/sbin/ifconfig lo:0 | grep $VIP`
    
29. isrothere=`netstat -rn | grep "lo" | grep $VIP`
    
30. if [ ! "$islothere" -o ! "$isrothere" ];
    
31. then
    
32. # Either the route or the lo:0 device
    
33. # not found.
    
34. echo "LVS-DR real server Stopped."
    
35. else
    
36. echo "LVS-DR Running."
    
37. fi
    
38. ;;
    
39. *)
    
40. # Invalid entry.
    
41. echo "$0: Usage: $0 {start|status|stop}"
    
42. exit 1
    
43. ;;
    
44. esac# chmod +x /etc/init.d/lvs
    
45. # chmod +x /etc/init.d/realserver
    
46. # service heartbeat start //主備LVS調(diào)度器上執(zhí)行
    
47. # /etc/init.d/lvs start //主備LVS調(diào)度器上執(zhí)行
    
48. # /etc/init.d/realserver start //真實web服務(wù)器上執(zhí)行
    
49. 
    
50. # chkconfig --level 35 heartbeat on
    
51. # echo “/etc/init.d/lvs start” >> /etc/rc.local //開機啟動
    
52. # echo “/etc/init.d/realserver start” >> /etc/rc.local //開機啟動
    

復(fù)制代碼

三、測試
配置我已經(jīng)測試過了，但是不同系統(tǒng)環(huán)境可能會出一些意料之外的事情。


推薦閱讀：LVS的調(diào)度算法和三種工作模式

本文鏈接地址：http://www.linuxde.net/2011/06/111.html
除非注明，其他均為原創(chuàng)或編譯文章，轉(zhuǎn)載請注明： 文章轉(zhuǎn)載自Linux每日一文

linux_shell

不錯，非常詳細(xì)，謝謝分享

gun007_cu

@qtsunk

拓?fù)鋱D中虛擬IP寫錯。

tianlijian

好文章，放分享

kns1024wh

回復(fù) 1# qtsunk

基礎(chǔ)實驗 必須要掌握好的操作技能

zhgbwin

很詳細(xì)，收藏～～

qtsunk

回復(fù) 3# gun007_cu


    悲劇，如此低級錯誤。謝謝提醒

xiaochu

為什么不用lvs+keepalived呢

Mr__zhang

hosthouse

/etc/init.d/lvs既然有使用ipvsadm配置了，那么/etc/ha.d/conf/ldirectord.cf就不需要配置了。