[LVS+Keepalived]真實服務器之間不能漂移

codeman

使用LVS+Keepalived做負載均衡，C/S架構，搭建了兩個節(jié)點對外提供服務，在測試真實服務器宕機時，服務可自動漂移至另一臺真實服務器，發(fā)現(xiàn)一個奇怪的問題，具體描述如下：
環(huán)境：
VIP：10.98.10.1
RIP1:10.98.10.2
RIP2：10.98.10.3

客戶端通過兩個端口訪問服務端，一個是18001，用于通信，一般是一個tcp連接；一個是18002，用于上傳大文件，一般會有5個線程同時工作，所以會有5個tcp連接。

因為同一客戶端會通過兩個端口去訪問服務端，并且希望兩個端口的連接去向是同一臺真實服務器，所以使用了防火墻標記法把兩個端口打包成一個服務了。

測試時發(fā)現(xiàn)如果在LVS的規(guī)則中加了持久性連接選項（ipvsadm -A -t VIP -s rr -p 300），這樣的話來自同一客戶端的所有tcp連接去向都是同一臺服務器。假如有兩個客戶端A和B連接，則會發(fā)現(xiàn)每個客戶端連接了一臺真實服務器，比如A連接10.98.10.2，B連接10.98.10.3。但是如果把其中一臺真實服務器停掉（10.98.10.3），就會發(fā)現(xiàn)B客戶端還是會一直嘗試去連接10.98.10.3，而不會自動漂移至10.98.10.2，通過ipvsadm -Lnc命令可觀察到。

但如果在LVS的規(guī)則中不加持久性連接選項（ipvsadm -A -t VIP -s rr），這樣的話發(fā)現(xiàn)如果其中某臺服務器宕機，則服務會漂移至另一臺真實服務器，繼續(xù)提供服務；但是又有另外一個問題，發(fā)現(xiàn)客戶端的18002端口的5個線程的tcp連接會平均分配到兩臺真實服務器上，這不是想要的結果。

琢磨LVS和Keepalived配置很久了，嘗試著改了不少方式，但都不能完美的實現(xiàn)，所以想請問一下怎么配置，既能保證同一客戶端連接同一臺真實服務器，又能夠實現(xiàn)真實服務器的自動失敗切換功能，謝謝！

Godbach

回復 1# codeman
可以試試七層負載均衡 HAProxy 嗎


   

撒加

你兩個節(jié)點上只是部署了LVS+keepalived？沒有其他的服務進行復用？
另外，你啟用持久連接后，超市時間是300秒，所以你讓10.98.10.3 down了后，所以B還是會連接10.98.10.3，等300秒后才會斷開連接，然后連接10.98.10.2

撒加

另外，你可能需要virtual_server group GROUPNAME，這種方式來配置你的LVS

codeman

回復 2# Godbach
客戶端是使用的TCP連接，不是http等七層協(xié)議。

   

codeman

回復 3# 撒加
不好意思，我可能沒說清楚。

LVS也有主備兩臺服務器，一個是10.98.10.4，一個是10.98.10.5，LVS和Keepalived都是安裝在這兩臺機器上，VIP是配置在這。

服務端程序是部署在兩臺真實服務器上，客戶端都通過訪問對外的VIP來做負載均衡。


   

codeman

回復 3# 撒加

即使300秒超時后也不會連接另外一臺服務器，另外也配置了參數(shù)expire_quiescent_template=1，也還是不工作，也是一直不太理解的地方。
   

codeman

回復 4# 撒加

以前有加，后來查資料有提到這個配置參數(shù)，好像是用于有多組LVS的時候。
   

撒加

回復 7# codeman


    expire_nodest_conn的配置是什么，方便的話能把你的keepalived配置貼出來，以及ipvs-sysctl的都發(fā)出來

Godbach

回復 3# 撒加

HAProxy 中對于這種情況，會及時感知，并且讓 persitence 失效的。

對于 down 的 RS，其上的 pesistence 邏輯也應該及時失效，而不是維持到超時結束。