郵件服務器時常連接不上

helloiac

說明：
1.局域網(wǎng)內有大量的windows destkop 40~50臺，使用outlook 或者foxmail 等 3分鐘自動連接郵件服務器收件或者不定時發(fā)送郵件
2.局域網(wǎng)內有部分linux 內網(wǎng)服務器，偶爾連接郵件服務器進行發(fā)件
3.整個局域網(wǎng)連接外網(wǎng)都nat 成同一個公網(wǎng)ip ccc ，router C 本身也是一臺linux 主機開啟轉發(fā)

問題概述：
1.局域網(wǎng)內windows 主機telnet 郵件服務器A 一般都沒有問題 但是使用局域網(wǎng)內的部分linux 主機telnet 時常會連接不上，不管是什么端口（22，25.443，995）都是一樣的情況
2.外網(wǎng)linux 服務器B telnet 郵件服務器A 一般也都沒有問題

在郵件服務器上抓包，服務器有收到syn 但是服務器沒有返回包
以443端口為例
使用一臺內網(wǎng)Fedora 19 telnet 服務器443端口，服務器上的抓包情況

1. 15:16:55.144222 IP xxx.xxx.xxx.xxx.46989 > xxx.xxx.xxx.xxx.https: Flags [S], seq 939563650, win 29200, options [mss 1460,sackOK,TS val 23633360 ecr 0,nop,wscale 7], length 0
   
2. 15:17:03.160282 IP xxx.xxx.xxx.xxx.46989 > xxx.xxx.xxx.xxx.https: Flags [S], seq 939563650, win 29200, options [mss 1460,sackOK,TS val 23641376 ecr 0,nop,wscale 7], length 0

復制代碼

使用一臺window7 telnet 服務器443端口，服務器上的抓包情況
（window7 與Fedora19 位于同一臺hub 上）

1. 15:20:54.484991 IP xxx.xxx.xxx.xxx.49218 > xxx.xxx.xxx.xxx.https: Flags [S], seq 31344922, win 8192, options [mss 1460,nop,wscale 2,nop,nop,sackOK], length 0
   
2. 15:20:54.485034 IP xxx.xxx.xxx.xxx.https > xxx.xxx.xxx.xxx.49218: Flags [S.], seq 1361958840, ack 31344923, win 14600, options [mss 1460,nop,nop,sackOK,nop,wscale 7], length 0
   
3. 15:20:54.485558 IP xxx.xxx.xxx.xxx.49218 > xxx.xxx.xxx.xxx.https: Flags [.], ack 1, win 4380, length 0
   
4. 15:20:55.685554 IP xxx.xxx.xxx.xxx.https > xxx.xxx.xxx.xxx.49218: Flags [S.], seq 1361958840, ack 31344923, win 14600, options [mss 1460,nop,nop,sackOK,nop,wscale 7], length 0
   
5. 15:20:55.686359 IP xxx.xxx.xxx.xxx.49218 > xxx.xxx.xxx.xxx.https: Flags [.], ack 1, win 4380, options [nop,nop,sack 1 {0:1}], length 0
   
6. 15:21:05.122927 IP xxx.xxx.xxx.xxx.49218 > xxx.xxx.xxx.xxx.https: Flags [F.], seq 1, ack 1, win 4380, length 0
   
7. 15:21:05.123193 IP xxx.xxx.xxx.xxx.https > xxx.xxx.xxx.xxx.49218: Flags [F.], seq 1, ack 2, win 115, length 0
   
8. 15:21:05.123813 IP xxx.xxx.xxx.xxx.49218 > xxx.xxx.xxx.xxx.https: Flags [.], ack 2, win 4380, length 0

復制代碼

服務器上sysctl -a 關于syn的

fs.quota.syncs = 0
net.netfilter.nf_conntrack_tcp_timeout_syn_sent = 120
net.netfilter.nf_conntrack_tcp_timeout_syn_recv = 60
net.ipv4.tcp_syn_retries = 5
net.ipv4.tcp_synack_retries = 5
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_max_syn_backlog = 10240
net.ipv6.conf.all.max_desync_factor = 600
net.ipv6.conf.default.max_desync_factor = 600
net.ipv6.conf.lo.max_desync_factor = 600
net.ipv6.conf.eth0.max_desync_factor = 600
net.ipv6.conf.eth1.max_desync_factor = 600
net.ipv6.conf.eth2.max_desync_factor = 600

helloiac

發(fā)現(xiàn)一個問題，就是這些時常連接不上的都是發(fā)生在linux 系統(tǒng)下，widows 系統(tǒng)就沒有這個問題，是不是因為局域網(wǎng)內的郵件客戶端連接都是復用一個tcp/ip連接
而linux 由于包的不同所以不能復用該連接

cryboy2001

我覺得是其它問題產(chǎn)生的，而不是linux特定的問題。
沒聽說linux連postfix時會產(chǎn)生特別的問題。

helloiac

回復 3# cryboy2001


    感覺應該是mail服務器上對于相同來源ip連接的問題，應為使用線上其他IP的linux 主機去telnet 郵件服務器完全沒有問題
   
   

woxizishen

樓主在你那個有問題和沒問題的的linux主機分別traceroute以下你的郵件服務器，看下路由走向。

cryboy2001

你看看是不是防火墻，fail2ban或其它有封ip功能的軟件設置造成的

helloiac

回復 6# cryboy2001


    不是，試過將fail2ban停止掉，情況依然

helloiac

終于找到坑貨了

原來是內核中的 net.ipv4.tcp_tw_recycle=1 這個參數(shù)，將其置0就可以了

表示開啟TCP連接中TIME-WAIT sockets的快速回收，默認為0，表示關閉。

大概和【經(jīng)驗總結】tcp_tw_recycle參數(shù)引發(fā)的故障有點類似

我們在一些高并發(fā)的 WebServer上，為了端口能夠快速回收，打開了 tcp_tw_reccycle ，而在關閉 tcp_tw_reccycle 的時候，kernal 是不會檢查對端機器的包的時間戳的；打開了 tcp_tw_reccycle 了，就會檢查時間戳，很不幸移動的cmwap發(fā)來的包的時間戳是亂跳的，所以我方的就把帶了“倒退”的時間戳的包當作是“recycle的tw連接的重傳數(shù)據(jù)，不是新的請求”，于是丟掉不回包，造成大量丟包。

woxizishen

回復 8# helloiac

不帶這樣啃版主的^_^