詳細(xì)討論一個(gè)常見的網(wǎng)絡(luò)工具如何設(shè)計(jì)

duanjigang

2011-03-10 18:00搞了三四天終于完成了一個(gè)版本，先做成了實(shí)時(shí)的反饋結(jié)果，測(cè)試一天，再調(diào)試多進(jìn)程的異步方式，哈哈，測(cè)試命令如下:

1. 
   
2. #test batch upload file
   
3. ./cmclient -p 12345 -f ip1.conf -u 1.txt -d /tmp/1/2  -n 20
   
4. 
   
5. #test batch run commds
   
6. ./cmclient -p 12345 -f ip.conf -c "uname -a"  -n 20
   
7. 
   
8. #test single host command running
   
9. ./cmclient -p 12345 -h 10.32.20.200 -c "uname -a"  -n 20
   
10. 
    
11. #test single host file upload
    
12. ./cmclient -p 12345 -h 10.32.20.200 -u Makefile -d /tmp/  -n 20
    

復(fù)制代碼

運(yùn)行結(jié)果如下：

1. 
   
2. deliver file [1.txt] to directory [/tmp/1/2]:
   
3. 10.32.20.211
   
4. success
   
5. 10.32.20.200
   
6. success
   
7. 10.32.20.2
   
8. failed
   
9. run command [uname -a]:
   
10. 10.32.20.211
    
11. Linux localhost.localdomain 2.6.18-8.el5 #1 SMP Fri Jan 26 14:15:21 EST 2007 i686 i686 i386 GNU/Linux
    
12. 10.32.20.224
    
13. Linux localhost.localdomain 2.6.18-8.el5 #1 SMP Fri Jan 26 14:15:21 EST 2007 i686 i686 i386 GNU/Linux
    
14. 10.32.20.227
    
15. Linux localhost.localdomain 2.6.18-8.el5 #1 SMP Fri Jan 26 14:15:21 EST 2007 i686 i686 i386 GNU/Linux
    
16. 10.32.20.228
    
17. Linux localhost.localdomain 2.6.18-8.el5 #1 SMP Fri Jan 26 14:15:21 EST 2007 i686 i686 i386 GNU/Linux
    
18. 10.32.20.231
    
19. 10.32.20.200
    
20. Linux localhost.localdomain 2.6.18-8.el5 #1 SMP Fri Jan 26 14:15:21 EST 2007 i686 i686 i386 GNU/Linux
    
21. 10.32.20.214
    
22. Linux localhost.localdomain 2.6.18-8.el5 #1 SMP Fri Jan 26 14:15:21 EST 2007 i686 i686 i386 GNU/Linux
    
23. 10.32.20.217
    
24. Linux localhost.localdomain 2.6.18-8.el5 #1 SMP Fri Jan 26 14:15:21 EST 2007 i686 i686 i386 GNU/Linux
    
25. 10.32.20.218
    
26. Linux localhost.localdomain 2.6.18-8.el5 #1 SMP Fri Jan 26 14:15:21 EST 2007 i686 i686 i386 GNU/Linux
    
27. 10.32.20.219
    
28. Linux localhost.localdomain 2.6.18-8.el5 #1 SMP Fri Jan 26 14:15:21 EST 2007 i686 i686 i386 GNU/Linux
    
29. run command [uname -a]:
    
30. 10.32.20.200
    
31. Linux localhost.localdomain 2.6.18-8.el5 #1 SMP Fri Jan 26 14:15:21 EST 2007 i686 i686 i386 GNU/Linux
    
32. deliver file [Makefile] to directory [/tmp/]:
    
33. 10.32.20.200
    
34. success
    

復(fù)制代碼

========================================
需求是這樣，做一個(gè)部署在客戶端的程序和部署在服務(wù)端的程序，具體目標(biāo)如下：
客戶端通過(guò)參數(shù)方式，向多個(gè)服務(wù)端發(fā)送指令，客戶端期望知道服務(wù)端執(zhí)行的最終結(jié)果。

考慮到的問(wèn)題是：
第一：接收命令的服務(wù)器可能比較多，上萬(wàn)臺(tái)，因此，客戶端需要多線程去發(fā)送，當(dāng)然不能一個(gè)主機(jī)一個(gè)線程吧？應(yīng)該給每個(gè)線程分配N個(gè)節(jié)點(diǎn)，盡量平均。
第二：客戶端發(fā)給服務(wù)器的命令不一定就是立刻能返回的，可能執(zhí)行時(shí)間比較長(zhǎng)，比如讓服務(wù)器去下載一個(gè)文件，然后返回當(dāng)前目錄的大小，因此，我想客戶端不能在當(dāng)前連接中等待服務(wù)端返回執(zhí)行結(jié)果吧，也就是說(shuō)，服務(wù)端需要啟動(dòng)一個(gè)線程或者進(jìn)程異步去執(zhí)行這個(gè)任務(wù)。
第三：如果服務(wù)端異步執(zhí)行命令，等命令執(zhí)行完以后，怎么通知客戶端，我現(xiàn)在能想到的就是，客戶端在分發(fā)命令時(shí)，把自己的IP和端口以及命令I(lǐng)D一并發(fā)給每個(gè)服務(wù)器，服務(wù)器上的線程執(zhí)行完以后，再連接該命令對(duì)應(yīng)的客戶端的地址，把命令I(lǐng)D以及結(jié)果反饋給原來(lái)發(fā)送命令的客戶端機(jī)器。

關(guān)于以上三點(diǎn)，不知諸位有無(wú)意見或者更好的方法，謝謝討論！

附上我設(shè)計(jì)的結(jié)構(gòu)圖，歡迎討論


2011-03-03
今天實(shí)現(xiàn)了個(gè)基本的模型，能跑起來(lái)了，把結(jié)構(gòu)修改了下，更新上來(lái)，但是如果服務(wù)器過(guò)多的話，可能出現(xiàn)反饋時(shí)N對(duì)1的情況，會(huì)對(duì)客戶端主機(jī)造成類似DOS synflood的攻擊吧？呵呵，不知道是不是這樣，專業(yè)人士幫分析下？詳細(xì)信息見23樓

Godbach

通常比較大的互聯(lián)網(wǎng)公司應(yīng)該就會(huì)遇到這樣的需求

duanjigang

通常比較大的互聯(lián)網(wǎng)公司應(yīng)該就會(huì)遇到這樣的需求
Godbach 發(fā)表于 2011-03-01 17:51

    嗯，通過(guò)腳本實(shí)現(xiàn)的話，異步執(zhí)行和反饋檢查個(gè)人感覺不太好做，也不太準(zhǔn)確，往往需要人為的判斷和糾錯(cuò)。
因此想開發(fā)一個(gè)比較具體的客戶端和服務(wù)端，能夠把該任務(wù)的執(zhí)行做到完全自動(dòng)化。期待高見

send_linux

嗯，通過(guò)腳本實(shí)現(xiàn)的話，異步執(zhí)行和反饋檢查個(gè)人感覺不太好做，也不太準(zhǔn)確，往往需要人為的判斷和 ...
duanjigang 發(fā)表于 2011-03-01 17:54

    前兩天蜘蛛大哥說(shuō)他們弄了個(gè)系統(tǒng)，在微博上說(shuō)的，我拖他過(guò)來(lái)..........

賀蘭云天

好，多謝sendlinux

Godbach

其實(shí)這個(gè)就需要不少配套的東西，你在服務(wù)器上預(yù)裝一些常用的工具，然后你客戶端調(diào)用的時(shí)候去執(zhí)行。
客戶端可以搞個(gè)工具，批量登陸服務(wù)器執(zhí)行命令，并返回執(zhí)行結(jié)果的模式

一介村夫

連接來(lái)連接去的太麻煩，不如搞成多進(jìn)程，每個(gè)進(jìn)程連接若干的服務(wù)器并保持連接直到對(duì)方返回結(jié)果。

duanjigang

其實(shí)這個(gè)就需要不少配套的東西，你在服務(wù)器上預(yù)裝一些常用的工具，然后你客戶端調(diào)用的時(shí)候去執(zhí)行。
客戶端 ...
Godbach 發(fā)表于 2011-03-01 18:23

    之前做了個(gè)cme_scanner,是多線程調(diào)用ssh腳本自動(dòng)登錄執(zhí)行命令返回結(jié)果，但是expect結(jié)合ssh做成的自動(dòng)腳本總感覺不穩(wěn)定，還有，對(duì)于這種執(zhí)行時(shí)間比較長(zhǎng)的任務(wù)嗎，不能一直阻塞著等吧？

duanjigang

連接來(lái)連接去的太麻煩，不如搞成多進(jìn)程，每個(gè)進(jìn)程連接若干的服務(wù)器并保持連接直到對(duì)方返回結(jié)果。
一介村夫 發(fā)表于 2011-03-01 18:26

    這樣的話，命令發(fā)起者對(duì)于服務(wù)器端的執(zhí)行狀態(tài)就不是很清楚了，呵呵，我現(xiàn)在設(shè)計(jì)了一個(gè)反饋線程（見一樓的圖），在一個(gè)固定超時(shí)時(shí)間到達(dá)后，就給statserver返回一個(gè)狀態(tài)信息，表明正在執(zhí)行，這樣是不是能好些？

Godbach

遠(yuǎn)程執(zhí)行命令的時(shí)候，可以加上一個(gè)超時(shí)機(jī)制吧。執(zhí)行的命令那些耗時(shí)，那些很快就返回，你應(yīng)該很清楚的。