詳細討論一個常見的網(wǎng)絡(luò)工具如何設(shè)計

duanjigang

2011-03-10 18:00搞了三四天終于完成了一個版本，先做成了實時的反饋結(jié)果，測試一天，再調(diào)試多進程的異步方式，哈哈，測試命令如下:

1. 
   
2. #test batch upload file
   
3. ./cmclient -p 12345 -f ip1.conf -u 1.txt -d /tmp/1/2  -n 20
   
4. 
   
5. #test batch run commds
   
6. ./cmclient -p 12345 -f ip.conf -c "uname -a"  -n 20
   
7. 
   
8. #test single host command running
   
9. ./cmclient -p 12345 -h 10.32.20.200 -c "uname -a"  -n 20
   
10. 
    
11. #test single host file upload
    
12. ./cmclient -p 12345 -h 10.32.20.200 -u Makefile -d /tmp/  -n 20
    

復(fù)制代碼

運行結(jié)果如下：

1. 
   
2. deliver file [1.txt] to directory [/tmp/1/2]:
   
3. 10.32.20.211
   
4. success
   
5. 10.32.20.200
   
6. success
   
7. 10.32.20.2
   
8. failed
   
9. run command [uname -a]:
   
10. 10.32.20.211
    
11. Linux localhost.localdomain 2.6.18-8.el5 #1 SMP Fri Jan 26 14:15:21 EST 2007 i686 i686 i386 GNU/Linux
    
12. 10.32.20.224
    
13. Linux localhost.localdomain 2.6.18-8.el5 #1 SMP Fri Jan 26 14:15:21 EST 2007 i686 i686 i386 GNU/Linux
    
14. 10.32.20.227
    
15. Linux localhost.localdomain 2.6.18-8.el5 #1 SMP Fri Jan 26 14:15:21 EST 2007 i686 i686 i386 GNU/Linux
    
16. 10.32.20.228
    
17. Linux localhost.localdomain 2.6.18-8.el5 #1 SMP Fri Jan 26 14:15:21 EST 2007 i686 i686 i386 GNU/Linux
    
18. 10.32.20.231
    
19. 10.32.20.200
    
20. Linux localhost.localdomain 2.6.18-8.el5 #1 SMP Fri Jan 26 14:15:21 EST 2007 i686 i686 i386 GNU/Linux
    
21. 10.32.20.214
    
22. Linux localhost.localdomain 2.6.18-8.el5 #1 SMP Fri Jan 26 14:15:21 EST 2007 i686 i686 i386 GNU/Linux
    
23. 10.32.20.217
    
24. Linux localhost.localdomain 2.6.18-8.el5 #1 SMP Fri Jan 26 14:15:21 EST 2007 i686 i686 i386 GNU/Linux
    
25. 10.32.20.218
    
26. Linux localhost.localdomain 2.6.18-8.el5 #1 SMP Fri Jan 26 14:15:21 EST 2007 i686 i686 i386 GNU/Linux
    
27. 10.32.20.219
    
28. Linux localhost.localdomain 2.6.18-8.el5 #1 SMP Fri Jan 26 14:15:21 EST 2007 i686 i686 i386 GNU/Linux
    
29. run command [uname -a]:
    
30. 10.32.20.200
    
31. Linux localhost.localdomain 2.6.18-8.el5 #1 SMP Fri Jan 26 14:15:21 EST 2007 i686 i686 i386 GNU/Linux
    
32. deliver file [Makefile] to directory [/tmp/]:
    
33. 10.32.20.200
    
34. success
    

復(fù)制代碼

========================================
需求是這樣，做一個部署在客戶端的程序和部署在服務(wù)端的程序，具體目標如下：
客戶端通過參數(shù)方式，向多個服務(wù)端發(fā)送指令，客戶端期望知道服務(wù)端執(zhí)行的最終結(jié)果。

考慮到的問題是：
第一：接收命令的服務(wù)器可能比較多，上萬臺，因此，客戶端需要多線程去發(fā)送，當然不能一個主機一個線程吧？應(yīng)該給每個線程分配N個節(jié)點，盡量平均。
第二：客戶端發(fā)給服務(wù)器的命令不一定就是立刻能返回的，可能執(zhí)行時間比較長，比如讓服務(wù)器去下載一個文件，然后返回當前目錄的大小，因此，我想客戶端不能在當前連接中等待服務(wù)端返回執(zhí)行結(jié)果吧，也就是說，服務(wù)端需要啟動一個線程或者進程異步去執(zhí)行這個任務(wù)。
第三：如果服務(wù)端異步執(zhí)行命令，等命令執(zhí)行完以后，怎么通知客戶端，我現(xiàn)在能想到的就是，客戶端在分發(fā)命令時，把自己的IP和端口以及命令I(lǐng)D一并發(fā)給每個服務(wù)器，服務(wù)器上的線程執(zhí)行完以后，再連接該命令對應(yīng)的客戶端的地址，把命令I(lǐng)D以及結(jié)果反饋給原來發(fā)送命令的客戶端機器。

關(guān)于以上三點，不知諸位有無意見或者更好的方法，謝謝討論！

附上我設(shè)計的結(jié)構(gòu)圖，歡迎討論


2011-03-03
今天實現(xiàn)了個基本的模型，能跑起來了，把結(jié)構(gòu)修改了下，更新上來，但是如果服務(wù)器過多的話，可能出現(xiàn)反饋時N對1的情況，會對客戶端主機造成類似DOS synflood的攻擊吧？呵呵，不知道是不是這樣，專業(yè)人士幫分析下？詳細信息見23樓

Godbach

通常比較大的互聯(lián)網(wǎng)公司應(yīng)該就會遇到這樣的需求

duanjigang

通常比較大的互聯(lián)網(wǎng)公司應(yīng)該就會遇到這樣的需求
Godbach 發(fā)表于 2011-03-01 17:51

    嗯，通過腳本實現(xiàn)的話，異步執(zhí)行和反饋檢查個人感覺不太好做，也不太準確，往往需要人為的判斷和糾錯。
因此想開發(fā)一個比較具體的客戶端和服務(wù)端，能夠把該任務(wù)的執(zhí)行做到完全自動化。期待高見

send_linux

嗯，通過腳本實現(xiàn)的話，異步執(zhí)行和反饋檢查個人感覺不太好做，也不太準確，往往需要人為的判斷和 ...
duanjigang 發(fā)表于 2011-03-01 17:54

    前兩天蜘蛛大哥說他們弄了個系統(tǒng)，在微博上說的，我拖他過來..........

賀蘭云天

好，多謝sendlinux

Godbach

其實這個就需要不少配套的東西，你在服務(wù)器上預(yù)裝一些常用的工具，然后你客戶端調(diào)用的時候去執(zhí)行。
客戶端可以搞個工具，批量登陸服務(wù)器執(zhí)行命令，并返回執(zhí)行結(jié)果的模式

一介村夫

連接來連接去的太麻煩，不如搞成多進程，每個進程連接若干的服務(wù)器并保持連接直到對方返回結(jié)果。

duanjigang

其實這個就需要不少配套的東西，你在服務(wù)器上預(yù)裝一些常用的工具，然后你客戶端調(diào)用的時候去執(zhí)行。
客戶端 ...
Godbach 發(fā)表于 2011-03-01 18:23

    之前做了個cme_scanner,是多線程調(diào)用ssh腳本自動登錄執(zhí)行命令返回結(jié)果，但是expect結(jié)合ssh做成的自動腳本總感覺不穩(wěn)定，還有，對于這種執(zhí)行時間比較長的任務(wù)嗎，不能一直阻塞著等吧？

duanjigang

連接來連接去的太麻煩，不如搞成多進程，每個進程連接若干的服務(wù)器并保持連接直到對方返回結(jié)果。
一介村夫 發(fā)表于 2011-03-01 18:26

    這樣的話，命令發(fā)起者對于服務(wù)器端的執(zhí)行狀態(tài)就不是很清楚了，呵呵，我現(xiàn)在設(shè)計了一個反饋線程（見一樓的圖），在一個固定超時時間到達后，就給statserver返回一個狀態(tài)信息，表明正在執(zhí)行，這樣是不是能好些？

Godbach

遠程執(zhí)行命令的時候，可以加上一個超時機制吧。執(zhí)行的命令那些耗時，那些很快就返回，你應(yīng)該很清楚的。