[2012站慶技術(shù)討論]：如何設(shè)計(jì)分布式異步事件處理系統(tǒng)？（獲獎(jiǎng)名單已公布-12-26）

wallwind

回復(fù) 18# crazyhadoop


    最近在寫一套高效的通信系統(tǒng)，進(jìn)程間通信和socket通信均可的那種。嘿嘿

xujg

zeromq是消息隊(duì)列嗎? 可以持久化嗎?

建議21樓可以關(guān)注下zeromq.

crazyhadoop

回復(fù) 22# xujg


    是消息隊(duì)列，不能持久化

藍(lán)色蜻蜓

分布式不太懂，先學(xué)習(xí)一下

藍(lán)色蜻蜓

說道消息隊(duì)列確實(shí)可以實(shí)現(xiàn)消息異步，并且實(shí)現(xiàn)消息分發(fā)；像mq之類的產(chǎn)品可以實(shí)現(xiàn)消息的持久化且保證消息的可到達(dá)性；

yifangyou

如下圖所示
1.對(duì)于分布式異步系統(tǒng)，我覺得應(yīng)該使用發(fā)布-訂閱模式，當(dāng)任務(wù)發(fā)布者得到任務(wù)后，立刻發(fā)布到任務(wù)欄中，已經(jīng)訂閱了任務(wù)欄的worker當(dāng)有空時(shí)就會(huì)去領(lǐng)取任務(wù)，完成后匯報(bào)給任務(wù)結(jié)果收集者，這樣任務(wù)就完成。對(duì)于worker內(nèi)部若是也是一個(gè)集群的話也可以采取相同的方式進(jìn)行任務(wù)分解
當(dāng)任務(wù)已經(jīng)完成了可以直接發(fā)消息通知程序已經(jīng)完成了。


若是異步事件處理服務(wù)掛掉了，這個(gè)任務(wù)發(fā)布者是知道的，因?yàn)槿蝿?wù)發(fā)布者里有訂閱者的名單，只需要把這個(gè)訂閱者未完成的任務(wù)再重新發(fā)布一下即可，自動(dòng)會(huì)有worker過來領(lǐng)任務(wù)。

zeromq是一套非常好的消息通信工具，使用c語言編寫，改造了tcp協(xié)議，消息通信非常快。有很多種模式可以選擇。

crazyhadoop

回復(fù) 27# yifangyou


    嗯，這個(gè)架構(gòu)簡(jiǎn)介給力，侵入性小~ 主要是調(diào)度這可能是個(gè)小瓶頸~

xujg

最頂層的任務(wù)發(fā)布者和結(jié)果收集者如何避免單點(diǎn)?

"zeromq改造了TCP協(xié)議", 這句如何理解?

yifangyou 發(fā)表于 2012-12-02 11:11
如下圖所示
1.對(duì)于分布式異步系統(tǒng)，我覺得應(yīng)該使用發(fā)布-訂閱模式，當(dāng)任務(wù)發(fā)布者得到任務(wù)后，立刻發(fā)布到任 ...