[英雄貼]開發(fā)每日處理10億請(qǐng)求的專用HTTP服務(wù)器

ideawu

建議大家直接把項(xiàng)目放到 github 上, 大家都能學(xué)習(xí).

djsxut

頂一下， 看看怎么弄的。

starwing83

每天10億請(qǐng)求！聽起來好嚇人哦~

慢著，其實(shí)好像沒有那么嚇人的。
每天十億，即每秒鐘：10 0000 0000 請(qǐng)求 / 86400(24*60*60)秒 = 11574 請(qǐng)求/秒。

根據(jù)這個(gè)頁面：https://groups.google.com/forum/ ... daktIU/LArEHI-YEucJ

node.js在GAE可以達(dá)到2500qps，最慢的Python也有1500qps，更別說直接純C上了，我們以前的試驗(yàn)是，純C可以很容易達(dá)到5000qps，而且我們用的就是普通PC。

慢著，這樣也不夠啊，要求是過一萬qps啊。

笨，GAE是什么，是VPS啊，一個(gè)GAE2500qps，大不了上兩個(gè)上三個(gè)唄。11574請(qǐng)求/秒，也就是11.5請(qǐng)求/ms，差不多8核CPU采用八線程足夠了。如果覺得不放心，16核的CPU肯定夠了。就我所知node.js是很容易做多和擴(kuò)展的。自己寫C也容易做（甚至可以直接用node.js的底層libuv），別的我就不清楚了。

所以，這根本就不是一個(gè)技術(shù)問題，這就TMD的是錢的問題，Over。

ideawu

回復(fù) 4# starwing83


    理論上, 大部分的服務(wù)器硬件是可以做C/C++做到每秒10000個(gè)HTTP請(qǐng)求的. 你說不是技術(shù)問題, 這種說法太輕浮了. 就按你說的, 上3個(gè)GAE服務(wù)器, 面對(duì)別人要查詢?cè)诰�列表時(shí), 難道要查3臺(tái)服務(wù)器?

evaspring

這個(gè)就是錢的問題

ideawu

回復(fù) 6# evaspring


    好吧, 什么都是錢的問題? 有錢就能買百度? 就能出Apple? 就能做出Google? 說這種沒意義的話有什么意思? 還是腳踏實(shí)地吧.

ideawu

在一臺(tái)主流硬件配置的服務(wù)器上做出每日處理10億請(qǐng)求的專用HTTP服務(wù)器, 對(duì)自己既是一個(gè)練習(xí), 如果想進(jìn)中國(guó)互聯(lián)網(wǎng)頂尖公司, 可以聯(lián)系我.

starwing83

回復(fù) 7# ideawu


    你有一千億美元神馬的要買Apple Google貌似真不太難……百度嘛……一百億也就差不多了……

退一萬步說，這個(gè)帖子還不是在說“歡迎給我發(fā)郵件(郵件地址在前面的鏈接中), 互聯(lián)網(wǎng)知名企業(yè)的職位等著你!”，這難道不是錢的問題么？

當(dāng)然了，要說技術(shù)問題，也有，我之所以說這是錢的問題，其含義是“這里面的技術(shù)含量太少，反而對(duì)服務(wù)器性能的要求，遠(yuǎn)遠(yuǎn)超過了對(duì)技術(shù)含量的要求”。

先說你說的話“隨便的C服務(wù)器，qps都超一萬”，這是不對(duì)的，我貼的網(wǎng)址，考慮的是【實(shí)際應(yīng)用】的qps，不是echo server的。按照你的需求，你【至少】需要查詢并/或修改一次數(shù)據(jù)庫——這個(gè)數(shù)據(jù)庫如果是內(nèi)存中的，那么就很快，如果不是內(nèi)存中的，單請(qǐng)求10ms查詢本機(jī)或者本網(wǎng)內(nèi)的數(shù)據(jù)庫也不是不可能的。

再說技術(shù)問題。首先是輪詢問題，這是很基礎(chǔ)的cpio/epoll/kqueue的問題，首先這個(gè)得寫對(duì)，其次，在這個(gè)基礎(chǔ)上，得做多線程任務(wù)分派，這一點(diǎn)才是難點(diǎn)，但是在之前和@linux_c_py_php的帖子中對(duì)這一個(gè)技術(shù)問題討論的很清楚了。這是唯一的兩個(gè)能提得上是“技術(shù)問題”的問題了。其余的，和普通的服務(wù)器設(shè)計(jì)是一樣的。

我為什么提node.js呢？就是因?yàn)閚ode.js本身已經(jīng)將這兩點(diǎn)全都做了，而且還不是node.js本身做的，是它的底層支持庫libuv做的。你們?nèi)绻�想要做，直接上libuv，然后注冊(cè)它的回調(diào)，產(chǎn)生多個(gè)線程/進(jìn)程（libuv都支持），然后就開始干活吧，還有什么猶豫的？如果libuv達(dá)不到你的性能要求，那相對(duì)于自己實(shí)現(xiàn)一個(gè)libuv的子集或者別的什么的，更便宜更安全的方案顯然是升級(jí)你的服務(wù)器。

所以我才說，這不是一個(gè)技術(shù)問題（因?yàn)榧夹g(shù)已經(jīng)有人給你做了，你現(xiàn)用就行），這就是錢的問題。

starwing83

我想知道的是，要實(shí)現(xiàn)一個(gè)HTTP服務(wù)器，你得了解socket，知道至少一個(gè)主流的輪詢機(jī)制，對(duì)多線程編程要熟悉透徹，而且要正確實(shí)現(xiàn)線程池模式。最后，你還得熟悉HTTP，熟悉關(guān)于它的一系列的RFC，包括任何技術(shù)上的細(xì)枝末節(jié)，比如cookie等等。

我覺得，設(shè)計(jì)一個(gè)這樣的服務(wù)器所需要耗費(fèi)的精力與你的所得是不相符的。至少，如果要寫好一個(gè)這樣的服務(wù)器，需要學(xué)習(xí)的面太雜太廣，而你真正工作的時(shí)候涉及的面卻決不可能那么廣泛（當(dāng)然也不一定，比如我前段時(shí)間在重慶就是數(shù)據(jù)庫后端前段美工界面設(shè)計(jì)一個(gè)人搞定= =沒法子啊……），所以，對(duì)于一個(gè)明確自己的目標(biāo)的程序員來說，這絕不是一個(gè)“很好的練習(xí)”。

相對(duì)來說，“在cgi上實(shí)現(xiàn)一個(gè)交互式網(wǎng)頁”，或者“用C實(shí)現(xiàn)一個(gè)高qps的socket服務(wù)器”這些，都是很好的練習(xí)，因?yàn)槟憧梢杂凶銐虻木�力，去關(guān)注所有你喜歡而又用得著的知識(shí)。

最后，“不要重復(fù)造輪子”，作為練習(xí)，寫這些都是可以的，如果上實(shí)際應(yīng)用了（就如同你在主題帖里面寫的一樣），還是上現(xiàn)有的開源項(xiàng)目比較保險(xiǎn)，這么一個(gè)簡(jiǎn)單的道理，不需要?jiǎng)e人教你吧？

koolcoy

假定高峰期就3個(gè)小時(shí)， 差不多1w秒，一秒鐘10w請(qǐng)求。 http是無狀態(tài)協(xié)議，很容易上集群，一秒鐘10w請(qǐng)求真的毫無壓力。