2009系統(tǒng)架構(gòu)師大會(huì)勝利結(jié)束，感想征文邀你參與！

cuplinux

just have a look!

diyself

非常支持。贊一個(gè)

xjccw2006

haodongxi ...........

獨(dú)行蝦

專(zhuān)家啥時(shí)候來(lái)廣州舉辦一次系統(tǒng)架構(gòu)師講座呀！

feiaix

回復(fù)下載。

yanghongda2006

架構(gòu)設(shè)計(jì)實(shí)例方面的沙龍。

ginsunglor

太好了，多些學(xué)習(xí)，多些實(shí)踐。

oioilu

支持的！

jackyfang168

shanzhashu

2009系統(tǒng)架構(gòu)師大會(huì)紀(jì)要

    2009年8月28日至29日，IT168、ChinaUnix、IXPUB、ITPUB等多方論壇平臺(tái)機(jī)構(gòu)在北京舉辦了2009系統(tǒng)架構(gòu)師大會(huì)（SACC），針對(duì)CTO、架構(gòu)師、運(yùn)維人員、開(kāi)發(fā)者等對(duì)象，提供若干企業(yè)與高校中的資深架構(gòu)師的技術(shù)演講與交流。大會(huì)為期兩天，在北三環(huán)附近的歌華開(kāi)源大酒店舉行。我作為公司的一員以聽(tīng)眾的身份與兩位同事一同前往分別學(xué)習(xí)研討，在聽(tīng)課的兩天中獲益良多，特此記錄。

    大會(huì)兩個(gè)課堂是并行的，因此部分課程有時(shí)間沖突，只能選擇性地聽(tīng)。課中有位講師對(duì)架構(gòu)師做了個(gè)分類(lèi)的定義，把網(wǎng)絡(luò)布線設(shè)計(jì)工程師等也納入了架構(gòu)師的范疇，不過(guò)從這兒多個(gè)演講的內(nèi)容來(lái)看，本次大會(huì)中的“架構(gòu)師”定義主要?dú)w屬于構(gòu)建高負(fù)載高性能高可靠性系統(tǒng)的一類(lèi)，這類(lèi)三高系統(tǒng)往往有著分布式的運(yùn)算與存儲(chǔ)架構(gòu)，有負(fù)載均衡、容錯(cuò)處理、災(zāi)難備份、內(nèi)存緩存等機(jī)制，而這樣的系統(tǒng)又以網(wǎng)絡(luò)游戲與大型網(wǎng)站應(yīng)用為典型代表，因此新浪、騰訊、淘寶、TOM等公司都有代表性的資深人士站出來(lái)分享他們的架構(gòu)經(jīng)驗(yàn)，同時(shí)硬件設(shè)施方面也有浪潮、世紀(jì)互聯(lián)等的資深人士來(lái)針對(duì)性地講述如何評(píng)測(cè)服務(wù)器、如何架設(shè)數(shù)據(jù)中心等，另外本次大會(huì)的贊助方也有幾位娓娓動(dòng)聽(tīng)地做著他們產(chǎn)品的廣告。下面根據(jù)我整理的筆記結(jié)合大會(huì)提供的會(huì)議指南分別敘述之。

Linux Virtual Server

    要說(shuō)本次大會(huì)技術(shù)含量最高的演講，非章文嵩博士的Linux Virtual Server（LVS）莫屬。LVS是在Linux內(nèi)核的TCP/IP協(xié)議棧中實(shí)現(xiàn)的負(fù)載均衡和調(diào)度的模塊，已經(jīng)被收錄入Linux 2.4和2.6的官方內(nèi)核中。遺憾的是章文嵩博士的演講時(shí)間較短，對(duì)實(shí)現(xiàn)的詳細(xì)部分匆匆一路帶過(guò)，只講述了LVS中實(shí)現(xiàn)內(nèi)核IP包轉(zhuǎn)發(fā)的三種模式與十種調(diào)度算法。一組完整的LVS服務(wù)器由一擁有對(duì)外獨(dú)立IP的負(fù)載均衡器與內(nèi)網(wǎng)的一組LVS成員服務(wù)器組成，外部的所有用戶請(qǐng)求都直接發(fā)給負(fù)載均衡器，由負(fù)載均衡器根據(jù)策略進(jìn)行包轉(zhuǎn)發(fā)，轉(zhuǎn)發(fā)模式可以是NAT、IP隧道等。其中NAT方式是始終由負(fù)載均衡器實(shí)現(xiàn)內(nèi)外網(wǎng)數(shù)據(jù)轉(zhuǎn)發(fā)，從性能上說(shuō)可能是瓶頸；其他模式則可以只讓第一次會(huì)話經(jīng)過(guò)負(fù)載均衡器，之后便可通過(guò)路由和外網(wǎng)的客戶端建立直接連接而通訊，大大降低了負(fù)載均衡器的負(fù)擔(dān)。這組LVS成員服務(wù)器之間的狀態(tài)同步由互相之間的UDP廣播實(shí)現(xiàn)，負(fù)載情況可動(dòng)態(tài)反饋以調(diào)整轉(zhuǎn)發(fā)策略。由于這些工作是在Linux內(nèi)核中實(shí)現(xiàn)的，因此效率相當(dāng)高，負(fù)載均衡器只需要很普通的CPU便可實(shí)現(xiàn)千兆帶寬的轉(zhuǎn)發(fā)，萬(wàn)兆也能應(yīng)付得來(lái)。
    LVS已經(jīng)成為了許多高性能集群解決方案的軟件技術(shù)基礎(chǔ)，如本次大會(huì)的演講里廣告做的挺隱性的F5公司，上午剛通過(guò)吳靜濤先生羅列的一堆性能難點(diǎn)來(lái)引出自己的產(chǎn)品介紹，下午章文嵩博士便小聲說(shuō)F5前期的產(chǎn)品是基于LVS的，牛人就是牛啊。

海量SNS網(wǎng)站的柔性運(yùn)營(yíng)

    騰訊的邱躍鵬給我們帶來(lái)了“柔性”服務(wù)的體驗(yàn)，意思是說(shuō)在訪問(wèn)負(fù)荷特大、帶寬等資源嚴(yán)重不足的時(shí)刻，允許服務(wù)不那么剛性地提供所有完整的服務(wù)，而只提供部分核心業(yè)務(wù)內(nèi)容，如QQ空間只顯示文字不顯示皮膚等。但他又同時(shí)強(qiáng)調(diào)，柔性并不等于放棄服務(wù)質(zhì)量，而只是某一高峰時(shí)段的應(yīng)急措施，由于這種措施降低了服務(wù)質(zhì)量，因此對(duì)于收費(fèi)服務(wù)等，很可能引起用戶的不滿而帶來(lái)很大的負(fù)面效應(yīng)，所以采取這種柔性措施必須很慎重，必須盡量先想其他辦法來(lái)分流高峰。他舉例說(shuō)QQ的購(gòu)買(mǎi)奴隸游戲，每過(guò)半夜12點(diǎn)就出現(xiàn)極大的流量對(duì)服務(wù)器造成很大的沖擊，原因在于許多用戶在半夜12點(diǎn)搶購(gòu)好友為奴隸并折磨、討好之。而騰訊應(yīng)付的辦法是，搶購(gòu)好友為奴隸的允許時(shí)間段不變，但把允許折磨、討好奴隸的時(shí)間段改為早晨六點(diǎn)（或是八點(diǎn)？）后，這樣就把半夜12點(diǎn)的一次大流量高峰分流了一半到早晨，有效地降低了系統(tǒng)負(fù)荷，這種先從業(yè)務(wù)改造為主來(lái)應(yīng)對(duì)危機(jī)的思想是值得體味的。

服務(wù)器性能評(píng)測(cè)優(yōu)化與數(shù)據(jù)中心的節(jié)能建設(shè)

    這三個(gè)議題偏向于硬件設(shè)施方面。浪潮的喬鑫先生帶來(lái)了服務(wù)器性能評(píng)測(cè)與優(yōu)化的經(jīng)驗(yàn)，評(píng)測(cè)主要從可用性、功耗、性能、穩(wěn)定性、可管理性等各方面進(jìn)行針對(duì)性評(píng)測(cè)。優(yōu)化的手段只記住一個(gè)：硬件定制化，如摒棄傳統(tǒng)機(jī)箱，用機(jī)架搭上一層層主板來(lái)做服務(wù)器集群等。北京計(jì)算中心的歐陽(yáng)巨星（！）先生則在數(shù)據(jù)中心的節(jié)能方面展示了一批數(shù)據(jù)與采取的應(yīng)對(duì)措施。據(jù)其數(shù)據(jù)顯示，決定一個(gè)數(shù)據(jù)中心能否正常運(yùn)營(yíng)的首要因素是耗電，耗電成本決定了建設(shè)位置。而在耗電量的分布中，數(shù)據(jù)中心的服務(wù)器只占據(jù)了一半，其余近40%的耗電量用于制冷，10%用于UPS。因此從服務(wù)器與制冷兩方面都有節(jié)能的措施可以做：選擇節(jié)能芯片、使用小硬盤(pán)與固態(tài)硬盤(pán)；水冷機(jī)柜、建立熱模型以實(shí)現(xiàn)局部精確制冷等。這些手段的前期成本投入會(huì)比較高，但從長(zhǎng)遠(yuǎn)來(lái)看還是很劃算的。另外如果分布式系統(tǒng)中帶有冗余存儲(chǔ)的設(shè)計(jì)，則UPS等也可以省略而改用低成本的充電電池，只要意外斷電時(shí)能有幾秒或幾分鐘的時(shí)間來(lái)同步狀態(tài)即可。世紀(jì)互聯(lián)的姜俊海先生接著講述了一下數(shù)據(jù)中心建設(shè)中的工程規(guī)劃問(wèn)題，包括施工、接線、消防設(shè)施整合等，離我們似乎比較遠(yuǎn)，沒(méi)記下多少來(lái)。

高性能服務(wù)器程序設(shè)計(jì)

    TOM在線網(wǎng)站的肖彬先生在他的演講中羅列了一些設(shè)計(jì)經(jīng)驗(yàn)，如瓶頸多發(fā)處可能是在內(nèi)存復(fù)制、上下文切換、內(nèi)存分配釋放以及鎖競(jìng)爭(zhēng)的時(shí)刻；SocketAPI的效率、線程創(chuàng)建銷(xiāo)毀的性能、IO性能等是選擇OS的依據(jù)；IO策略在select、poll、Kqueue、/dev/poll、Epoll中究竟應(yīng)該如何選擇等。但這些內(nèi)容對(duì)于聽(tīng)眾來(lái)說(shuō)，倘若沒(méi)有實(shí)際的經(jīng)驗(yàn)，恐怕是難以深入理解的。

有效地監(jiān)控分析系統(tǒng)

    海納互聯(lián)網(wǎng)研究中心的王懷志先生給大家分享了他在實(shí)際項(xiàng)目中通過(guò)系統(tǒng)監(jiān)控來(lái)根據(jù)監(jiān)控結(jié)果做優(yōu)化的寶貴經(jīng)驗(yàn)。他列舉的分布式系統(tǒng)中的監(jiān)控內(nèi)容中有以下幾個(gè)重點(diǎn)：用戶請(qǐng)求的成功率、高負(fù)載下的響應(yīng)時(shí)間、單個(gè)節(jié)點(diǎn)的性能（如線程數(shù)等）隨數(shù)據(jù)量增長(zhǎng)的曲線、節(jié)點(diǎn)與節(jié)點(diǎn)之間業(yè)務(wù)報(bào)文請(qǐng)求的成功率等。舉例說(shuō)明，如果某節(jié)點(diǎn)線程數(shù)很多但CPU占用率不高，則需要檢查線程函數(shù)中是否有無(wú)謂的等待在浪費(fèi)時(shí)間。
    另外王先生還分享了幾條設(shè)計(jì)的經(jīng)驗(yàn)原則，給我印象最深的是I/O要力爭(zhēng)做到連續(xù)，也就是力爭(zhēng)做到存儲(chǔ)連續(xù)不跳躍以減少同一業(yè)務(wù)中的IO次數(shù)。這里王先生舉了一個(gè)十分典型的例子：好友列表功能。一般系統(tǒng)中如果允許用戶擁有其他一批用戶為好友，那么常規(guī)的設(shè)計(jì)是在數(shù)據(jù)庫(kù)中增加一張兩個(gè)字段的表，每條記錄對(duì)應(yīng)著一條好友關(guān)系，表示第二個(gè)字段的人是第一個(gè)字段的人的好友。這樣用戶量增長(zhǎng)時(shí)這張表的記錄數(shù)增長(zhǎng)很快，并且由于用戶添加好友在時(shí)間段上的不連續(xù)性，同一用戶的好友記錄分布也是不連續(xù)的。這樣每次查詢一個(gè)用戶的好友所執(zhí)行的SQL語(yǔ)句在存儲(chǔ)方面可能就要進(jìn)行多次IO以讀取完整的數(shù)據(jù)，造成瓶頸。王先生說(shuō)碰到這樣的性能瓶頸問(wèn)題先不要馬上考慮MemCache，而是可以在好友存儲(chǔ)方式上做做手腳。他的解決方案是把好友列表放入單個(gè)文本文件中存儲(chǔ)，每一個(gè)文件中的一行代表了一項(xiàng)好友關(guān)系，磁盤(pán)預(yù)先分配空間避免增長(zhǎng)碎片。這樣，每次讀取一個(gè)用戶的好友列表時(shí)便只需要一次IO便能將數(shù)據(jù)全部讀入內(nèi)存，有效提高了性能。不過(guò)我懷疑的是，光好友列表功能這樣做容易，但倘若還有其他和數(shù)據(jù)庫(kù)打交道的業(yè)務(wù)模塊需要和好友列表等功能交互，那么文件方式和數(shù)據(jù)庫(kù)方式的整合可能存在不小的困難。如果全改成預(yù)分配文件存儲(chǔ)，那數(shù)據(jù)庫(kù)方面的功能如表連接等做起來(lái)就麻煩了，需要自己實(shí)現(xiàn)基于文本文件的SQL解析引擎，可實(shí)施度不高，只能在數(shù)據(jù)庫(kù)自身的存儲(chǔ)方面盡量?jī)?yōu)化做到連續(xù)。
    其他的原則還包括讀寫(xiě)分離，讀不上鎖而寫(xiě)才上鎖，鎖應(yīng)該盡可能少；用異步請(qǐng)求代替同步以減少等待時(shí)間；避免用戶引發(fā)計(jì)算，盡可能提前生成結(jié)果；優(yōu)化的重點(diǎn)順序是先優(yōu)化算法，再考慮MemCache，再考慮加硬件，等等。

其他

    此外，新浪的總監(jiān)童劍先生介紹了新浪平臺(tái)的架構(gòu)，原型來(lái)自Livejournal，用了許多久經(jīng)考驗(yàn)的開(kāi)源系統(tǒng)。北京武神世紀(jì)的曹世軍先生也談到了游戲架構(gòu)中的監(jiān)控架構(gòu)設(shè)計(jì)，列舉了一些典型的監(jiān)控工具如實(shí)現(xiàn)嵌入式監(jiān)控、和OS獨(dú)立的IPMI，專(zhuān)門(mén)報(bào)警的Nagios，專(zhuān)門(mén)記錄的Cacti等，并提到設(shè)計(jì)的開(kāi)始應(yīng)該保持簡(jiǎn)單和易于擴(kuò)展，可多用成熟開(kāi)源的系統(tǒng)，重視已有的標(biāo)準(zhǔn)可以少走彎路。有位講師（忘記是誰(shuí)了）還說(shuō)，我們不需要重新造輪子，但可以打磨輪子，還是很有道理的。

總結(jié)

    由于分身乏術(shù)，淘寶、數(shù)據(jù)庫(kù)Mysql等的專(zhuān)場(chǎng)我沒(méi)能聆聽(tīng)，有待其他朋友補(bǔ)上。另外大會(huì)最后日程安排有變化，取消了教育行業(yè)方面架構(gòu)設(shè)計(jì)的下午專(zhuān)場(chǎng)，不能不說(shuō)是一個(gè)遺憾�？偟膩�(lái)說(shuō)大會(huì)組織還是不錯(cuò)的，自助餐吃得也比較爽，廣告多一點(diǎn)也是沒(méi)有辦法的事情。臺(tái)下提個(gè)問(wèn)也有紀(jì)念品拿，引誘了大伙積極性的爆發(fā)，把氣氛弄得挺熱烈，這招真不錯(cuò)。