微博紅包：大規(guī)模Docker集群實(shí)踐經(jīng)驗(yàn)分享

Patagonia

　　

編者按

每年除夕看春晚，今年除夕搶紅包。在整個(gè)羊年的春節(jié)假期里，大家都在忙著搶各種各樣的電子紅包，互聯(lián)網(wǎng)用紅包的方式革新了我們的拜年方式。為此，InfoQ策劃了“春節(jié)紅包”系列文章，以期為讀者剖析各大平臺(tái)的紅包活動(dòng)背后的技術(shù)細(xì)節(jié)。本文為微博篇。

羊年春晚Docker集群成功的為1.02億小伙伴刷微博、搶紅包提供了可靠的服務(wù)。本文將為大家揭開微博平臺(tái)Docker集群的神秘面紗，包括集群規(guī)模，技術(shù)架構(gòu)等方面情況。不過(guò)在分享前，先問(wèn)兩個(gè)問(wèn)題，不知道大家是否正為這兩個(gè)問(wèn)題而糾結(jié)：


   

Docker技術(shù)能夠解決什么問(wèn)題？
   

Docker技術(shù)是否足夠成熟，是否可以在生產(chǎn)環(huán)境上大規(guī)模應(yīng)用？
一個(gè)月前，微博平臺(tái)也在這兩個(gè)問(wèn)題中糾結(jié)一段時(shí)間，事實(shí)勝于雄辯，先來(lái)看一下微博平臺(tái)Docker集群的規(guī)模情況：

   
• Docker集群規(guī)模達(dá)到1000+節(jié)點(diǎn)
     
• QPS峰值達(dá)到800K/s
     
• 4個(gè)9的服務(wù)SLA達(dá)到150ms
     
• 共覆蓋23個(gè)核心服務(wù)
     
• 春晚共調(diào)度近300節(jié)點(diǎn)完成動(dòng)態(tài)擴(kuò)容
  

在引入任何新技術(shù)之前，在架構(gòu)決策上必須回答：我們現(xiàn)在有什么問(wèn)題，它能夠解決嗎。否則就變成了唯技術(shù)論，造成不必要的資源浪費(fèi)。促使平臺(tái)做出決定的一個(gè)主要因素就是春晚的紅包飛活動(dòng)�，F(xiàn)在大家都知道，微博春晚紅包飛共計(jì)抽取了3.5億次，馬云的支付寶紅包以及任性土豪的1234567元跨年紅包，在3分鐘內(nèi)被搶光，帶動(dòng)用戶用活躍度提升46%，達(dá)到1.02億用戶。同時(shí)廣大用戶還活躍在各種粉絲群中，為了搶到一個(gè)分組紅包手機(jī)屏幕都快點(diǎn)碎了。面對(duì)這種到處開花的流量峰值，傳統(tǒng)按照業(yè)務(wù)峰值部署集群的方式，設(shè)備成本降無(wú)法接受。所以平臺(tái)需要一種能夠在集群間快速調(diào)度業(yè)務(wù)的技術(shù)方案。
Docker是目前能夠?qū)崿F(xiàn)這一目的的最佳方案。為什么原有的集群管理方式，無(wú)法實(shí)現(xiàn)快速業(yè)務(wù)切換呢，關(guān)鍵問(wèn)題是環(huán)境的差異性。程序猿都知道在代碼運(yùn)行的世界里，拆東墻補(bǔ)西墻是一件不靠譜的事情，弄不好會(huì)塌方的。虛擬化可以實(shí)現(xiàn)隔離軟件運(yùn)行環(huán)境差異性，目前虛擬化技術(shù)有以O(shè)penStack為代表傳統(tǒng)VM技術(shù)，和以Docker為代表的Container技術(shù)兩大類。如何在二者中進(jìn)行選擇，平臺(tái)從下面幾個(gè)維度進(jìn)行了評(píng)估，供大家參考：
   
        
            
            
            Docker
            
            
            OpenStack
            
            
            結(jié)論
            
        
        
            
            
啟動(dòng)速度
            
            
            
秒級(jí)
            
            
            
分鐘級(jí)
            
            
            
面對(duì)流量峰值，速度就是一切
            
        
        
            
            
復(fù)雜度
            
            
            
基于內(nèi)核的namespace技術(shù)，對(duì)現(xiàn)有基礎(chǔ)設(shè)施的侵入較少
            
            
            
部署復(fù)雜度較高，并且很多基礎(chǔ)設(shè)施不兼容
            
            
            
因?yàn)槠脚_(tái)是對(duì)已有的線上生產(chǎn)系統(tǒng)進(jìn)行改造，必須選擇侵入性較小的容器化技術(shù)
            
        
        
            
            
執(zhí)行性能
            
            
            
在內(nèi)核中實(shí)現(xiàn)，所以性能幾乎與原生一致
            
            
            
對(duì)比內(nèi)核級(jí)實(shí)現(xiàn)，性能較差
            
            
            
微博核心業(yè)務(wù)對(duì)服務(wù)SLA要求非�？量�
            
        
        
            
            
可控性
            
            
            
依賴簡(jiǎn)單，與進(jìn)程無(wú)本質(zhì)區(qū)別
            
            
            
依賴復(fù)雜，并且存在跨部門問(wèn)題
            
            
            
生產(chǎn)系統(tǒng)集群可控性是核心競(jìng)爭(zhēng)力能力
            
        
        
            
            
體積
            
            
            
與業(yè)務(wù)代碼發(fā)布版本大小相當(dāng)，MB級(jí)別
            
            
            
GB級(jí)別
            
            
            
當(dāng)集群大規(guī)模部署時(shí)，體積小就代表更大的并發(fā)調(diào)度量
            
        
   
下面先介紹目前微博平臺(tái)Docker集群的技術(shù)棧：

   
• 宿主機(jī)：CentOS 6.5
     
• Docker：1.3.2
     
• Registry：docker-registry 0.9.1版本
     
• 組網(wǎng)：host模式
     
• 監(jiān)控：cAdvisor + Elasticsearch + Kibana + Graphite
     
• 文件系統(tǒng)：devicemapper
     
• 鏡像發(fā)布：Jenkins Container
     
• 容器：容器即服務(wù)，服務(wù)即容器
     
• 日志：volume掛載
     
• 生命周期管理：自研，類似Compose
     
• 服務(wù)發(fā)現(xiàn)：自研，類似Kubernetes的Pods和Service
  

那么從無(wú)到有部署一個(gè)超過(guò)1000節(jié)點(diǎn)，風(fēng)險(xiǎn)和挑戰(zhàn)是非常大的。必須有一套方法能夠確保在改造過(guò)程中業(yè)務(wù)的穩(wěn)定性，平臺(tái)也想了很多辦法，但其實(shí)宗旨就一個(gè)：可控。把這些方法可以總結(jié)為幾條原則：

   
• 規(guī)�；�
     
• Stupid But Works
     
• 無(wú)縫對(duì)接
  

先來(lái)談一談規(guī)�；�。乍一看，規(guī)�；�與可控是對(duì)矛盾體。程序員都知道，如果一種新技術(shù)不在大規(guī)模環(huán)境下驗(yàn)證通過(guò)，是無(wú)法證明其可靠性。從業(yè)務(wù)角度，一旦引入新技術(shù)，就要承擔(dān)出問(wèn)題的風(fēng)險(xiǎn)，所以業(yè)務(wù)都希望引入的新技術(shù)是通過(guò)大規(guī)模環(huán)境驗(yàn)證過(guò)的。對(duì)于這種情況，一般做法有兩種，一種是先在一個(gè)業(yè)（bei）務(wù)（cui）試點(diǎn)，成功后再進(jìn)行推廣。但是這種方式主要問(wèn)題是反復(fù)概率較大，引用一句臺(tái)詞就是：“我吃了沒(méi)事，不代表你吃了就沒(méi)事”，結(jié)果就會(huì)出現(xiàn)到處打補(bǔ)丁的局面，不利于架構(gòu)標(biāo)準(zhǔn)化。所以平臺(tái)采用的是“大鍋飯”的方式，就是所有業(yè)務(wù)同時(shí)上馬，逐步增加規(guī)模。這種方式好處顯而易見(jiàn)，差異性可以在第一時(shí)間得到解決，最終只有一套標(biāo)準(zhǔn)化架構(gòu)。但這種方式需要非常強(qiáng)的項(xiàng)目管理能力，保證各業(yè)務(wù)組目標(biāo)一致，分工明確，里程碑清晰，同時(shí)還需要項(xiàng)目組成員有強(qiáng)烈的使命感，時(shí)間意識(shí)，團(tuán)隊(duì)意識(shí)。
搞定團(tuán)隊(duì)之后，首要任務(wù)就是要使工作保持方向，那么什么是正確方向呢：Stupid But Works。新技術(shù)落地項(xiàng)目失敗有很多因素，其中主要一個(gè)誘因就是：完美主義，或者叫偷換目標(biāo)。典型癥狀如下：目前架構(gòu)不夠優(yōu)雅，需要XXX。例如Docker的組網(wǎng)能力飽受詬病，此時(shí)不應(yīng)該糾結(jié)一個(gè)完美的組網(wǎng)方案，否則就可能項(xiàng)目不保。因?yàn)榧夹g(shù)突破都依賴很多先決條件，可能是受限于基礎(chǔ)網(wǎng)絡(luò)環(huán)境，受限于內(nèi)核能力，所以此時(shí)最佳的策略是跟上趨勢(shì)，積累經(jīng)驗(yàn)，伺機(jī)突破。再比如Docker對(duì)日志數(shù)據(jù)管理方式奇多，但最完美的并不一定適合你，如果此時(shí)決定對(duì)現(xiàn)有的日志管理進(jìn)行改造，就合原本的目標(biāo)背道而馳了。最佳的策略是選擇認(rèn)知成本最小的方案，而不是最完美的方案。
對(duì)已有集群進(jìn)行Docker化改造，最大的一個(gè)阻力就是新老結(jié)合問(wèn)題，所以Docker集群必須能與原有運(yùn)維、研發(fā)系統(tǒng)無(wú)縫對(duì)接，才能夠使項(xiàng)目順利進(jìn)行。例如容器化，是否改造代碼。平臺(tái)當(dāng)時(shí)遇到的一個(gè)問(wèn)題是不同宿主機(jī)的容器分配的ip有可能是一樣的，原本獲取本地ip的代碼就會(huì)取到相同的值，直接導(dǎo)致分布式系統(tǒng)跟蹤系統(tǒng)失效。所以要在Docker層面解決這個(gè)差異性，而盡量不修改原系統(tǒng)設(shè)計(jì)。
對(duì)于Docker未來(lái)部署規(guī)模達(dá)到萬(wàn)級(jí)別后，還有很多技術(shù)難題有待解決，平臺(tái)也會(huì)在下面幾個(gè)方面繼續(xù)探索，希望能夠把經(jīng)驗(yàn)回饋給社區(qū)：

   
• 網(wǎng)絡(luò)瓶頸，萬(wàn)級(jí)別的容器部署，勢(shì)必會(huì)挑戰(zhàn)現(xiàn)有的網(wǎng)絡(luò)基礎(chǔ)設(shè)施，交換機(jī)的轉(zhuǎn)發(fā)表項(xiàng)會(huì)遇到瓶頸。網(wǎng)絡(luò)隔離可以保證服務(wù)間互不影響，但是又限制了靈活調(diào)度，SDN是大趨勢(shì)。
     
• 彈性調(diào)度，目前還處于“社會(huì)主義初級(jí)階段”，一切都還要靠“中央”下達(dá)指令。Kubernetes、Mesos、Swarm等技術(shù)提供在萬(wàn)級(jí)別集群規(guī)模下自動(dòng)化彈性調(diào)度的可能性，但整體解決方案我們也還在摸索。
  

微博平臺(tái)期待你的加入，共同開始打造大規(guī)模Docker集群。

轉(zhuǎn)自
http://www.infoq.com/cn/articles/large-scale-docker-cluster-practise-experience-share?utm_campaign=infoq_content&utm_source=infoq&utm_medium=feed&utm_term=global



                       
                               
                    
                               
                       
                       
                       
                                時(shí)間:2015-03-08 21:10來(lái)源:InfoQ 作者:陳飛 責(zé)任編輯:zhangkai

本文來(lái)自ChinaUnix新聞?lì)l道，如果查看原文請(qǐng)點(diǎn)：http://news.chinaunix.net/opensource/2015/0309/3238206.shtml

ruconse

都沒(méi)說(shuō)到點(diǎn)上

send_linux

ruconse 發(fā)表于 2015-08-31 07:45
都沒(méi)說(shuō)到點(diǎn)上

這個(gè)還沒(méi)說(shuō)道點(diǎn)子上？

這個(gè)貌似是微信的一個(gè)訪談，兄弟要不來(lái)一發(fā)？

niao5929

docker離普通用戶還是有些距離。集群模式如何方便的上手是個(gè)挑戰(zhàn)呀

hiyachen

我認(rèn)為openstack和docker解決的不是同一個(gè)問(wèn)題。譬如多租戶管理。docker就沒(méi)有解決方案。docker和kvm同一級(jí)別。