大家好，我是主持人皮皮，歡迎做客IT名人堂欄目。今年的淘寶雙11交易額達(dá)到了驚人的571億，特別在零點(diǎn)以后，支撐每秒7萬筆的瞬時訂單，相比于去年花6個小時完成100億的戰(zhàn)績，今年只用了38分鐘，我相信這是一個世界紀(jì)錄。這瘋狂的數(shù)字背后，無疑馬云樂開了花，更讓我們對阿里的技術(shù)團(tuán)隊(duì)佩服得五體投地，雙11的實(shí)時大屏用到了哪種新技術(shù)？阿里是如何做到海量數(shù)據(jù)的高并發(fā)負(fù)載？在大數(shù)據(jù)、云計算領(lǐng)域，到底哪些核心產(chǎn)品和技術(shù)為阿里雙十一發(fā)揮了保駕護(hù)航的作用呢？第112期名人堂我們重邀阿里專家強(qiáng)琦坐鎮(zhèn)，為我們獨(dú)家揭秘雙11背后的技術(shù)故事。
皮皮（Q1）：您好！非常感謝您參與我們IT名人堂的采訪，請簡單介紹下自己。
和仲（A1）：我叫強(qiáng)琦�；椭�。之前的研究方向是機(jī)器學(xué)習(xí)基礎(chǔ)理論，畢業(yè)后一直從事搜索技術(shù)的研發(fā)，12年進(jìn)入阿里后也一直在搜索和廣告技術(shù)領(lǐng)域，之后來到阿里巴巴集團(tuán)數(shù)據(jù)平臺事業(yè)部致力于打造大數(shù)據(jù)的基礎(chǔ)設(shè)施。對機(jī)器學(xué)習(xí)，分布式計算，搜索廣告技術(shù)都有濃厚的興趣。希望為阿里的大數(shù)據(jù)基礎(chǔ)設(shè)施建設(shè)貢獻(xiàn)自己的力量，見證阿里大數(shù)據(jù)改變世界的那一天，有機(jī)會讓全球用戶分享與共建阿里數(shù)據(jù)以及阿里數(shù)據(jù)基礎(chǔ)設(shè)施。
皮皮（Q2）：阿里剛上市不久，今年的淘寶雙11交易額達(dá)到了驚人的571億，可喜可賀。特別在零點(diǎn)以后，支撐每秒7萬筆的瞬時訂單，我相信這是一個世界紀(jì)錄。那在這些光鮮數(shù)據(jù)的背后，其實(shí)也是對淘寶數(shù)據(jù)庫的極大考驗(yàn)。請問從技術(shù)上，阿里是如何做到承受如此龐大的數(shù)據(jù)庫并發(fā)負(fù)載？
和仲（A2）：總體而言，對阿里而言，雙十一面臨著兩方面壓力，一個是對數(shù)據(jù)庫的壓力，這部分壓力大家相對比較清楚。另一個就是對數(shù)據(jù)處理平臺的挑戰(zhàn)，這塊大家不是很清楚。雙11不僅會出現(xiàn)大量的瞬時壓力，還會伴隨著大量的數(shù)據(jù)傾斜，這對分布式系統(tǒng)來說挑戰(zhàn)很大。對于實(shí)時計算來說挑戰(zhàn)更大，一方面因?yàn)樗鼘τ脩舻挠嬎愠兄Z是秒級別，一旦出現(xiàn)問題和延時會馬上表現(xiàn)出來，這樣留給系統(tǒng)調(diào)控的空間就非常小。大家都知道，分布式計算任務(wù)的速度受限于最慢的結(jié)點(diǎn)，而大量的數(shù)據(jù)傾斜不僅會拖慢任務(wù)的時效性，嚴(yán)重的情況下甚至?xí)䦟?dǎo)致結(jié)點(diǎn)超時，在帶寬吃緊的情況下可以引發(fā)系統(tǒng)性雪崩。那我們采取了哪些應(yīng)急方案呢？一方面我們通過任務(wù)改寫來盡量平攤數(shù)據(jù)傾斜對計算結(jié)點(diǎn)的壓力；其二，系統(tǒng)通過主動申請延時加長的方法，避免“誤傷”超時；最后通過計算旁路的方法來減少流量的影響。其實(shí)，分布式計算除了常規(guī)的擴(kuò)展性，failover等技術(shù)處理之外，突發(fā)熱點(diǎn)，長尾和計算傾斜都是非常大的挑戰(zhàn)。另外，我們大家之前講到更多是功能層面，但其實(shí)業(yè)務(wù)數(shù)據(jù)質(zhì)量方面也是生死攸關(guān)的問題，阿里有豐富經(jīng)驗(yàn)的數(shù)據(jù)質(zhì)量團(tuán)隊(duì)，包括在離線數(shù)據(jù)質(zhì)量，實(shí)時數(shù)據(jù)質(zhì)量等方面都有豐富的沉淀與產(chǎn)出。
皮皮（Q3）：雙十一阿里38分鐘交易額破百億，近半數(shù)為手機(jī)支付，阿里就已經(jīng)開始了客戶端容器移動化的改造，逐步完成從集中式研發(fā)到大規(guī)模并行開發(fā)、靈活集成模式的轉(zhuǎn)換，能不能和我們分享下阿里的雙十一移動端在大數(shù)據(jù)、云計算領(lǐng)域都用到了哪些核心的產(chǎn)品和技術(shù)？
和仲（A3）：其實(shí)，無論是pc端還是移動端，對后臺而言，在技術(shù)的要求上基本類似。如果要說移動端對數(shù)據(jù)處理有哪些特殊的影響的話，那么實(shí)時在線的特性肯定會使得數(shù)據(jù)量激增，從目前的情況來看，我們移動端產(chǎn)生的數(shù)據(jù)已經(jīng)遠(yuǎn)超PC端了；由于移動端App同時存在多版本的情況，這也使得數(shù)據(jù)處理在兼容多版本方面需要做很多考慮；同時移動端的欺詐檢測，反作弊也有自己的特點(diǎn)。移動端基本上會與PC端共享云計算和大數(shù)據(jù)的核心技術(shù)，但與此同時會有一些獨(dú)特的技術(shù)和產(chǎn)品體系。
皮皮（Q4）：據(jù)說天貓、淘寶、支付寶的大數(shù)據(jù)處理，都是基于阿里云計算的大數(shù)據(jù)處理平臺ODPS完成，為天貓雙十一的商品個性化推薦提供了技術(shù)支持。而談到阿里云ODPS，有這么一組數(shù)字，ODPS可在6小時內(nèi)處理100PB數(shù)據(jù)，相當(dāng)于1億部高清電影。能否從ODPS的架構(gòu)角度，結(jié)合阿里雙十一為我們談?wù)勊木唧w應(yīng)用？
和仲（A4）：ODPS現(xiàn)在基本上已經(jīng)統(tǒng)一了全阿里的數(shù)據(jù)處理以及應(yīng)用場景。從傳統(tǒng)的數(shù)據(jù)倉庫、BI、數(shù)據(jù)應(yīng)用、數(shù)據(jù)挖掘乃至機(jī)器學(xué)習(xí)等都在基于ODPS。另外，在實(shí)時計算方面也不斷涌現(xiàn)出了新的計算體系，包括Galaxy和Ads等，其應(yīng)用也在不斷加強(qiáng)。集群規(guī)�，F(xiàn)在也在不斷擴(kuò)大，其處理能力每秒也突破千億級別。比如大家比較熟悉的雙11大屏，這些指標(biāo)是能夠影響市場的，容不得半點(diǎn)數(shù)據(jù)問題和延時。我們會考慮到數(shù)據(jù)鏈路的所有環(huán)節(jié)，必須做到完全的容錯和容災(zāi)。有些計算指標(biāo)是多流join，這對性能和容錯挑戰(zhàn)是非常大的。大家看到大屏幕上數(shù)字不斷跳躍，其背后是大量的資源和技術(shù)智力的積累。再比如ads，它的創(chuàng)新技術(shù)可以使得原來分析數(shù)百億甚至數(shù)千億數(shù)據(jù)的時間從小時，分鐘直接到秒，毫秒。這塊已經(jīng)對外開放使用，歡迎大家試用。
皮皮（Q5）：此次雙十一備戰(zhàn)，阿里可謂是卯足了勁。阿里推出的實(shí)時數(shù)據(jù)計算平臺Galaxy據(jù)說目前每秒可運(yùn)算數(shù)據(jù)超過500萬條，那它究竟是如何做到的呢？在雙十一中這款計算平臺究竟發(fā)揮了哪些作用？
和仲（A5）：Galaxy是一個增量計算平臺，它建立了一個通用的增量計算框架(MapReduceMerge，后簡稱MRM)，流計算只是一種增量的計算形式，在此之上構(gòu)建了算子層和sql層，這就使得業(yè)務(wù)能夠快速開發(fā)實(shí)時任務(wù)。值得一提的是，增量計算和批量計算根本的區(qū)別在于它是有狀態(tài)的計算，那么問題來了！ 有狀態(tài)計算如果引入全局強(qiáng)一致存儲，會帶來極大的性能問題。Galaxy-MRM引入內(nèi)存snapshot來解決性能問題，同時利用checkpoint來保證容錯的問題。其實(shí)，實(shí)時計算最復(fù)雜的還是在處理多流join的問題，當(dāng)在非常多key來做join并且出現(xiàn)數(shù)據(jù)傾斜的情況下，會對性能產(chǎn)生非常大的挑戰(zhàn)。這就需要引入前面所述的一些技術(shù)來避免性能和雪崩。有趣的是在增量計算框架下實(shí)現(xiàn)的機(jī)器學(xué)習(xí)和MPP會具備實(shí)時的交互式的體驗(yàn)，這一點(diǎn)是spark也不具備的本質(zhì)能力。除了雙11所有媒體看到的實(shí)時大屏之外，內(nèi)部運(yùn)營，業(yè)務(wù)所涉及到的實(shí)時計算指標(biāo)有400多個job。這些job每秒中都在不斷更新最新的數(shù)據(jù)計算。
非常感謝和仲為我們帶來的精彩分享，希望大家能夠積極互動，就自己所關(guān)心的話題提問，與大師交流心得。截止12月18日，我們將評選獲獎會員五名，贈送技術(shù)圖書一本。
| 
免費(fèi)注冊
發(fā)表于 2014-11-28 17:32
