如何實現(xiàn)穩(wěn)定的千萬級PV移動應用架構

bbzsxjj

獲獎名單已公布：http://72891.cn/thread-4186526-1-1.html     

      架構這個詞就和云一樣，越來越多的人去說，但是其實這個本身一直就存在你身邊，只不過大家用新的歸納方法進行了整理，出現(xiàn)的一個熱詞。那么就生產中實例：如何實現(xiàn)穩(wěn)定的千萬級日PV的移動應用架構？
      第一步：要保證日均千萬級PV的移動應用訪問正常，我們需要有一個好的應用框架，代碼不能寫的都是坑，至少代碼本身質量要過關，我們這里說的是拋卻代碼質量這個因素，首先要模塊化的拆分業(yè)務應用，不能所有的業(yè)務用一套系統(tǒng)，放1臺服務器，這個肯定抗不了千萬日PV，模塊化后，各業(yè)務之間開放api進行互訪傳遞數(shù)據(jù)，便于我們對各個模塊進行改進。

      第二步：當我們將業(yè)務進行了模塊化拆分后，就要根據(jù)業(yè)務量對現(xiàn)有的各個模塊進行量化評估和改進，改造的方向主要有下面幾點：
      1.對各個模塊進行集群化部署，根據(jù)業(yè)務量分配集群規(guī)模。
      2.消除整個結構化中的單點問題，不能有任何業(yè)務有單點故障，保障業(yè)務模塊的高可用。
      3.核心模塊進行縱向的分層化處理，增加模塊的處理能力和可擴展性/獨立性。
      4.異步化處理，很多實時性不高的業(yè)務進行異步化處理，減少整個系統(tǒng)的壓力。
      5.內存化處理，對交互處理頻繁的數(shù)據(jù)，可以放到內存數(shù)據(jù)庫中處理，異步進行數(shù)據(jù)的落地（使用內存數(shù)據(jù)庫的集群和分布式機制保障數(shù)據(jù)的安全和高可用）。
      6.精簡目前的架構縱向層次，避免超過3層，越簡單越高效，越易于管理。

      第三步：關系數(shù)據(jù)庫進行讀寫分離，或者集群化處理，目前大多數(shù)改進的方案最終的核心都在數(shù)據(jù)庫上，大多方式：
      1.使用內存數(shù)據(jù)庫做數(shù)據(jù)庫前端，所有對數(shù)據(jù)的更/刪/改/查操作都在內存數(shù)據(jù)庫中執(zhí)行，最終異步將數(shù)據(jù)落地到關系數(shù)據(jù)庫中，此方式能大大減少關系數(shù)據(jù)庫的操作。
      2.使用雙主多從的方式部署數(shù)據(jù)庫集群，oracle的自己有一套商業(yè)的解決方案（比如:rac）,這里就不說了
      3.在程序層做數(shù)據(jù)庫的讀寫分離或集群讀�。ㄟ@個要求程序員能力），或者使用數(shù)據(jù)庫代理軟件（路由軟件），大公司自己寫，開源的也有不少，但是多多少少都有一些小毛病，需要代碼配套修改，很多用法是不支持的。
      4.分庫/分區(qū)/分表 這個主要是減輕單數(shù)據(jù)庫服務器的壓力，增加數(shù)據(jù)庫處理能力。
      5.慢查詢日志分析，優(yōu)化sql
     
      第四步：監(jiān)控，這個是保證千萬級PV移動應用穩(wěn)定運行的關鍵，主要分為下面幾類：
      1.服務器層基礎監(jiān)控：CPU/MEM/DISK/IO
      2.應用服務狀態(tài)：端口/服務進程
      3.服務質量：連接數(shù)/響應速度/接口數(shù)據(jù)返回值
      4.數(shù)據(jù)分析：定期的日志分析 PV/UV/QP

      做到以上幾點，你是否就真正的做到穩(wěn)定的千萬級日PV的移動應用架構呢？通常我們所說的高并發(fā)都是想到淘寶雙11，12306搶票，小米搶手機，人家一般都是上億PV，瞬時并發(fā)幾百K，但是目前業(yè)界這樣的公司屈指可數(shù)，更多的公司面臨的大并發(fā)基本也就是日PV千萬級，并發(fā)連接10K-30K。本期話題以移動應用架構設計為主題，誠邀各位大神，一起聊聊怎么搭建穩(wěn)定的千萬級PV架構？屆時10月22日-24日在北京新云南皇冠假日酒店盛大召開的SACC2015大會的分會場11，將與大家更深入的探討關于移動應用架構設計方面的專題，敬請期待您的參與。



討論話題

1、千萬級PV架構您覺得如何構建，比如：云主機下，您認為千萬級的PV會遇到哪些瓶頸，如何解決？

2、從十萬級到千萬級PV架構您覺得該如何演化？該從哪些方面入手？應該注意哪些方面的細節(jié)?

3、千萬級PV架構中web服務器如何選型，比如：nginx、apache、lighttpd，都適用哪些場景？負載均衡服務器該如何選型？比如:haproxy、lvs都適合哪些場景，實際中會遇到哪些坑?

4、您認為千萬級PV架構中如何保障后期的擴展？您能介紹下所了解的實際中的千萬級PV架構嗎？

5、目前大多數(shù)規(guī)模在千萬級創(chuàng)業(yè)公司中，很多語言混雜開發(fā)，在實際管理中，如何保障多語言混雜開發(fā)環(huán)境下的業(yè)務穩(wěn)定性和可管理性？

討論時間：2015年7月24日--2015年8月24日



活動獎勵：活動結束后，我們將選取3名討論精彩的童鞋，可獲贈SACC2015大會紀念品一件。

---

      一年一度的中國系統(tǒng)架構師大會震撼來襲了！SACC2015將于10月22日-24日在北京新云南皇冠假日酒店盛大召開，屆時大會將云集來自五湖四海的2500名IT同胞們。
      從2009年到現(xiàn)在，我們伴隨著中國系統(tǒng)架構師大會走過了七個春秋，從最早的500人規(guī)模逐年升級到現(xiàn)在的2500人規(guī)模，這些年我們目睹了整個IT架構的變遷史，也見證了中國IT圈內一波又一波的架構師成長之路。
      當天真遇到現(xiàn)實，會發(fā)生哪些趣聞軼事？當架構師遇到互聯(lián)網(wǎng)+，又會擦出怎樣的火花？2015中國系統(tǒng)架構師大會以“互聯(lián)網(wǎng)+重塑IT架構”為主題，站在互聯(lián)網(wǎng)+的風口上，誠邀百余名演講嘉賓，打造一場架構師騰飛的技術盛會。
      歡迎有興趣的小伙伴們踴躍報名：http://sacc.it168.com/

關注大會官方微信，微信轉發(fā)本條微信圖文信息，曬截圖即可贏得大會徽章一套：

GB_juno

1、千萬級PV架構您覺得如何構建，比如：云主機下，您認為千萬級的PV會遇到哪些瓶頸，如何解決？
外部cdn，lvs，nginx，無狀態(tài)程序，數(shù)據(jù)庫緩存，數(shù)據(jù)庫讀寫分離，混合數(shù)據(jù)庫(mongo+rdbms)。
云主機最差部分就是硬盤IO了，如果哪個部分讀寫太慢只能通過加機器的方式來出來.其他的cpu和內存在一般的使用中還是可以的。

2、從十萬級到千萬級PV架構您覺得該如何演化？該從哪些方面入手？應該注意哪些方面的細節(jié)?
堆機器和買帶寬，單機到多機。

3、千萬級PV架構中web服務器如何選型，比如：nginx、apache、lighttpd，都適用哪些場景？負載均衡服務器該如何選型？比如:haproxy、lvs都適合哪些場景，實際中會遇到哪些坑?
nginx并發(fā)比較高，放lvs后面；apache的模塊多，看應用需要，放nginx后；haproxy頂多數(shù)千連接就再上不去了，但是多開幾個；

4、您認為千萬級PV架構中如何保障后期的擴展？您能介紹下所了解的實際中的千萬級PV架構嗎？
機器多了，服務多了，每個環(huán)節(jié)的監(jiān)控要做好，從基礎監(jiān)控到應用監(jiān)控（cpu，內存，硬盤io，連接數(shù)，每個服務的接口的返回時間和訪問次數(shù)，每個進程的cpu/內存，日志記錄，數(shù)據(jù)庫等各項參數(shù)）。

5、目前大多數(shù)規(guī)模在千萬級創(chuàng)業(yè)公司中，很多語言混雜開發(fā)，在實際管理中，如何保障多語言混雜開發(fā)環(huán)境下的業(yè)務穩(wěn)定性和可管理性？
目前公司在用docker隔離，效果很好

tomac_cu

1、千萬級PV架構您覺得如何構建，比如：云主機下，您認為千萬級的PV會遇到哪些瓶頸，如何解決？
      超出想象

2、從十萬級到千萬級PV架構您覺得該如何演化？該從哪些方面入手？應該注意哪些方面的細節(jié)?
      逐步細化，應用分級，基于地理位置的，可變網(wǎng)絡，學習google嘛。

3、千萬級PV架構中web服務器如何選型，比如：nginx、apache、lighttpd，都適用哪些場景？負載均衡服務器該如何選型？比如:haproxy、lvs都適合哪些場景，實際中會遇到哪些坑?
      似乎 nginx 在前面什么反向代理的更多。

4、您認為千萬級PV架構中如何保障后期的擴展？您能介紹下所了解的實際中的千萬級PV架構嗎？
      光說沒練過。，

5、目前大多數(shù)規(guī)模在千萬級創(chuàng)業(yè)公司中，很多語言混雜開發(fā)，在實際管理中，如何保障多語言混雜開發(fā)環(huán)境下的業(yè)務穩(wěn)定性和可管理性？
      同一化，減少多種語言的混雜。

Fl_wolf

1、千萬級PV架構您覺得如何構建，比如：云主機下，您認為千萬級的PV會遇到哪些瓶頸，如何解決？
公司采用的都是自建機房，瓶頸一般都是機器性能與程序好壞決定的，
如果是程序問題，就盡可能叫開發(fā)去優(yōu)化，如若不然就只能是添加機器從單臺變多臺，多臺變集群。
如果是存儲問題，就做主從和讀寫分離，量大了再分庫分表。
2、從十萬級到千萬級PV架構您覺得該如何演化？該從哪些方面入手？應該注意哪些方面的細節(jié)?
也是跟第一個問題一樣，單臺變多臺，多臺變集群，并且配置和開發(fā)必須預留后期的彈性和良好的擴展性。

3、千萬級PV架構中web服務器如何選型，比如：nginx、apache、lighttpd，都適用哪些場景？負載均衡服務器該如何選型？比如:haproxy、lvs都適合哪些場景，實際中會遇到哪些坑?
一般選型就是 nginx+keepalive+lvs+redis（mencache）+php（tomcat）+mysql
nginx+keepalive做負載均衡，redis與mencache做集群，mysql做讀寫分離以及集群即可。
實際中，有可能是機房突然崩潰，或者某個集群掛了大部分的機器，或者數(shù)據(jù)庫集群失效。
可以采用異地容災，利用dnspod快速切換，在其他機房做好相應的容災架構以及數(shù)據(jù)庫的跨機房主從配置即可。


4、您認為千萬級PV架構中如何保障后期的擴展？您能介紹下所了解的實際中的千萬級PV架構嗎？
架構只要做高可用集群，都可以有很靈活的擴展性。

5、目前大多數(shù)規(guī)模在千萬級創(chuàng)業(yè)公司中，很多語言混雜開發(fā)，在實際管理中，如何保障多語言混雜開發(fā)環(huán)境下的業(yè)務穩(wěn)定性和可管理性？
最好用虛擬化分割各種語言給不通機器，相互間不影響，可以使用vm或者docker。

jieforest

日均千萬級PV，這個并發(fā)要求并不高。

cu_shell

支持活動

bbzsxjj

回復 2# jieforest


    訪問量不算高，但是畢竟比較普遍，想弄的很好也是不容易，希望大家都談下自己的想法，show下自己使用的架構，好的架構是很輕易從千萬級升級到億級的

yulihua49

什么是pv?什么是。。。

zymh_zy

回復 6# yulihua49

俺也有同樣的疑問？什么是pv？以前對這些簡寫沒細究，pv應該是page view，也就是單頁的瀏覽量，日均千萬PV？每天１０００萬的頁面打開瀏覽量？ 既然有pv的說法，那有沒有pvt的說法，pvt 是page view time，每天花在每頁的頁面瀏覽時間。


   

bbzsxjj

PV(訪問量)：即Page View, 即頁面瀏覽量或點擊量，用戶每次刷新即被計算一次。
UV(獨立訪客)：即Unique Visitor,訪問您網(wǎng)站的一臺電腦客戶端為一個訪客。00:00-24:00內相同的客戶端只被計算一次。
IP(獨立IP)：即Internet Protocol,指獨立IP數(shù)。00:00-24:00內相同IP地址之被計算一次。
不過這些縮寫就是個說法，實際中只要知道縮寫所指的內容就可以了。

yulihua49

好的。那么，最重要的機制就是代理網(wǎng)關了，在WEB組前端設置一組代理服務器，如squid之類。它提供一組靜態(tài)網(wǎng)頁緩存，可大大減少主WEB服務器的壓力。我們實驗過，對于相當動態(tài)的實際應用，只有1/4的請求真正需要到后臺。如果是廣告頁簽，幾乎100%被緩存。反向代理。