運維基礎(chǔ)基礎(chǔ)為零，高可用架構(gòu)如何設(shè)計？

Gray1982

      在一些中小公司常遇到這樣的問題，運維基礎(chǔ)幾乎為零。雖然網(wǎng)站使用的是常用開源軟件nginx apache redis mongodb php-fpm tomcat mysql oracle;一些大數(shù)據(jù)方面的話可能還需要hadoop zk kafak 等常用軟件。但大多是開發(fā)來部署使用，N個應(yīng)用放在同一臺服務(wù)器、單點、配置文件寫IP、各應(yīng)用監(jiān)聽為0.0.0.0等等不符合運維規(guī)范標(biāo)準(zhǔn)的情況，這個時候我們需要做的就是先了解業(yè)務(wù)再提出相關(guān)改進(jìn)。

話題討論：
1.可以根據(jù)并不限于上面的情況來設(shè)計一下高可用的網(wǎng)站及大數(shù)據(jù)方面的架構(gòu)。
2.架構(gòu)也不僅僅限于業(yè)務(wù)邏輯，也可以大概設(shè)計一下IDC方面的高可用架構(gòu)。

注：以上架構(gòu)設(shè)計限于200臺服務(wù)器內(nèi)（比如常用的架構(gòu)如第一層負(fù)載、第二層頁面級緩存、第三WEB應(yīng)用、最后面的數(shù)據(jù)庫）

討論時間:
2015-7-8至2015-8-3

活動獎勵：
活動結(jié)束后將選取4名討論精彩的童鞋，贈送2015中國系統(tǒng)架構(gòu)師大會紀(jì)念禮品一份。

獎品簡介：
小米自拍神器1名


2015 SACC晴雨傘1名



中國系統(tǒng)架構(gòu)師大會文化衫1件


鼓勵獎：股市這么low，沒有什么比送牛章更貼心的禮品了（凡參與本次話題討論，均有機(jī)會獲牛章一枚）


SACC 2015大會，六月6.5折搶票倒計時！

     一年一度的中國系統(tǒng)架構(gòu)師大會震撼來襲了！SACC2015將于10月22日-24日在北京新云南皇冠假日酒店盛大召開，屆時大會將云集來自五湖四海的2500名IT同胞們。
     從2009年到現(xiàn)在，我們伴隨著中國系統(tǒng)架構(gòu)師大會走過了七個春秋，從最早的500人規(guī)模逐年升級到現(xiàn)在的2500人規(guī)模，這些年我們目睹了整個IT架構(gòu)的變遷史，也見證了中國IT圈內(nèi)一波又一波的架構(gòu)師成長之路。當(dāng)天真遇到現(xiàn)實，會發(fā)生哪些趣聞軼事？當(dāng)架構(gòu)師遇到互聯(lián)網(wǎng)+，又會擦出怎樣的火花？2015中國系統(tǒng)架構(gòu)師大會以“互聯(lián)網(wǎng)+重塑IT架構(gòu)”為主題，站在互聯(lián)網(wǎng)+的風(fēng)口上，誠邀百余名演講嘉賓，打造一場架構(gòu)師騰飛的技術(shù)盛會。


報名官網(wǎng)：http://sacc.it168.com/index.html

bbzsxjj

我來開個頭：
首先，我建議現(xiàn)在的公司，特別是創(chuàng)業(yè)公司，運維介入越早，后期的運維工作越好開展，我們以本活動所描述為例，目前大概有200臺服務(wù)器，其中已經(jīng)用到了nginx/redis/mysql/mongodb/hadoop等開源軟件，但是由于沒有規(guī)劃，所有混亂放置。
1.我們首先要梳理業(yè)務(wù)層，假如我們已經(jīng)梳理完畢，情況如下：
    目前的hadoop主要用于離線運算，屬于非線上業(yè)務(wù)使用
    目前的開發(fā)語言有2種，前端網(wǎng)站用的php,后端api用的是python
    目前核心業(yè)務(wù)主要有2塊，前端的web電商及后端的api接口
    目前mongodb主要用于搜索功能使用
    目前redis主要用于緩存使用
    目前數(shù)據(jù)庫使用的是mysql
    目前各種應(yīng)用服務(wù)器開發(fā)自己部署，上線開發(fā)自己控制
2.經(jīng)過上面的梳理，大概可以了解目前的業(yè)務(wù)情況和服務(wù)器，那么我們需要做的事情主要有下面幾點：
    將測試環(huán)境/離線服務(wù)/生產(chǎn)服務(wù)分類并進(jìn)行拆分，嚴(yán)格控制生產(chǎn)環(huán)境權(quán)限，控制上線操作
    將同類開發(fā)語言開發(fā)的服務(wù)合并到同類服務(wù)器上，嚴(yán)禁不同開發(fā)語言應(yīng)用混合在同一臺服務(wù)器上運行
    規(guī)范應(yīng)用部署路徑/賬號/端口號/權(quán)限
    數(shù)據(jù)庫賬號進(jìn)行梳理，并限制賬號連接IP及權(quán)限
    根據(jù)發(fā)布流程編寫發(fā)布腳本，盡量避免開發(fā)登錄生產(chǎn)環(huán)境操作
    統(tǒng)計所有業(yè)務(wù)用途及對應(yīng)的負(fù)責(zé)人員及業(yè)務(wù)的邏輯依賴
    搭建監(jiān)控系統(tǒng)對所有的生產(chǎn)環(huán)境業(yè)務(wù)進(jìn)行監(jiān)控并根據(jù)業(yè)務(wù)統(tǒng)計結(jié)果分類發(fā)送報警
    有服務(wù)器的情況下，盡快搭建內(nèi)網(wǎng)DNS系統(tǒng)
3.梳理完業(yè)務(wù)后就可以針對性的開始本文的主旨，架構(gòu)設(shè)計，我覺的需要主要有下面幾點：
    嚴(yán)禁在生產(chǎn)環(huán)境出現(xiàn)單點問題系統(tǒng)（可以使用集群/HA方式消除）
    對核心業(yè)務(wù)使用集群方式增加業(yè)務(wù)處理能力（nginx的upstream/haproxy/lvs等）
    架構(gòu)必須是可擴(kuò)展的，實在沒法擴(kuò)展的，在架構(gòu)設(shè)計的過程中必須考慮后期的可拆分性（比如使用域名方式）
最后，我覺的常見的web的3層結(jié)構(gòu)是相對比較通用的做法：
  第一層，使用代理層（緩存層），主要看業(yè)務(wù)特點，一般可以使用haproxy|lvs這一類的軟件，7層建議使用lvs，7層建議使用haproxy
  第二層, 使用nginx做應(yīng)用中間層，比如：nginx+php-fpm
  第三層,中間件層，在大規(guī)模的數(shù)據(jù)訪問中，一般將接口及一些公用的功能抽離出來，做成中間件層，比如：有很多大的公司數(shù)據(jù)庫訪問也使用中間件調(diào)用，應(yīng)用不直接連接數(shù)據(jù)庫操作數(shù)據(jù)，再比如：消息中間件（kafka/activemq等）
  最后就是數(shù)據(jù)庫層。
  另外，在實際生產(chǎn)環(huán)境中更復(fù)雜一些，可能會引入cache層，比如：redis/memcached
這里只是拋磚引玉，歡迎大家探討！
   

bbzsxjj

回復(fù) 3# bun

  理論上是這樣的，相比較后期的成本，前期的投入是非常小的，不過這個東西是需要看老板的意思，我只是個建議，呵呵!
   

ohyeath

回復(fù) 4# bbzsxjj


    創(chuàng)業(yè)初期，一切為了積累，到了需要改造的時候，除了原有的關(guān)鍵數(shù)據(jù)外，其他的東西可以全部推到重來，成本，比早期請運維介入便宜多了，也更符合實際。早期，連老板自己的需要是啥都不能確定，后面肯定有大變化，既然是大變化，小打小鬧的修改、調(diào)整，還不如推到重來。

Gray1982

回復(fù) 6# lanni654321


    換成haproxy或者lvs都可以，如果你那邊只是四層轉(zhuǎn)發(fā)的話。

Gray1982

回復(fù) 8# lanni654321


    如果7層也在用，看看haproxy吧。