運(yùn)維自動(dòng)化淺談

amos613

一個(gè)互聯(lián)網(wǎng)產(chǎn)品由許多服務(wù)組成，而服務(wù)內(nèi)包含多個(gè)模塊，這些模塊部署在成千上萬(wàn)的服務(wù)器上。由于互聯(lián)網(wǎng)產(chǎn)品的特點(diǎn)，產(chǎn)品更新速度非�？�，運(yùn)維人員每天都要進(jìn)行大量的模塊維護(hù)操作。

模塊的運(yùn)維操作涉及程序更新、配置修改、數(shù)據(jù)傳輸以及各種自定義的命令執(zhí)行。在運(yùn)維的早期，運(yùn)維人員大多是通過(guò)手工操作或編寫(xiě)腳本的方式，將模塊更新到生產(chǎn)環(huán)境中，我們稱這個(gè)階段為石器時(shí)代。這個(gè)階段的問(wèn)題也比較明顯，重復(fù)性的工作還需要人工介入，手工操作不可避免的會(huì)帶來(lái)誤操作，效率底下，甚至出現(xiàn)過(guò)模塊上線操作排隊(duì)的現(xiàn)象。

部署自動(dòng)化方向主要解決的問(wèn)題就是盡可能地將模塊從發(fā)布到更新到生產(chǎn)環(huán)境這一過(guò)程中所有工作自動(dòng)化，使部署工作更加安全和高效。一個(gè)模塊部署工作的自動(dòng)化，需要把這個(gè)模塊的發(fā)布和更新方式固定下來(lái)；而所有模塊部署工作的自動(dòng)化則需要一個(gè)統(tǒng)一的規(guī)范和標(biāo)準(zhǔn)，基于這套規(guī)范和標(biāo)準(zhǔn)，我們可以搭建一個(gè)自動(dòng)化平臺(tái)來(lái)完成各項(xiàng)部署工作，運(yùn)維人員不用再輸入大量命令和編寫(xiě)復(fù)雜的腳本，只需在web上指指點(diǎn)點(diǎn)，即可完成成千上萬(wàn)臺(tái)服務(wù)器的部署工作。部署自動(dòng)化中關(guān)鍵的因素有如下幾個(gè)：
1. 標(biāo)準(zhǔn)建立：是一套系統(tǒng)能夠運(yùn)維所有模塊的基礎(chǔ)，我們不可能為每個(gè)模塊都開(kāi)發(fā)一套自動(dòng)化系統(tǒng)，那樣成本就太高了，也不利于維護(hù)。統(tǒng)一標(biāo)準(zhǔn)有利降低開(kāi)發(fā)和維護(hù)成本。
2. 模塊信息的維護(hù)：模塊的版本，部署路徑，包含哪些文件，哪些是程序，哪些是配置，這些信息都部署時(shí)必須的信息，所以要統(tǒng)一維護(hù)起來(lái)。
3. 模塊健康檢查：模塊部署生效后，要有某種方法來(lái)檢查他的健康程度，這部分也可以抽象出一些通用的方法來(lái)實(shí)現(xiàn)，這樣就可以代替人工的檢查。
4. 全流程的應(yīng)用：很多效率問(wèn)題出在流程的每個(gè)環(huán)節(jié)之間連接的不緊密上，有的時(shí)候同樣的事情要在不同角色間重復(fù)，如果把這些重復(fù)的勞動(dòng)整合起來(lái)，各個(gè)環(huán)節(jié)連接緊密，就可以大大提高自動(dòng)化程度。
運(yùn)維人員通過(guò)平臺(tái)，將規(guī)范、常規(guī)的操作固定化，減少重復(fù)的手工操作，避免誤操作。通過(guò)模板化，根據(jù)模塊信息智能化分析，實(shí)現(xiàn)快速發(fā)單，同時(shí)串并行控制，提升模塊更新效率。我們稱這個(gè)階段為工業(yè)時(shí)代。

關(guān)聯(lián)關(guān)系主要指模塊之間通信，數(shù)據(jù)交互的關(guān)系。大量的模塊更新、上/下線，生產(chǎn)環(huán)境中模塊與模塊之間，產(chǎn)品與產(chǎn)品之間的交互錯(cuò)綜復(fù)雜。模塊的各種變更會(huì)對(duì)上下游模塊造成影響。沒(méi)有統(tǒng)一的關(guān)聯(lián)關(guān)系記錄，更加復(fù)雜或者智能化的自動(dòng)化操作是無(wú)法完成的，比如：
1. 當(dāng)發(fā)生故障后，預(yù)案自動(dòng)執(zhí)行
2. 機(jī)器發(fā)生故障后，自動(dòng)替換，搭建新的服務(wù)并與上下游通信
3. 多個(gè)模塊在服務(wù)器上混合部署，根據(jù)機(jī)器的性能，模塊的特性，動(dòng)態(tài)的調(diào)整。
4. 根據(jù)當(dāng)前的流量以及集群性能，動(dòng)態(tài)的伸縮集群。
5. 模塊需要根據(jù)IDC、網(wǎng)絡(luò)等情況，均勻分布在不同交換機(jī)下，避免網(wǎng)絡(luò)故障導(dǎo)致所有模塊失效的情況。
實(shí)現(xiàn)上述目標(biāo)，我們需要對(duì)所有信息進(jìn)行管理，大概羅列下：
1. 機(jī)器信息：cpu、mem、io、磁盤(pán)空間、網(wǎng)卡流量、內(nèi)核、基礎(chǔ)組件等
2. 網(wǎng)絡(luò)：交換機(jī)下機(jī)器分布情況，交換機(jī)性能，網(wǎng)絡(luò)使用率等
3. IDC：機(jī)架位分布，電力等
4. 服務(wù)：產(chǎn)品與模塊的關(guān)系（父子關(guān)系），模塊與模塊的關(guān)系（連接關(guān)系）
5. 模塊內(nèi)的bin、conf、data信息
6. 任務(wù)與任務(wù)的關(guān)系，任務(wù)與具體模塊的關(guān)系
7. ……

對(duì)于上述信息完善記錄的同時(shí)，我們還需要提供智能監(jiān)控分析、調(diào)度器、分布式鎖、任務(wù)管理器等基礎(chǔ)組件，才可以真正意思上實(shí)現(xiàn)產(chǎn)品的自運(yùn)維。我們稱這個(gè)階段為信息時(shí)代

因長(zhǎng)度受限：http://hi.baidu.com/ops_bd/blog/item/0f476d08cef9a2feaa645761.html

gehaijiang

這些東東沒(méi)任何看得價(jià)值, 是搞運(yùn)維都能想到。自動(dòng)化系統(tǒng)也得有技術(shù)的土壤。在底層技術(shù)架構(gòu)里考慮服務(wù)框架/分布式系統(tǒng)/可靠性和可用性等, 才有希望

hello_op

學(xué)習(xí)！

ncieroot

值得學(xué)習(xí)