【大話IT】云計(jì)算環(huán)境下的系統(tǒng)性能分析優(yōu)化

crazyhadoop

獲獎(jiǎng)公布：GB_juno  fenyun689  鋼筆布萊恩特  aloki   shenlanyouyu  


請(qǐng)以上5位獲獎(jiǎng)人員在8月30日前將姓名、電話、郵箱、公司、職務(wù)、快遞地址站短給  yejia80550708 ，以便盡快給大家發(fā)放禮品。




話題背景：

如今IT技術(shù) 正在飛快的發(fā)展，尤其是云計(jì)算的興起，很多人對(duì)系統(tǒng)細(xì)節(jié)不再了解。但是為了性能的調(diào)優(yōu)，仍需要理解系統(tǒng)內(nèi)部的架構(gòu)。

IT架構(gòu)雖然朝著黑盒化的方向發(fā)展，工程人員仍要在理解結(jié)構(gòu)的基礎(chǔ)上對(duì)性能進(jìn)行優(yōu)化。

那么現(xiàn)在要如何對(duì)系統(tǒng)性能進(jìn)行分析呢？ 大家可以不限于下列幾點(diǎn)為起點(diǎn)，談?wù)勛约含F(xiàn)在的體會(huì)。


本期討論問(wèn)題：
1. 什么是必要的性能信息，如何測(cè)量呢？有沒(méi)有套路？
2. 如何著手性能分析，初學(xué)者容易趟的坑是是什么
3. 性能調(diào)優(yōu)的準(zhǔn)則是什么？或者有啥常用技巧可以分享


活動(dòng)時(shí)間：2017年7月4日—8月4日


活動(dòng)獎(jiǎng)勵(lì)：
活動(dòng)結(jié)束后，我們將選取5位討論精彩的同學(xué)，送技術(shù)圖書《深入理解Android內(nèi)核設(shè)計(jì)思想（第2版）》

作者： 林學(xué)森   
出版社：人民郵電出版社
ISBN：9787115452634
上架時(shí)間：2017-6-27
出版日期：2017 年6月
開本：16開
頁(yè)碼：996
版次：2-1
所屬分類：計(jì)算機(jī) > 軟件與程序設(shè)計(jì) > 移動(dòng)開發(fā) > Android

購(gòu)書鏈接：https://item.jd.com/12212640.html

內(nèi)容簡(jiǎn)介：全書從操作系統(tǒng)的基礎(chǔ)知識(shí)入手，全面剖析進(jìn)程/線程、內(nèi)存管理、Binder機(jī)制、GUI顯示系統(tǒng)、多媒體管理、輸入系統(tǒng)、虛擬機(jī)等核心技術(shù)在Android中的實(shí)現(xiàn)原理。書中講述的知識(shí)點(diǎn)大部分來(lái)源于工程項(xiàng)目研發(fā)，因而具有較強(qiáng)的實(shí)用性，希望可以讓讀者“知其然，更知其所以然”。本書分為編譯篇、系統(tǒng)原理篇、應(yīng)用原理篇、系統(tǒng)工具篇，共4篇25章，基本涵蓋了參與Android開發(fā)所需具備的知識(shí)，并通過(guò)大量圖片與實(shí)例來(lái)引導(dǎo)讀者學(xué)習(xí)，以求盡量在源碼分析外為讀者提供更易于理解的思維方式。

樣章試讀： 深入理解Android內(nèi)核設(shè)計(jì)思想（第2版）（上下冊(cè)）.pdf (7.55 MB, 下載次數(shù): 0)

2017-07-04 17:24 上傳

點(diǎn)擊文件名下載附件

GB_juno

1. 什么是必要的性能信息，如何測(cè)量呢？有沒(méi)有套路？
硬件性能信息是各個(gè)資源的使用率、使用情況，一般的監(jiān)控軟件都可以做到并且詳細(xì)記錄。
軟件的性能信息，常用的軟件功能都有監(jiān)控的api、接口之類的結(jié)合使用。即使以黑盒方式調(diào)用，也可以針對(duì)調(diào)用該黑盒功能的情況進(jìn)行應(yīng)的統(tǒng)計(jì)(例如處理次數(shù)，處理時(shí)間，錯(cuò)誤率)，對(duì)使用情況進(jìn)行充分的測(cè)量(如市面上的apm工具)。另外，更深一些的是對(duì)整個(gè)鏈路請(qǐng)求的分析和跟蹤，但這一步相對(duì)而言比較困難（可以參考谷歌的dapper)。最能摸清軟件的性能情況，最主要就是模擬各種常見(jiàn)對(duì)其進(jìn)行持久的壓力測(cè)試，一般有常用工具，再不濟(jì)也可以寫腳本測(cè)試跑。在這些數(shù)據(jù)的支撐下，就可以比較好獲得出軟件的性能信息。

2. 如何著手性能分析，初學(xué)者容易趟的坑是是什么
在對(duì)系統(tǒng)有大概的了解前，就對(duì)某個(gè)模塊進(jìn)行分析是沒(méi)有意義的。先理順關(guān)系，簡(jiǎn)單測(cè)試后找到關(guān)鍵點(diǎn)進(jìn)行解決，而不是浪費(fèi)力量做一些無(wú)關(guān)的事情。高手通常聽到描述就能夠知道大概什么位置出現(xiàn)問(wèn)題，要做些什么，這些都是要靠積累。

3. 性能調(diào)優(yōu)的準(zhǔn)則是什么？或者有啥常用技巧可以分享
找到問(wèn)題導(dǎo)致的原因，在不影響軟件其他性能的情況下，再進(jìn)行參數(shù)修改或者優(yōu)化。有些時(shí)候修改某個(gè)參數(shù)或者功能必然會(huì)影響到其他方面（例如數(shù)據(jù)庫(kù)），我們只能夠在現(xiàn)實(shí)情況進(jìn)行妥協(xié)，類似設(shè)計(jì)一樣，顧及到各方面。有些時(shí)候沒(méi)有辦法做，該要的資源還是要。

王楠w_n

回復(fù) 1# crazyhadoop

支持

fenyun689

1. 什么是必要的性能信息，如何測(cè)量呢？有沒(méi)有套路？
CPU，內(nèi)存，磁盤讀取是必要的性能信息，通過(guò)命令或者工具讀取。

2. 如何著手性能分析，初學(xué)者容易趟的坑是是什么
通過(guò)查看監(jiān)控，日志。

3. 性能調(diào)優(yōu)的準(zhǔn)則是什么？或者有啥常用技巧可以分享
和有經(jīng)驗(yàn)的溝通。

shenlanyouyu

回復(fù) 3# 王楠w_n

楠姐，論壇的圖書目錄很久沒(méi)有更新了。

王楠w_n

回復(fù) 5# shenlanyouyu

我讓@yejia80520708  幫忙更新下

http://72891.cn/thread-4074217-1-2.html

王楠w_n

回復(fù) 5# shenlanyouyu

哈嘍，最近新書已經(jīng)更新完了，多謝提醒

鋼筆布萊恩特

1. 什么是必要的性能信息，如何測(cè)量呢？有沒(méi)有套路？
性能測(cè)試與優(yōu)化是一項(xiàng)復(fù)雜、富有挑戰(zhàn)性的工作，對(duì)于一個(gè)專業(yè)的測(cè)試人員而言，性能優(yōu)化技術(shù)的學(xué)習(xí)和研究有利于性能測(cè)試工作的順利、深入開展，
通過(guò)某種特定的方式對(duì)被測(cè)試系統(tǒng)按照一定的測(cè)試策略進(jìn)行施壓，獲取該系統(tǒng)的響應(yīng)時(shí)間、運(yùn)行效率、資源利用情況等各項(xiàng)性能指標(biāo)，來(lái)評(píng)價(jià)系統(tǒng)是否滿足用戶性能需求的過(guò)程，
作為研發(fā)人員，他們會(huì)更關(guān)注軟件系統(tǒng)架構(gòu)設(shè)計(jì)的合理性、數(shù)據(jù)庫(kù)的設(shè)計(jì)是否存在問(wèn)題、代碼是否存在性能方面問(wèn)題、內(nèi)存使用方式是否正確、線程同步方式是否合理、是否存在不合理的資源競(jìng)爭(zhēng)等。
2. 如何著手性能分析，初學(xué)者容易趟的坑是是什么
  硬件上的性能瓶頸：
  一般指的是CPU、內(nèi)存、磁盤I/O 方面的問(wèn)題，分為服務(wù)器硬件瓶頸、網(wǎng)絡(luò)瓶頸（對(duì)局域網(wǎng)可以不考慮）、服務(wù)器操作系統(tǒng)瓶頸（參數(shù)配置）、中間件瓶頸（參數(shù)配置、數(shù)據(jù)庫(kù)、web服務(wù)器等）、應(yīng)用瓶頸（SQL 語(yǔ)句、數(shù)據(jù)庫(kù)設(shè)計(jì)、業(yè)務(wù)邏輯、算法等）。
應(yīng)用軟件上的性能瓶頸：

應(yīng)用軟件上的性能瓶頸：
一般指的是應(yīng)用服務(wù)器、web 服務(wù)器等應(yīng)用軟件，還包括數(shù)據(jù)庫(kù)系統(tǒng)。
例如：中間件weblogic 平臺(tái)上配置的JDBC連接池的參數(shù)設(shè)置不合理，造成的瓶頸。

應(yīng)用程序上的性能瓶頸：
一般指的是開發(fā)人員新開發(fā)出來(lái)的應(yīng)用程序。
例如，程序架構(gòu)規(guī)劃不合理，程序本身設(shè)計(jì)有問(wèn)題（串行處理、請(qǐng)求的處理線程不夠），造成系統(tǒng)在大量用戶方位時(shí)性能低下而造成的瓶頸。

操作系統(tǒng)上的性能瓶頸：
一般指的是windows、UNIX、Linux等操作系統(tǒng)。
例如，在進(jìn)行性能測(cè)試，出現(xiàn)物理內(nèi)存不足時(shí)，虛擬內(nèi)存設(shè)置也不合理，虛擬內(nèi)存的交換效率就會(huì)大大降低，從而導(dǎo)致行為的響應(yīng)時(shí)間大大增加，這時(shí)認(rèn)為操作系統(tǒng)上出現(xiàn)性能瓶頸。

網(wǎng)絡(luò)設(shè)備上的性能瓶頸：

一般指的是防火墻、動(dòng)態(tài)負(fù)載均衡器、交換機(jī)等設(shè)備。
例如，在動(dòng)態(tài)負(fù)載均衡器上設(shè)置了動(dòng)態(tài)分發(fā)負(fù)載的機(jī)制，當(dāng)發(fā)現(xiàn)某個(gè)應(yīng)用服務(wù)器上的硬件資源已經(jīng)到達(dá)極限時(shí)，動(dòng)態(tài)負(fù)載均衡器將后續(xù)的交易請(qǐng)求發(fā)送到其他負(fù)載較輕的應(yīng)用服務(wù)器上。在測(cè)試時(shí)發(fā)現(xiàn)，動(dòng)態(tài)負(fù)載均衡器沒(méi)有起到相應(yīng)的作用，這時(shí)可以認(rèn)為網(wǎng)絡(luò)瓶頸。

　　性能測(cè)試出現(xiàn)的原因及其定位十分復(fù)雜，這里只是簡(jiǎn)單介紹常見(jiàn)的幾種瓶頸類型和特征，而性能測(cè)試所需要做的就是根據(jù)各種情況因素綜合考慮，然后協(xié)助開發(fā)人員\DBA\運(yùn)維人員一起定位性能瓶頸。

3. 性能調(diào)優(yōu)的準(zhǔn)則是什么？或者有啥常用技巧可以分享
　再說(shuō)性能調(diào)優(yōu)之前，我們有必要再提一下進(jìn)行測(cè)試的目的，或者我們進(jìn)行性能測(cè)試的初衷是什么？
能力驗(yàn)證：驗(yàn)證某系統(tǒng)在一定條件具有什么樣的能力。
能力規(guī)劃：如何使系統(tǒng)達(dá)到我們要求的性能能力。
應(yīng)用程序診斷：比如內(nèi)存泄漏，通過(guò)功能測(cè)試很難發(fā)現(xiàn)，但通過(guò)性能測(cè)試卻很容易發(fā)現(xiàn)。
性能調(diào)優(yōu)：滿足用戶需求，進(jìn)一步進(jìn)行系統(tǒng)分析找出瓶頸，優(yōu)化瓶頸，提高系統(tǒng)整體性能。

aloki

1. 什么是必要的性能信息，如何測(cè)量呢？有沒(méi)有套路？
資源指標(biāo)：CPU 使用率、內(nèi)存利用率、磁盤 I/O、網(wǎng)絡(luò)帶寬
系統(tǒng)指標(biāo)：并發(fā)用戶數(shù)、平均響應(yīng)時(shí)間、超時(shí)錯(cuò)誤率
資源指標(biāo)要通過(guò)服務(wù)器上監(jiān)控工具獲得，基于 Linux Server 的比如 top、sar、iostat 等；而系統(tǒng)指標(biāo)則是在測(cè)試執(zhí)行過(guò)程中由測(cè)試工具收集而來(lái)。

2. 如何著手性能分析，初學(xué)者容易趟的坑是什么
首先要從系統(tǒng)架構(gòu)入手分析該云計(jì)算系統(tǒng)的結(jié)構(gòu)特點(diǎn)，把該平臺(tái)的相關(guān)組件以及組件間的組合架構(gòu)和分布式協(xié)同工作原理解析清楚，制定有針對(duì)性的性能測(cè)試流程和方案。
初學(xué)者容易趟的坑是“盲目”地下載些所謂的測(cè)試程序，去虛擬機(jī)上跑個(gè)分，然后不分青紅皂白就下定論（純看CPU、內(nèi)存、磁盤I/O分?jǐn)?shù)高低）。其實(shí)不然，實(shí)際使用情況會(huì)很不一樣。性能分析不僅僅看這個(gè)產(chǎn)品一瞬間（短期內(nèi)）的性能表現(xiàn)，而是要看這個(gè)產(chǎn)品能否在長(zhǎng)時(shí)間一直保持好成績(jī)，還是會(huì)時(shí)好時(shí)壞、忽高忽低，不管是幾小時(shí)還是幾分鐘或幾秒鐘的抖動(dòng)。

3. 性能調(diào)優(yōu)的準(zhǔn)則是什么？或者有啥常用技巧可以分享
(1)設(shè)定既不能太粗也不能太細(xì)，要?jiǎng)倓偤?br /> (2)調(diào)優(yōu)要循序漸進(jìn)。先解決大問(wèn)題，然后解決剩余問(wèn)題中的大問(wèn)題。在解決了大問(wèn)題后，通常隱藏在它背后的問(wèn)題也會(huì)暴露出來(lái)。也就是說(shuō)，解決了前面的瓶頸后，下一個(gè)瓶頸就顯現(xiàn)出來(lái)了。
(3)通過(guò)重復(fù)使用來(lái)提速
(4)匯總處理。這個(gè)策略適用于花費(fèi)時(shí)間與次數(shù)成正比的情況。特別是對(duì)于那些多次執(zhí)行會(huì)導(dǎo)致系統(tǒng)開銷很大的處理，這一策略是很有效果的。
(5)提高速度與實(shí)現(xiàn)并行。天下武功為快不可破，提高速度幾乎是一個(gè)萬(wàn)能的解決方案，而實(shí)現(xiàn)并行則需要視情況而定。
(6)縱向擴(kuò)展與橫向擴(kuò)展。這兩個(gè)都是以服務(wù)器為單位的提升性能的方式。提升同一臺(tái)服務(wù)器的性能就是“縱向擴(kuò)展”。添加 CPU、提高時(shí)鐘頻率等都屬于縱向擴(kuò)展。而“橫向擴(kuò)展”則是通過(guò)添加其他服務(wù)器來(lái)提升性能的方式。

shenlanyouyu

1. 什么是必要的性能信息，如何測(cè)量呢？有沒(méi)有套路？
從計(jì)算機(jī)的體系結(jié)構(gòu)來(lái)分析什么是必要的性能信息。典型的計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)包括硬件、操作系統(tǒng)和應(yīng)用程序。
硬件包括：CPU、內(nèi)存、磁盤、網(wǎng)卡等。
操作系統(tǒng)包括 進(jìn)程、虛擬內(nèi)存、文件系統(tǒng)、網(wǎng)絡(luò)等
應(yīng)用程序包括Apache、MySQL、Nginx、Memcahed等。
其實(shí)，性能調(diào)優(yōu)就是調(diào)節(jié)硬件、操作系統(tǒng)和應(yīng)用程序。

2. 如何著手性能分析，初學(xué)者容易趟的坑是是什么
借助性能分析工具。性能測(cè)試調(diào)優(yōu)需要先發(fā)現(xiàn)瓶頸，包括以下內(nèi)容:
硬件上的性能瓶頸 ：例如CPU 、內(nèi)存、磁盤 I/O  方面。
應(yīng)用軟件上的性能瓶頸 :例如應(yīng)用服務(wù)器、web  服務(wù)器等應(yīng)用軟件，還包括數(shù)據(jù)庫(kù)系統(tǒng)。
操作系統(tǒng)上的性能瓶頸 :Windows 、 UNIX 、 Linux 等操作系統(tǒng)方面的限制。

3. 性能調(diào)優(yōu)的準(zhǔn)則是什么？或者有啥常用技巧可以分享
性能調(diào)優(yōu)就是對(duì)計(jì)算機(jī)硬件、操作系統(tǒng)和應(yīng)用有相當(dāng)深入的了解，調(diào)節(jié)三者之間的關(guān)系，實(shí)現(xiàn)整個(gè)系統(tǒng)(包括硬件、操作系統(tǒng)、應(yīng)用)的性能最大化，并能不斷的滿足現(xiàn)有的業(yè)務(wù)需求。
性能調(diào)優(yōu)的準(zhǔn)則是:首先確定調(diào)優(yōu)目標(biāo)，進(jìn)行具體調(diào)優(yōu)步驟，最后檢測(cè)調(diào)優(yōu)結(jié)果。

我是做Android開發(fā)的，從Android開發(fā)的場(chǎng)景出發(fā)，需要模擬典型的使用場(chǎng)景及狀態(tài)，啟動(dòng)時(shí)長(zhǎng)，電量，流量，CPU，內(nèi)存。其次，借助性能測(cè)試工具，事半功倍。Android有大量的性能測(cè)試工具，可以測(cè)量不同場(chǎng)景下的性能。