【大話IT】電商突擊戰(zhàn)：流量高峰如何破解IO瓶頸？

pipihappy8888

獲獎(jiǎng)名單已公布：http://72891.cn/thread-4169473-1-1.html

眾所周知，服務(wù)器系統(tǒng)的CPU已經(jīng)十分強(qiáng)悍，但存儲(chǔ)和IO卻小步加快跑，還是跟不上節(jié)奏。正因如此，一些廠商倒騰了一些解決IO瓶頸的解決方案，例如后端配SSD硬盤(pán)、PCI-ESSD卡、高帶寬網(wǎng)卡，讓存儲(chǔ)更靠近計(jì)算節(jié)點(diǎn)，實(shí)現(xiàn)軟件定義存儲(chǔ)等等……你在具體應(yīng)用服務(wù)器的時(shí)候，有木有切身體會(huì)呢？

IO帶寬對(duì)電商平臺(tái)系統(tǒng)來(lái)說(shuō)意味著什么？在電商企業(yè)的IT系統(tǒng)中，服務(wù)器承載了80%以上的企業(yè)數(shù)據(jù)處理任務(wù)。在云時(shí)代，服務(wù)器的性能更成為云計(jì)算能力的核心瓶頸。面對(duì)雙十一瞬間訪問(wèn)量激增帶來(lái)的負(fù)載苦惱，業(yè)務(wù)流程頻繁帶來(lái)的海量數(shù)據(jù)I/O瓶頸，電商平臺(tái)又是如何應(yīng)對(duì)的呢？ 從服務(wù)器硬件系統(tǒng)角度來(lái)說(shuō)，如何實(shí)現(xiàn)快、穩(wěn)、維呢？有哪些應(yīng)對(duì)方式？歡迎大家暢所欲言。

話題討論：

1.您在工作中，面臨哪些具體的應(yīng)用會(huì)體會(huì)到系統(tǒng)的IO瓶頸？

2.面對(duì)IO瓶頸，您有何良策？比如，冷熱數(shù)據(jù)的SSD硬盤(pán)存取策略，請(qǐng)暢談下您的想法。

3.在您的工作當(dāng)中，您具體應(yīng)用了哪些解決方案來(lái)解決系統(tǒng)瓶頸？

4.您覺(jué)得雙十一、雙十二高峰流量會(huì)對(duì)電商平臺(tái)帶來(lái)哪些瓶頸？從服務(wù)器硬件IO系統(tǒng)（存儲(chǔ)、網(wǎng)絡(luò)、互聯(lián)）的角度來(lái)說(shuō)可以用哪些優(yōu)化方式？

活動(dòng)時(shí)間：2014年12月8日-1月23日

活動(dòng)獎(jiǎng)勵(lì)：歡迎親們針對(duì)以上問(wèn)題踴躍回帖，言之有理即可，我們將根據(jù)大家的回復(fù)情況評(píng)選獲獎(jiǎng)會(huì)員

功勞獎(jiǎng)：回復(fù)內(nèi)容質(zhì)量高的會(huì)員2名，贈(zèng)送價(jià)值100元的京東購(gòu)物卡

苦勞獎(jiǎng)：參與回帖積極活躍的會(huì)員7名，贈(zèng)送無(wú)線鼠標(biāo)1個(gè)

  

jieforest

1.您在工作中，面臨哪些具體的應(yīng)用會(huì)體會(huì)到系統(tǒng)的IO瓶頸？
我們?cè)陂_(kāi)發(fā)高并發(fā)的Web應(yīng)用經(jīng)常會(huì)遇到系統(tǒng)IO瓶頸。因?yàn)槲覀冮_(kāi)發(fā)的一些應(yīng)用，用戶數(shù)通常都有數(shù)百萬(wàn)。當(dāng)用戶比較集中訪問(wèn)時(shí)（尤其是在做推廣活動(dòng)時(shí)）就會(huì)遇到系統(tǒng)IO瓶頸。

2.面對(duì)IO瓶頸，您有何良策？比如，冷熱數(shù)據(jù)的SSD硬盤(pán)存取策略，請(qǐng)暢談下您的想法。
我們公司租用了阿里和網(wǎng)宿的云服務(wù)器，也遇到過(guò)IO瓶頸。
記得有一回是這樣的，對(duì)用戶的響應(yīng)非常慢，即時(shí)是我們遠(yuǎn)程登錄后臺(tái)，也很慢。隨后我們檢查服務(wù)器，用iostat命令發(fā)現(xiàn)iowait的值很高，接著用iotop查看是哪些進(jìn)程導(dǎo)致IO瓶頸的。結(jié)果我們發(fā)現(xiàn)沒(méi)有對(duì)IO負(fù)載影響大的進(jìn)程。再后來(lái)我們請(qǐng)阿里的運(yùn)維工程師一起找問(wèn)題，發(fā)現(xiàn)是阿里云存儲(chǔ)本身的問(wèn)題。
阿里云存儲(chǔ)是存儲(chǔ)設(shè)備的虛擬化，我們使用的那塊區(qū)域正好存在IO瓶頸，是其它的應(yīng)用（非我公司應(yīng)用）造成的結(jié)果。
對(duì)于物理磁盤(pán)，如果遇到IO瓶頸，考慮SSD是很正常的方案。

3.在您的工作當(dāng)中，您具體應(yīng)用了哪些解決方案來(lái)解決系統(tǒng)瓶頸？
系統(tǒng)瓶頸不一定是IO瓶頸，IO瓶頸只是系統(tǒng)瓶頸中的一個(gè)類別。
一般我們?cè)趹?yīng)用上線前，都會(huì)做性能測(cè)試，找出潛在的會(huì)引起系統(tǒng)瓶頸的點(diǎn)。
比如找出耗時(shí)的數(shù)據(jù)庫(kù)操作；找出CPU占用率高的代碼；找出內(nèi)存占用大的模塊；找出磁盤(pán)IO頻繁的代碼等等，然后對(duì)癥下藥，做出相應(yīng)的優(yōu)化。

4.您覺(jué)得雙十一、雙十二高峰流量會(huì)對(duì)電商平臺(tái)帶來(lái)哪些瓶頸？從服務(wù)器硬件IO系統(tǒng)（存儲(chǔ)、網(wǎng)絡(luò)、互聯(lián)）的角度來(lái)說(shuō)可以用哪些優(yōu)化方式？
解決瓶頸的手段有很多，各自的應(yīng)用場(chǎng)景也各不相同。其實(shí)雙十一、雙十二等活動(dòng)的背后，阿里在系統(tǒng)瓶頸的預(yù)防和處理方面已經(jīng)做得很好了，但還不夠。主要體現(xiàn)在有些業(yè)務(wù)在高峰流量時(shí)仍然會(huì)表現(xiàn)出數(shù)據(jù)的不一致性，當(dāng)然，這種數(shù)據(jù)的不一致性都是非關(guān)鍵應(yīng)用的數(shù)據(jù)。對(duì)于關(guān)鍵業(yè)務(wù)的數(shù)據(jù)，都是通過(guò)“燒”服務(wù)器，通過(guò)堆積大量的軟硬件資源來(lái)解決系統(tǒng)的瓶頸。

其實(shí)以上都是泛泛而談，在互聯(lián)網(wǎng)巨頭公司工作的牛人們更有發(fā)言權(quán)。

lvruiming

銀行系統(tǒng)在雙11、雙12、每月月底幾日也會(huì)遇到交易峰值
出現(xiàn)瓶頸主要是兩方面：一方面就是硬件io（存儲(chǔ)、網(wǎng)絡(luò)） ，一方面就是應(yīng)用程序處理響應(yīng)
硬件io效率的提升主要是配SSD硬盤(pán)、PCI-ESSD卡、高帶寬網(wǎng)卡等設(shè)備
軟件方面還是有一些方法提升處理效率，比如
1、同步通訊轉(zhuǎn)為異步通訊，提升通訊處理能力，可參考MQ的通訊實(shí)現(xiàn)方式
2、硬盤(pán)不建議使用傳統(tǒng)的RAID方式，比較好的做法是每塊磁盤(pán)單獨(dú)mount，通過(guò)程序來(lái)控制對(duì)多塊磁盤(pán)進(jìn)行并發(fā)讀寫(xiě)。采用單盤(pán)mount，文件的備份和冗余可以通過(guò)多臺(tái)機(jī)器實(shí)現(xiàn)

瀚海書(shū)香

1.您在工作中，面臨哪些具體的應(yīng)用會(huì)體會(huì)到系統(tǒng)的IO瓶頸？
Hadoop集群的計(jì)算明顯受制于磁盤(pán)；
推流緩存系統(tǒng)的瓶頸點(diǎn)也出現(xiàn)在磁盤(pán)；
2.面對(duì)IO瓶頸，您有何良策？比如，冷熱數(shù)據(jù)的SSD硬盤(pán)存取策略，請(qǐng)暢談下您的想法。
增加緩存系統(tǒng)，調(diào)優(yōu)緩存算法；
內(nèi)存+SSD+SAS的三級(jí)架構(gòu)；
用運(yùn)算資源換取IO資源；
3.在您的工作當(dāng)中，您具體應(yīng)用了哪些解決方案來(lái)解決系統(tǒng)瓶頸？
異步隊(duì)列IO；
內(nèi)存/SSD二級(jí)緩存系統(tǒng)；
4.您覺(jué)得雙十一、雙十二高峰流量會(huì)對(duì)電商平臺(tái)帶來(lái)哪些瓶頸？從服務(wù)器硬件IO系統(tǒng)（存儲(chǔ)、網(wǎng)絡(luò)、互聯(lián)）的角度來(lái)說(shuō)可以用哪些優(yōu)化方式？
沒(méi)運(yùn)維過(guò)電商平臺(tái)，不了解

dicc

1.您在工作中，面臨哪些具體的應(yīng)用會(huì)體會(huì)到系統(tǒng)的IO瓶頸？
大量文件讀取集中時(shí)，造成IO瓶頸；
2.面對(duì)IO瓶頸，您有何良策？比如，冷熱數(shù)據(jù)的SSD硬盤(pán)存取策略，請(qǐng)暢談下您的想法。
如果對(duì)于熱度非常集中，可以上ssd擴(kuò)大單臺(tái)服務(wù)器的網(wǎng)絡(luò)吞吐量，否則單點(diǎn)流量不是非常高，或是對(duì)單臺(tái)網(wǎng)絡(luò)吞吐要求不是非常高，可以不必要用ssd，直接用磁盤(pán)做直通靠業(yè)務(wù)業(yè)務(wù)邏輯拆分方問(wèn)到不同磁盤(pán)上，平均磁盤(pán)的的io訪問(wèn)量；
3.在您的工作當(dāng)中，您具體應(yīng)用了哪些解決方案來(lái)解決系統(tǒng)瓶頸？
單塊盤(pán)做直通，靠前端用戶調(diào)度拆分request訪問(wèn)每個(gè)點(diǎn)，在每個(gè)點(diǎn)上做調(diào)度拆分到不同機(jī)器，在每臺(tái)機(jī)器上做調(diào)度折分request平均到不同磁盤(pán)，使io不要因內(nèi)容集中到單塊盤(pán)上，即使同一內(nèi)容，可以在10塊盤(pán)的服務(wù)器上各存一份，對(duì)來(lái)的request平均到10份在不同物理磁盤(pán)上
4.您覺(jué)得雙十一、雙十二高峰流量會(huì)對(duì)電商平臺(tái)帶來(lái)哪些瓶頸？從服務(wù)器硬件IO系統(tǒng)（存儲(chǔ)、網(wǎng)絡(luò)、互聯(lián)）的角度來(lái)說(shuō)可以用哪些優(yōu)化方式？
最主要的是寫(xiě)入記錄的同步，這塊需要通過(guò)應(yīng)用邏輯打散，中間件，緩存和db拆庫(kù)分表的一同努力合作才能完成，不是簡(jiǎn)單的從一個(gè)服務(wù)器的io就能解決

hexilanlan

1.您在工作中，面臨哪些具體的應(yīng)用會(huì)體會(huì)到系統(tǒng)的IO瓶頸？
測(cè)試系統(tǒng)本地磁盤(pán)性能不足。。

2.面對(duì)IO瓶頸，您有何良策？比如，冷熱數(shù)據(jù)的SSD硬盤(pán)存取策略，請(qǐng)暢談下您的想法。
可以用后端存儲(chǔ)；但后端存儲(chǔ)貴，木有規(guī)劃給測(cè)試系統(tǒng)用。

3.在您的工作當(dāng)中，您具體應(yīng)用了哪些解決方案來(lái)解決系統(tǒng)瓶頸？
簡(jiǎn)單的就是加硬盤(pán)。。
再就是要求后臺(tái)存儲(chǔ)。

4.您覺(jué)得雙十一、雙十二高峰流量會(huì)對(duì)電商平臺(tái)帶來(lái)哪些瓶頸？從服務(wù)器硬件IO系統(tǒng)（存儲(chǔ)、網(wǎng)絡(luò)、互聯(lián)）的角度來(lái)說(shuō)可以用哪些優(yōu)化方式？
帶寬是個(gè)大問(wèn)題。。。木有好想法。
存儲(chǔ)的話，加盤(pán)加卡；高端存儲(chǔ)都可擴(kuò)。。

bbzsxjj

1.您在工作中，面臨哪些具體的應(yīng)用會(huì)體會(huì)到系統(tǒng)的IO瓶頸？
   當(dāng)前面所有的壓力都推到后端數(shù)據(jù)庫(kù)后，數(shù)據(jù)庫(kù)系統(tǒng)IO瓶頸會(huì)很大，特別是使用mysql的同學(xué)。
2.面對(duì)IO瓶頸，您有何良策？比如，冷熱數(shù)據(jù)的SSD硬盤(pán)存取策略，請(qǐng)暢談下您的想法。
    使用ssd存放數(shù)據(jù)，使用raid保障ssd的高可用。
3.在您的工作當(dāng)中，您具體應(yīng)用了哪些解決方案來(lái)解決系統(tǒng)瓶頸？
    使用多服務(wù)器的實(shí)時(shí)，異步同步保障數(shù)據(jù)的高可用，還有就是讀寫(xiě)分離/分庫(kù)/索引。
4.您覺(jué)得雙十一、雙十二高峰流量會(huì)對(duì)電商平臺(tái)帶來(lái)哪些瓶頸？從服務(wù)器硬件IO系統(tǒng)（存儲(chǔ)、網(wǎng)絡(luò)、互聯(lián)）的角度來(lái)說(shuō)可以用哪些優(yōu)化方式？
      我覺(jué)的高峰流量會(huì)對(duì)電商平臺(tái)的應(yīng)用處理/網(wǎng)絡(luò)流量/數(shù)據(jù)庫(kù)都會(huì)是個(gè)很大的壓力，比如：用戶登錄系統(tǒng)，交易系統(tǒng)，IDC帶寬這類，集群的數(shù)據(jù)一致性等。
     存儲(chǔ)可以使用分布式存儲(chǔ)，具體看存的東西，比如:fastdfs
     網(wǎng)絡(luò)一般將流量放到CDN中跑，能靜態(tài)化的內(nèi)容一定要靜態(tài)化，能壓縮的內(nèi)容一定要壓縮，比如：手機(jī)APP上的圖片，壓縮下將會(huì)節(jié)省大量的流量。
     使用多家CDN，并對(duì)各種請(qǐng)求進(jìn)行分類分流，并使用第三方的監(jiān)控對(duì)各節(jié)點(diǎn)進(jìn)行監(jiān)控，出問(wèn)題了迅速切換（智能DNS很關(guān)鍵）

孫軒

回復(fù) 1# pipihappy8888


本人從業(yè)于互聯(lián)網(wǎng)企業(yè),雖然比不上那些電商，每天上億的訪問(wèn)還是有的。這里小小談下體會(huì).其實(shí)系統(tǒng)中的i/o問(wèn)題就如其名 分為讀和寫(xiě)的問(wèn)題。

讀的問(wèn)題解決方法一般都是做cache用memcache等用內(nèi)存讀來(lái)提高讀取能力,這里要解決的主要是數(shù)據(jù)恢復(fù)和數(shù)據(jù)同步的問(wèn)題。

寫(xiě)的問(wèn)題              一如果你有錢可以任性可以提高你的硬件水平比如上磁盤(pán)整列什么的提高i/o的吞吐水平

                         二如果你不能任性，那么一般還是采取集群的方式來(lái)解決,其實(shí)對(duì)于淘寶，京東這種規(guī)模的電商再任性你也無(wú)法在硬件i/o上趕上需求，解決之道還是用分布式或集群的方式吧i/o的需求分散到多個(gè)機(jī)器上去解決,那么要解決的就是數(shù)據(jù)同步，資源競(jìng)爭(zhēng)，集群劃分的問(wèn)題。
                         三如果即使集群也不能滿足你的需求，畢竟集群和分布式的拓展仍然會(huì)受限于其他因素如網(wǎng)絡(luò)架構(gòu)等，那么這時(shí)候你就只好去修改系統(tǒng)的框架,優(yōu)化系統(tǒng)對(duì)i/o的讀寫(xiě)需求，簡(jiǎn)化i/o讀寫(xiě),這個(gè)方法或許能帶來(lái)質(zhì)的提升。
         


   

Gray1982

1.您在工作中，面臨哪些具體的應(yīng)用會(huì)體會(huì)到系統(tǒng)的IO瓶頸？
IO目前遇到的主要來(lái)自于網(wǎng)絡(luò)IO及硬盤(pán)IO兩個(gè)方面。網(wǎng)絡(luò)中交換機(jī)等設(shè)備就不多說(shuō)了。主要是網(wǎng)卡方面的，如果服務(wù)器自帶的網(wǎng)口不能滿足當(dāng)前業(yè)務(wù)的話會(huì)考慮另外購(gòu)買Intel網(wǎng)卡或者萬(wàn)兆網(wǎng)卡來(lái)解決。另外網(wǎng)卡本身還需要調(diào)整，根據(jù)不同的業(yè)務(wù)來(lái)調(diào)整不同的方面。部分方面可以看我的博客http://blog.chinaunix.net/uid-10915175-id-4503728.html。

2.面對(duì)IO瓶頸，您有何良策？比如，冷熱數(shù)據(jù)的SSD硬盤(pán)存取策略，請(qǐng)暢談下您的想法。
硬盤(pán)方面的IO，以往都是機(jī)械硬盤(pán)，所以必然會(huì)有遲延。在不需要持久化的業(yè)務(wù)使用SSD是可以增加數(shù)倍的效率，很明顯的提升。但如果需要的話可能只能用高速硬盤(pán)或者是分布式來(lái)解決房讀寫(xiě)效率的問(wèn)題了。如果靜態(tài)資源目前國(guó)內(nèi)大多使用CDN方式來(lái)解決，當(dāng)然這也得看量，以及談。不然價(jià)格可能不太合適 。

3.在您的工作當(dāng)中，您具體應(yīng)用了哪些解決方案來(lái)解決系統(tǒng)瓶頸？
一是在LVS服務(wù)器上調(diào)整，看我上面博客的連接。另一個(gè)是大數(shù)據(jù)方面的調(diào)整，同上。因?yàn)槌杀镜脑�因，并沒(méi)有買萬(wàn)兆交換機(jī)及萬(wàn)兆網(wǎng)卡，所以只能各種調(diào)整。

4.您覺(jué)得雙十一、雙十二高峰流量會(huì)對(duì)電商平臺(tái)帶來(lái)哪些瓶頸？從服務(wù)器硬件IO系統(tǒng)（存儲(chǔ)、網(wǎng)絡(luò)、互聯(lián)）的角度來(lái)說(shuō)可以用哪些優(yōu)化方式？
個(gè)人感覺(jué)負(fù)載不是問(wèn)題，中間的緩存也不是問(wèn)題（有問(wèn)題的是邏輯架構(gòu)，硬件不是問(wèn)題）。后面的數(shù)據(jù)庫(kù)會(huì)有點(diǎn)問(wèn)題，看是不是時(shí)時(shí)或者可以先放緩存中再放到數(shù)據(jù)庫(kù)中。
個(gè)人認(rèn)為硬件的IO在目前來(lái)說(shuō)一般不是問(wèn)題，因?yàn)橹灰�肯花錢，邏輯架構(gòu)差點(diǎn)也沒(méi)事，就是看準(zhǔn)備花錢多錢，包括網(wǎng)絡(luò)啊，DB啊什么的。
邏輯不錯(cuò)的話可以節(jié)省很多錢，這也看架構(gòu)師的能力吧。
還有另外不可控的是網(wǎng)絡(luò)帶寬及DNS。網(wǎng)絡(luò)帶寬就看各地區(qū)吧，別的地不清楚，可能一線城市會(huì)好一些。另外的DNS現(xiàn)在大多是使用的智能DNS， 這也看各地緩存，這個(gè)不好說(shuō)。

qingduo04

1.您在工作中，面臨哪些具體的應(yīng)用會(huì)體會(huì)到系統(tǒng)的IO瓶頸？

當(dāng)前所處環(huán)境中，是非電商環(huán)境，是OLAP環(huán)境，部分業(yè)務(wù)是OLTP業(yè)務(wù)。
主要的IO瓶頸在與處理不同系統(tǒng)中的文件的時(shí)候，當(dāng)前傳統(tǒng)的設(shè)備一般都是千兆網(wǎng)絡(luò)，新增設(shè)備一般都是萬(wàn)兆網(wǎng)絡(luò)。
從千兆網(wǎng)絡(luò)傳輸?shù)饺f(wàn)兆網(wǎng)絡(luò)有這方面的IO問(wèn)題。
而從萬(wàn)兆網(wǎng)絡(luò)中X86服務(wù)器接口機(jī)加載到MPP數(shù)據(jù)庫(kù)中，不同的X86服務(wù)器的加載速度也是不一樣的。
前期出現(xiàn)過(guò)不同廠家的服務(wù)器，兩套MPP數(shù)據(jù)庫(kù)A廠家的刀片搭建一套，B廠家的搭建一套，A刀片比B刀片貴，但是單臺(tái)DD測(cè)試卻不是一個(gè)級(jí)別的。
究其原因最后A廠給出的是cache較差

2.面對(duì)IO瓶頸，您有何良策？比如，冷熱數(shù)據(jù)的SSD硬盤(pán)存取策略，請(qǐng)暢談下您的想法。

    如果限制的是網(wǎng)絡(luò)非服務(wù)器，則通過(guò)萬(wàn)兆交換機(jī)或者infiniband高速交換。
如果限制的是X86服務(wù)器，則會(huì)升級(jí)cache進(jìn)行操作。
如果不能升級(jí)，只能購(gòu)買高性能的設(shè)備，熱點(diǎn)數(shù)據(jù)采用SSD盤(pán)或者是采用加速卡。

3.在您的工作當(dāng)中，您具體應(yīng)用了哪些解決方案來(lái)解決系統(tǒng)瓶頸？

   hadoop平臺(tái)搭建，datanode可以采用SATA盤(pán)或者SAS盤(pán)進(jìn)行搭建，但是namenode簡(jiǎn)易采用加速卡或者SSD盤(pán)進(jìn)行搭建，以便提高元數(shù)據(jù)的數(shù)據(jù)交互。
       如果舍得投入，可以在datanode也采用ssd盤(pán)，只是性價(jià)比太低。
  

4.您覺(jué)得雙十一、雙十二高峰流量會(huì)對(duì)電商平臺(tái)帶來(lái)哪些瓶頸？從服務(wù)器硬件IO系統(tǒng)（存儲(chǔ)、網(wǎng)絡(luò)、互聯(lián)）的角度來(lái)說(shuō)可以用哪些優(yōu)化方式？

   當(dāng)前電商應(yīng)對(duì)雙十一，雙十二 都是采用峰值前進(jìn)行擴(kuò)容，包含網(wǎng)絡(luò)擴(kuò)容、服務(wù)器性能擴(kuò)容，在峰值的時(shí)候進(jìn)行性能均攤，確保服務(wù)器以及網(wǎng)絡(luò)無(wú)太高的消耗。

jxzkin

1.您在工作中，面臨哪些具體的應(yīng)用會(huì)體會(huì)到系統(tǒng)的IO瓶頸？
接觸到的系統(tǒng)中，面臨IO瓶頸問(wèn)題的一般都是數(shù)據(jù)庫(kù)服務(wù)器。



3.在您的工作當(dāng)中，您具體應(yīng)用了哪些解決方案來(lái)解決系統(tǒng)瓶頸？
對(duì)于數(shù)據(jù)庫(kù)應(yīng)用，從應(yīng)用和數(shù)據(jù)層來(lái)簡(jiǎn)單說(shuō)明下解決方案：
應(yīng)用：
對(duì)于系統(tǒng)中讀壓力比較大的系統(tǒng)，可以考慮從架構(gòu)來(lái)解決，
1>對(duì)比較靜態(tài)數(shù)據(jù)可考慮加一緩存層，Memcached或Redis都是不錯(cuò)的選擇。
2>對(duì)于實(shí)時(shí)更新的數(shù)據(jù)，而不需要入庫(kù)，如有必要，異步入庫(kù)，同樣考慮利用緩存，方案同上。

數(shù)據(jù)庫(kù)：
1>建立合適數(shù)量和合適的索引
2>小量、靜態(tài)熱數(shù)據(jù)考慮keep在內(nèi)存中。
3>redo日志，考慮設(shè)定為合適大小。

硬件：
考慮混合磁盤(pán)，利用存儲(chǔ)的分層技術(shù)，避免磁盤(pán)浪費(fèi)及提高利用率。

michael1983

1.您在工作中，面臨哪些具體的應(yīng)用會(huì)體會(huì)到系統(tǒng)的IO瓶頸？
其實(shí)很多應(yīng)用都會(huì)遇到IO瓶頸，在性能調(diào)優(yōu)層面，也只有IO問(wèn)題是最難以診斷和定位的。IO就是Input/Output的縮寫(xiě)，因此理論上所有涉及數(shù)據(jù)、指令、信令、代碼等進(jìn)出的都可以稱之為IO。狹義上，我們把IO會(huì)縮小在磁盤(pán)這一層面，因?yàn)榇疟P(pán)跟IO密切相關(guān)。
磁盤(pán)的性能指標(biāo)一般又會(huì)考慮兩點(diǎn)，IOPS和帶寬。
所以上文中所說(shuō)的SSD硬盤(pán)、ESSD卡都是為了提升IOPS，而高帶寬網(wǎng)卡則是為了提升帶寬。傳統(tǒng)的IO調(diào)優(yōu)，無(wú)非也是從這兩方面入手。
就我所在企業(yè)來(lái)說(shuō)，系統(tǒng)IO瓶頸出現(xiàn)較多的情況主要在數(shù)據(jù)挖掘系統(tǒng)和高并發(fā)的數(shù)據(jù)庫(kù)訪問(wèn)上。
數(shù)據(jù)挖掘系統(tǒng)，因?yàn)槠浯罅康臄?shù)據(jù)存放（我們企業(yè)的DataWare系統(tǒng)已經(jīng)有超過(guò)60T數(shù)據(jù)），不同于OLTP系統(tǒng)，對(duì)帶寬和IO的要求極其之高，一個(gè)報(bào)表涉及到的查詢就有上千張表，瞬間IO和帶寬相當(dāng)之高，因此瓶頸存在。
還有就是我們的網(wǎng)上交易系統(tǒng)，高峰時(shí)段，并發(fā)量會(huì)達(dá)到每秒上萬(wàn)次，導(dǎo)致服務(wù)器的IO值瞬間飆升100%。
這些都是非常典型的高IO應(yīng)用。

2.面對(duì)IO瓶頸，您有何良策？比如，冷熱數(shù)據(jù)的SSD硬盤(pán)存取策略，請(qǐng)暢談下您的想法。
面對(duì)IO瓶頸，受制于不同的技術(shù)條件和約束，應(yīng)對(duì)的措施也不盡相同。
比如上述的DW系統(tǒng)，我們會(huì)采用分布式的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)，比如hadoop，疊加眾多節(jié)點(diǎn)的計(jì)算和IO，從而實(shí)現(xiàn)高帶寬、大IO的滿足。
而對(duì)網(wǎng)上交易系統(tǒng)，由于其數(shù)據(jù)庫(kù)一致性的要求（分布式數(shù)據(jù)庫(kù)還不太敢用，其在一致性層面尚未解決的很好），所以無(wú)法采用分布式節(jié)點(diǎn)的方法分擔(dān)IO，因此只能提供單節(jié)點(diǎn)的IO能力，比如將存儲(chǔ)由raid5改為raid10，優(yōu)化緩存讀寫(xiě)算法提高緩存命中率，甚至使用固態(tài)硬盤(pán)提升IO，等等。

3.在您的工作當(dāng)中，您具體應(yīng)用了哪些解決方案來(lái)解決系統(tǒng)瓶頸？
針對(duì)系統(tǒng)瓶頸用到的具體解決方案來(lái)說(shuō)，有多種多樣，有硬件層面的，也有軟件層面的，更有架構(gòu)層面的。
硬件層面就是針對(duì)單節(jié)點(diǎn)系統(tǒng)，提升該節(jié)點(diǎn)的硬件配置，比如CPU從2個(gè)8核心換位4個(gè)10核心，硬盤(pán)從7200rpm SATA盤(pán)換位15000rpm的SAS盤(pán)，內(nèi)存從64G升為256G，raid從raid5變?yōu)閞aid10，raid卡緩存從64M升為512M，這些都是針對(duì)單點(diǎn)系統(tǒng)的硬件升級(jí)，多節(jié)點(diǎn)的則是提升單點(diǎn)系統(tǒng)的硬件配置同時(shí)，也擴(kuò)展節(jié)點(diǎn)數(shù)量，從而增大整個(gè)系統(tǒng)及其的服務(wù)能力。
軟件層面則有很多，優(yōu)化軟件算法，提升cache命中，改變開(kāi)發(fā)架構(gòu)，考慮輕量化開(kāi)發(fā)轉(zhuǎn)型等。
架構(gòu)層面則是單機(jī)改雙機(jī)，增強(qiáng)穩(wěn)定性；雙機(jī)改集群，增強(qiáng)可擴(kuò)展性；甚至由雙活、多活的系統(tǒng)架構(gòu)，全面提升系統(tǒng)可用性，解決系統(tǒng)的整體風(fēng)險(xiǎn)瓶頸。

4.您覺(jué)得雙十一、雙十二高峰流量會(huì)對(duì)電商平臺(tái)帶來(lái)哪些瓶頸？從服務(wù)器硬件IO系統(tǒng)（存儲(chǔ)、網(wǎng)絡(luò)、互聯(lián)）的角度來(lái)說(shuō)可以用哪些優(yōu)化方式？
雙十一、雙十二高峰流量對(duì)電商平臺(tái)帶來(lái)的流量、交易延遲等，對(duì)系統(tǒng)影響較大。
服務(wù)器硬件IO系統(tǒng)（存儲(chǔ)、網(wǎng)絡(luò)、互聯(lián)）的角度來(lái)說(shuō)，優(yōu)化的方式除了硬軟件層面意外，更要有流程的管控和應(yīng)急措施的制定。
擴(kuò)大集群節(jié)點(diǎn)數(shù)量，提升集群服務(wù)能力；冗余節(jié)點(diǎn)數(shù)量，隨時(shí)應(yīng)急使用；調(diào)整IO消耗高的批處理時(shí)間，確保資源全力投入交易過(guò)程。
除此之外，還要有限流措施等應(yīng)急手段。
沒(méi)有一種方案是萬(wàn)能的，所以最后的應(yīng)急措施還是要有。

shang2010

2.面對(duì)IO瓶頸，您有何良策？比如，冷熱數(shù)據(jù)的SSD硬盤(pán)存取策略，請(qǐng)暢談下您的想法。

加cache永遠(yuǎn)是不二法則

banggou

1.您在工作中，面臨哪些具體的應(yīng)用會(huì)體會(huì)到系統(tǒng)的IO瓶頸？
對(duì)于ms級(jí)別的調(diào)度處理，總是有調(diào)度完成到將調(diào)度結(jié)果存入存儲(chǔ)設(shè)備這之間的性能差
當(dāng)然對(duì)于大數(shù)據(jù)并行寫(xiě)入，同樣也有這樣的問(wèn)題，需要在有限的時(shí)間內(nèi)保證記錄數(shù)據(jù)的完整性


4.您覺(jué)得雙十一、雙十二高峰流量會(huì)對(duì)電商平臺(tái)帶來(lái)哪些瓶頸？從服務(wù)器硬件IO系統(tǒng)（存儲(chǔ)、網(wǎng)絡(luò)、互聯(lián)）的角度來(lái)說(shuō)可以用哪些優(yōu)化方式？
一般也就是上面說(shuō)的，用空間換時(shí)間，各種 cache （如 CPU L1/L2/RAM） 到硬盤(pán)的多種組合使用。
同時(shí)根據(jù)實(shí)際使用的數(shù)據(jù)庫(kù)類型，合理配置CPU 以及OS的調(diào)度級(jí)別，評(píng)估需要的硬盤(pán)的合理數(shù)量

應(yīng)該說(shuō)，這個(gè)優(yōu)化應(yīng)該從一個(gè)整體考慮，系統(tǒng)級(jí)別優(yōu)化吧

xike2002

來(lái)和大家聊一聊。

歐利斯基

小米搶購(gòu)的時(shí)候  秒殺的時(shí)候 服務(wù)器流量是真正高峰
sqbijia.com

wangsuxiaorong

雙12前夕我們網(wǎng)站流量就突增了��！唉又是個(gè)麻煩事~~明年還要新年促銷，網(wǎng)站扛不住啊~老板讓給個(gè)解決辦法，我打算給老板推薦使用CDN，緩解下帶寬壓力。哪位用過(guò)的大神給推薦下誰(shuí)家的比較好用？廣告貼勿擾，要說(shuō)明具體哪家好呀！

pingdanorcale

1.您在工作中，面臨哪些具體的應(yīng)用會(huì)體會(huì)到系統(tǒng)的IO瓶頸？
大批量處理數(shù)據(jù)庫(kù)導(dǎo)致I/O 100%（INSERT ）
2.面對(duì)IO瓶頸，您有何良策？比如，冷熱數(shù)據(jù)的SSD硬盤(pán)存取策略，請(qǐng)暢談下您的想法。
  做條帶 打散磁盤(pán) 做radio 加cache等等

3.在您的工作當(dāng)中，您具體應(yīng)用了哪些解決方案來(lái)解決系統(tǒng)瓶頸？
一般修改業(yè)務(wù)進(jìn)行處理
4.您覺(jué)得雙十一、雙十二高峰流量會(huì)對(duì)電商平臺(tái)帶來(lái)哪些瓶頸？從服務(wù)器硬件IO系統(tǒng)（存儲(chǔ)、網(wǎng)絡(luò)、互聯(lián)）的角度來(lái)說(shuō)可以用哪些優(yōu)化方式？

一般是網(wǎng)絡(luò)、存儲(chǔ)優(yōu)化 業(yè)務(wù)層優(yōu)化

duronshi

真送還是假送呀？