WEB Cache 緩存服務(wù)器設(shè)備的技術(shù)

lsfsz2011

據(jù)統(tǒng)計(jì)，Internet上超過(guò)80%的用戶(hù)重復(fù)訪問(wèn)20%的信息資源。因此，為達(dá)到提高響應(yīng)速度、節(jié)約帶寬資源的目的，利用網(wǎng)絡(luò)共享機(jī)制，將重復(fù)的數(shù)據(jù)由本地緩存服務(wù)器直接發(fā)送給用戶(hù)的高速緩存技術(shù)應(yīng)運(yùn)而生。

高速緩存服務(wù)器的特點(diǎn)
“一次取來(lái)，多次使用”，將網(wǎng)絡(luò)中大量重復(fù)數(shù)據(jù)的交換最小化，提高網(wǎng)絡(luò)效率并提高對(duì)用戶(hù)服務(wù)的質(zhì)量，這就是高速緩存技術(shù)的基本原理。
高速緩存服務(wù)器根據(jù)服務(wù)模式常分為主動(dòng)模式和被動(dòng)模式。主動(dòng)模式是指根據(jù)事先設(shè)置的策略預(yù)先把要訪問(wèn)站點(diǎn)的內(nèi)容緩存到本地，用戶(hù)獲得的數(shù)據(jù)都是已經(jīng)被緩存的內(nèi)容，但不一定是原始服務(wù)器最新的內(nèi)容，這種方式類(lèi)似鏡像功能。一些政府機(jī)關(guān)為了使內(nèi)外網(wǎng)隔離常采用這種方式，既能訪問(wèn)Internet上的內(nèi)容，又保證了內(nèi)部網(wǎng)的安全。一些早期的高速緩存服務(wù)器采用主動(dòng)模式，但隨著Internet的高速發(fā)展，實(shí)時(shí)性顯得格外重要，所以目前的高速緩存服務(wù)器都是采用被動(dòng)模式。被動(dòng)模式是指有用戶(hù)請(qǐng)求時(shí)高速緩存服務(wù)器才代表用戶(hù)向原始服務(wù)器請(qǐng)求數(shù)據(jù)，并且緩存，供下一個(gè)訪問(wèn)的用戶(hù)使用。這種方式的特點(diǎn)是每當(dāng)用戶(hù)發(fā)出請(qǐng)求時(shí)，高速緩存服務(wù)器都去原始服務(wù)器比較，如果原始服務(wù)器的內(nèi)容與緩存的內(nèi)容不一致，就只取更新部分的數(shù)據(jù)，如果原始服務(wù)器的內(nèi)容沒(méi)有變化，就不在重取，直接從本地高速緩存服務(wù)器中讀出并發(fā)送給用戶(hù)。例如一個(gè)新聞頁(yè)面，如果只更新了一條新聞，那么只會(huì)從原始服務(wù)器取回更新的信息，其他部分則由高速緩存服務(wù)器獲得，這樣就減少了已有數(shù)據(jù)的重復(fù)傳輸。
高速緩存服務(wù)器根據(jù)加速對(duì)象的不同，又分為正向代理（Forward Proxy）和反向代理（Reverse Proxy）兩種模式。加速內(nèi)部網(wǎng)用戶(hù)對(duì)外部網(wǎng)絡(luò)資源的訪問(wèn)速度的高速緩存服務(wù)器被稱(chēng)之為正向代理。正向代理的高速緩存服務(wù)器處于網(wǎng)絡(luò)中網(wǎng)關(guān)的位置，靠近客戶(hù)端，對(duì)所有的用戶(hù)提供緩存服務(wù)，這是我們大多數(shù)使用的模式。如果高速緩存服務(wù)器用于加速Web站點(diǎn)，一般被稱(chēng)之為反向代理或反向加速。反向代理處于服務(wù)提供商方，靠近Web服務(wù)器一端，用戶(hù)的請(qǐng)求主要通過(guò)高速緩存服務(wù)獲得。此時(shí)的高速緩存服務(wù)器類(lèi)似一臺(tái)Web服務(wù)器，也是TCP 80端口接受HTTP請(qǐng)求。由于高速緩存服務(wù)器I/O操作的運(yùn)行機(jī)制與Web服務(wù)器不一樣，性能要大大高于Web服務(wù)器。反向加速可減低Web服務(wù)器的負(fù)荷，提高Web服務(wù)的響應(yīng)速度，增加網(wǎng)站可通過(guò)的流量。

sgweiwu

   

1.1  寬帶用戶(hù)需求分析    面對(duì)主流寬帶運(yùn)營(yíng)商（電信、聯(lián)通）的強(qiáng)大資源優(yōu)勢(shì)，移動(dòng)、**處于不利局面。申請(qǐng)和使用線(xiàn)路會(huì)遇到一定麻煩，同時(shí)電信與聯(lián)通的互訪速度慢、國(guó)內(nèi) 訪問(wèn)國(guó)外網(wǎng) 站的速度慢，都會(huì)造成用戶(hù)體驗(yàn)下降。    同時(shí)使用大量帶寬的大學(xué)、職業(yè)學(xué)院、大企業(yè)也會(huì)面臨同樣的問(wèn)題。通過(guò)下面幾節(jié)分析我們認(rèn)為， 使用基于HTTP協(xié)議的CACHE，將顯著降低基于HTTP協(xié)議的小數(shù)據(jù)包的應(yīng)用，有助于明顯優(yōu)化客戶(hù)體驗(yàn)，節(jié)省大量帶寬資源。同時(shí)，基于HTTP的CACHE將解決在線(xiàn) web視頻的問(wèn)題，極大地提升了在線(xiàn)視頻的客戶(hù)體驗(yàn)。    同時(shí)，采用P2P協(xié)議的其它部分視頻內(nèi)容由于大型視頻網(wǎng)站如迅雷的采用加密算法，目前沒(méi)有有效 地P2PCACHE解決方案，建議與原服務(wù)提供商聯(lián)系得到其授權(quán)的鏡像服務(wù)器。采購(gòu)高性能加速加速WEB緩存設(shè)備，優(yōu)化你的運(yùn)營(yíng)網(wǎng)絡(luò)之前, 必須了解核心技術(shù)難 點(diǎn)---大流量的HTTP小包過(guò)程中所面臨的問(wèn)題: 一、大量HTTP小包所產(chǎn)生的短連接形成的連接的成本消耗。 二、大量HTTP小包的頻繁讀取對(duì)存儲(chǔ)介質(zhì)所產(chǎn)生的巨大壓力。 作為一家二線(xiàn)運(yùn)營(yíng)商的現(xiàn)網(wǎng)運(yùn)營(yíng)的HTTP流量在1G，采購(gòu)前測(cè)試過(guò)的產(chǎn)品為德國(guó)邁銳賽騰的3000系列和美國(guó)BLUECOAT的5000系列 其中，德國(guó)邁銳賽騰的3000系列的最大承載流量為HTTP小包處理能力可支持到1.5Gbps，美國(guó)BLUECOAT的5000系列的最大承載流量為500Mbps， 德國(guó)邁銳賽騰的3000系列的存儲(chǔ)結(jié)構(gòu)是三層（內(nèi)存、加速卡、大容量的磁盤(pán) ）、 美國(guó)BLUECOAT的5000系列的存儲(chǔ)結(jié)構(gòu)是二層（內(nèi)存、大容量的磁盤(pán)） 從存儲(chǔ)結(jié)構(gòu)上分析，德國(guó)邁銳賽騰的3000系列的存儲(chǔ)效率將優(yōu)于美國(guó)BLUECOAT的5000系列，其多層存儲(chǔ)（熱點(diǎn)存取于內(nèi)存，小于256K的包存取于加速卡、大于256K的包存取于磁盤(pán)），這樣小包存取過(guò)程中與以往的模式不同，幾B或幾k的小包不丟棄，而是交給加速卡完成存取。更詳細(xì)的參考信息,請(qǐng)?jiān)L問(wèn)這兩家公司的中文官方網(wǎng)站 HTTP://WWW.MARASYSTEM.COM.CN HTTP://WWW.BLUECOAT.COM                1.2  目前網(wǎng)絡(luò)應(yīng)用的協(xié)議及用戶(hù)群分析 據(jù)統(tǒng)計(jì)用戶(hù)上網(wǎng)的基本應(yīng)用按照協(xié)議分類(lèi)為：                1.3  互聯(lián)網(wǎng)P2P流量及HTTP流量數(shù)據(jù)包分析 目前互聯(lián)網(wǎng)流量大部分分為兩類(lèi)，http流量和p2p流量，http的包一般較小，約10B到512K，P2P的數(shù)據(jù)包比較大，1M-2M。          從上圖可以分析出，基于P2P的流量主要特點(diǎn)是數(shù)據(jù)包較大，普遍加密。HTTP數(shù)據(jù)包較小，沒(méi)有加密。 1.4  用戶(hù)訪問(wèn)網(wǎng)站的頻度分析    根據(jù)我們通過(guò)CacheMARA部署的統(tǒng)計(jì)分析結(jié)果，發(fā)現(xiàn)直接影響到用戶(hù)對(duì)網(wǎng)絡(luò)質(zhì)量的評(píng)價(jià)主要集中在瀏覽新聞?lì)惥W(wǎng)站、搜索引擎、金融類(lèi)網(wǎng)站、網(wǎng)上商城、公司網(wǎng)站、論壇這類(lèi)應(yīng)用類(lèi)型上，其數(shù)據(jù)的響應(yīng)包應(yīng)該從10B到512K左右，于此類(lèi)小包數(shù)據(jù)網(wǎng)頁(yè)型請(qǐng)求類(lèi)型在所有的應(yīng)用請(qǐng)求類(lèi)型當(dāng)中的比例是非常高的，大概占到60-70%，大多成年人上網(wǎng)將主要集中在這些應(yīng)用上。    根據(jù)我們通過(guò)CacheMARA部署的統(tǒng)計(jì)分析結(jié)果，前100名網(wǎng)站的流量占了整個(gè)流量的70%-80%。網(wǎng)站主要包括新聞?lì)惥W(wǎng)站、搜索引擎、網(wǎng)上商城、論壇、在線(xiàn)的Web視頻、基于網(wǎng)頁(yè)訪問(wèn)的在線(xiàn)游戲，包括偷菜、Flash小游戲、HTTP文件下載。排名前十名的網(wǎng)站：          1.5  互聯(lián)網(wǎng)用戶(hù)行為分析小結(jié)及建議    通過(guò)上面幾個(gè)小節(jié)互聯(lián)網(wǎng)客戶(hù)及移動(dòng)網(wǎng)特點(diǎn)分析，我們提出如下建議： 1．提供HTTP Cache服務(wù)，迅速提高用戶(hù)體驗(yàn)，大幅降低帶寬需求。 2．與pplive、ppstream、qqlive、迅雷等p2p應(yīng)用廠商聯(lián)系，建立合作關(guān)系，搭建網(wǎng)內(nèi)的p2p系列的鏡像（pplive、ppstream、qqlive、迅雷）的服務(wù)器，避免破解過(guò)程中的技術(shù)難度和侵權(quán)行為。