Yupoo! 的網(wǎng)站技術(shù)架構(gòu)

cu_Cbear

Yupoo! 的網(wǎng)站技術(shù)架構(gòu)

又有機(jī)會爆料國內(nèi) Web 2.0 網(wǎng)站的架構(gòu)了。這次是 Yupoo! 。非正式的采訪了一下 Yupoo!(又拍網(wǎng)) 的創(chuàng)建人之一的 阿華（沈志華）同學(xué)，了解了一些小道消息。
作為國內(nèi)最大的圖片服務(wù)提供商之一，Yupoo! 的 Alexa 排名大約在 5300 左右。同時收集到的一些數(shù)據(jù)如下：
帶寬：4000M/S (參考)
服務(wù)器數(shù)量：60 臺左右
Web服務(wù)器：Lighttpd, Apache, nginx
應(yīng)用服務(wù)器：Tomcat
其他：Python, Java, MogileFS 、ImageMagick 等
首先看一下網(wǎng)站的架構(gòu)圖：


該架構(gòu)圖給出了很好的概覽(點(diǎn)擊可以查看在 Yupoo！ 上的大圖和原圖，請注意該圖版權(quán)信息)。
關(guān)于 Squid 與 Tomcat
Squid 與 Tomcat 似乎在 Web 2.0 站點(diǎn)的架構(gòu)中較少看到。我首先是對 Squid 有點(diǎn)疑問，對此阿華的解釋是"目前暫時還沒找到效率比 Squid 高的緩存系統(tǒng)，原來命中率的確很差，后來在 Squid 前又裝了層 Lighttpd, 基于 url 做 hash, 同一個圖片始終會到同一臺 squid 去，所以命中率徹底提高了"
對于應(yīng)用服務(wù)器層的 Tomcat，現(xiàn)在 Yupoo! 技術(shù)人員也在逐漸用其他輕量級的東西替代，而 YPWS/YPFS 現(xiàn)在已經(jīng)用 Python 進(jìn)行開發(fā)了。
名次解釋：
YPWS--Yupoo Web Server YPWS 是用 Python開發(fā)的一個小型 Web 服務(wù)器，提供基本的 Web 服務(wù)外，可以增加針對用戶、圖片、外鏈網(wǎng)站顯示的邏輯判斷，可以安裝于任何有空閑資源的服務(wù)器中，遇到性能瓶頸時方便橫向擴(kuò)展。
YPFS--Yupoo File System 與 YPWS 類似，YPFS 也是基于這個 Web 服務(wù)器上開發(fā)的圖片上傳服務(wù)器。

【Updated: 有網(wǎng)友留言質(zhì)疑 Python 的效率，Yupoo 老大劉平陽在 del.icio.us 上寫到 "YPWS用Python自己寫的，每臺機(jī)器每秒可以處理294個請求, 現(xiàn)在壓力幾乎都在10％以下"】
圖片處理層
接下來的 Image Process Server 負(fù)責(zé)處理用戶上傳的圖片。使用的軟件包也是 ImageMagick，在上次存儲升級的同時，對于銳化的比率也調(diào)整過了(我個人感覺，效果的確好了很多)�！盡agickd“ 是圖像處理的一個遠(yuǎn)程接口服務(wù)，可以安裝在任何有空閑 CPU資源的機(jī)器上，類似 Memcached的服務(wù)方式。
我們知道 Flickr 的縮略圖功能原來是用 ImageMagick 軟件包的，后來被雅虎收購后出于版權(quán)原因而不用了（?）；EXIF 與 IPTC Flicke 是用 Perl 抽取的，我是非常建議 Yupoo! 針對 EXIF 做些文章，這也是潛在產(chǎn)生受益的一個重點(diǎn)。
圖片存儲層
原來 Yupoo! 的存儲采用了磁盤陣列柜，基于 NFS 方式的，隨著數(shù)據(jù)量的增大，”Yupoo! 開發(fā)部從07年6月份就開始著手研究一套大容量的、能滿足 Yupoo! 今后發(fā)展需要的、安全可靠的存儲系統(tǒng)“，看來 Yupoo! 系統(tǒng)比較有信心，也是滿懷期待的，畢竟這要支撐以 TB 計(jì)算的海量圖片的存儲和管理。我們知道，一張圖片除了原圖外，還有不同尺寸的，這些圖片統(tǒng)一存儲在 MogileFS 中。
對于其他部分，常見的 Web 2.0 網(wǎng)站必須軟件都能看到，如 MySQL、Memcached 、Lighttpd 等。Yupoo! 一方面采用不少相對比較成熟的開源軟件，一方面也在自行開發(fā)定制適合自己的架構(gòu)組件。這也是一個 Web 2.0 公司所必需要走的一個途徑。
非常感謝一下 Yupoo! 阿華對于技術(shù)信息的分享，技術(shù)是共通的。下一個能爆料是哪家?

surpass_li

好強(qiáng)大呀

beyondfly

我看成雅虎了，汗

HH106

這個如何???


Taobao海量圖片存儲與CDN系統(tǒng)
Taobao海量圖片存儲與CDN系統(tǒng).pdf (781.66 KB, 下載次數(shù): 985)

2011-06-14 15:58 上傳

點(diǎn)擊文件名下載附件

HH106

再加一個
新浪博客架構(gòu)分享.rar (1.2 MB, 下載次數(shù): 1119)

2011-06-14 16:00 上傳

點(diǎn)擊文件名下載附件

loveradmin

好框架！ 作為門戶站很實(shí)用，小站的話考慮到設(shè)備，程序 網(wǎng)絡(luò)上的投資，很少用這個架構(gòu)，這點(diǎn)我深有，
所以做運(yùn)維最還在大中型站點(diǎn)做！

liyangole

好架構(gòu)了，一定的拜讀了，做互聯(lián)網(wǎng)的，都得看看了。

xnlg

這個是2008年公開出來的架構(gòu)，基本上都換了，已經(jīng)過時

mnij5181

這個架構(gòu)太強(qiáng)了.
沒做過這么大型的

ggmk5