【名人堂訪談】樂天派的架構(gòu)師：大話云存儲（獲獎名單已公布-2014-9-12）

dtrees

seesea2517 發(fā)表于 2014-07-18 09:48
回復(fù) 7# dtrees

^_^，多謝多謝，最近大MAC換成了百度輸入法，錯別字特別多。。

dtrees

cryboy2001 發(fā)表于 2014-07-18 10:44
現(xiàn)在支持linux客戶端的云存儲很少，你們有沒有考慮過開發(fā)linux的客戶端。

我們一般說云存儲，都是指“百度網(wǎng)盤、360云盤”等面向個人的產(chǎn)品，而對象存儲者是面向企業(yè)用戶的。沒有足夠的用戶量，我想個人云存儲產(chǎn)品都不太會花大量精力去做Linux客戶端。

而面向企業(yè)級的對象存儲，則是提供給開發(fā)者用的，大型對象存儲系統(tǒng)除了提供HTTP訪問接口外，還會在此基礎(chǔ)上封裝JAVA、C++、Python等主流程序語言SDK

網(wǎng)易對象存儲系統(tǒng)在內(nèi)部還基于FUSE開發(fā)了用戶態(tài)文件系統(tǒng)（部分功能受限），將用戶的對象存儲數(shù)據(jù)掛載到Linux本地，用戶掛載之后，讀寫對象存儲數(shù)據(jù)就好像讀寫本地文件一樣

dtrees

wenhq 發(fā)表于 2014-07-18 12:04
想問下高手，你們的DFS是自己寫的么？還是利用開源的，方便說下不？另外對大文件的存儲，比如視頻，電影上會 ...

非高手， 只是對存儲系統(tǒng)稍微熟悉一點。網(wǎng)易杭研的DFS系統(tǒng)是自己寫的，未開源，我們的DFS讀寫都比較輕量級，全部讀都不經(jīng)過Master節(jié)點，寫操作則是Client批量申請寫ID，因此大部分寫也是無須經(jīng)過Master的。

網(wǎng)易視頻中心之前用的也是HADOOP存儲視頻文件，聽說發(fā)現(xiàn)HADOOP FUSE有些問題，老出內(nèi)存泄露，且響應(yīng)也比較忙，后來改用我們的方案：Nginx(with mp4/flv module) + Nosfs(我們的對象存儲系統(tǒng)的FUSE工具) + NOS（我們的對象存儲系統(tǒng)），應(yīng)用效果還不錯。

對象存儲系統(tǒng)一般都支持分塊上傳，最后合并成一個邏輯上的大對象，我們的系統(tǒng)最大支持 10000 block * 100M = 1T 的大對象，分塊的好處是上傳和下載都可以并發(fā)，且不同分塊落在不同物理磁盤上，能更好的利用磁盤IO。

wenhq

回復(fù) 13# dtrees


    那你們是如何保證寫的成功率呢？還有數(shù)據(jù)的完整性以及像數(shù)據(jù)的備份。能大體說下里面的處理邏輯么？

chenzhiquan2000

現(xiàn)在個人用的云盤是不是都是用市面上sata的普通硬盤作成的？我的百度云盤都2T多了、我電腦才500G呢

dtrees

chenzhiquan2000 發(fā)表于 2014-07-18 14:33
現(xiàn)在個人用的云盤是不是都是用市面上sata的普通硬盤作成的？我的百度云盤都2T多了、我電腦才500G呢

是的，要不然成本扛不住呀，即使用sata，每月的成本怎么著也要每GB幾毛錢吧，不過一般用戶存不了2T那么多數(shù)據(jù)，普通家庭的上行流量也就100來K

seesea2517

回復(fù) 11# dtrees


    哈哈，不用緊，都看得懂。

dj_ukyo

回復(fù) 3# dtrees

陜西永壽當(dāng)?shù)赜泻芏鄟硇?


   

enmingqing

前年參與過類似產(chǎn)品的開發(fā)，因此忍不住想問幾個細(xì)節(jié)性的問題？
1 網(wǎng)易對象存儲系統(tǒng)在內(nèi)部還基于FUSE開發(fā)了用戶態(tài)文件系統(tǒng)（部分功能受限）--------這個性能是如何保證的啊？我當(dāng)時參與設(shè)計了一個一模一樣的文件系統(tǒng)，由于s3接口的單一性，本來預(yù)期性能會比較差，結(jié)果做出來之后發(fā)現(xiàn)比預(yù)期的還要差，尤其是重命名之類的操作速度簡直慘不忍睹，由此導(dǎo)致的可靠性問題也成為一個潛在的大風(fēng)險，不知道你們有沒有什么好思路解決了這個問題。
2 數(shù)據(jù)可靠性問題不知道采取了哪些措施，個人感覺數(shù)據(jù)可靠性實際上很大程度上決定了這個產(chǎn)品是高端還是低端。我們當(dāng)時采用了raid、EC、和多副本等技術(shù)，但即使這樣經(jīng)過大壓力之后還是存在極小概率的丟數(shù)據(jù)、數(shù)據(jù)不一致的情況，這導(dǎo)致銀行等對這方面要求嚴(yán)格的企業(yè)根本不敢采用。

此外不知道你們是否用了重刪等存儲行業(yè)比較新的技術(shù)，希望多多分享啊~~~

shenlanyouyu

Sata硬盤啊。我以為是刀片服務(wù)器來實現(xiàn)的。