FastDFS一個高效的分布式文件系統(tǒng)

Send_linux

FastDFS是一個開源的輕量級分布式文件系統(tǒng)，她對文件進行管理，功能包括：文件存儲、文件同步、文件訪問（文件上傳、文件下載）等，解決了大容量存儲和負載均衡的問題。特別適合以文件為載體的在線服務，如相冊網(wǎng)站、視頻網(wǎng)站等等。

FastDFS服務端有兩個角色：跟蹤器（tracker）和存儲節(jié)點（storage）。跟蹤器主要做調度工作，在訪問上起負載均衡的作用。

存儲節(jié)點存儲文件，完成文件管理的所有功能：存儲、同步和提供存取接口，F(xiàn)astDFS同時對文件的metadata進行管理。所謂文件的meta data就是文件的相關屬性，以鍵值對（key valuepair）方式表示，如：width=1024，其中的key為width，value為1024。文件metadata是文件屬性列表，可以包含多個鍵值對。

FastDFS系統(tǒng)結構如下圖所示：


跟蹤器和存儲節(jié)點都可以由一臺多臺服務器構成。跟蹤器和存儲節(jié)點中的服務器均可以隨時增加或下線而不會影響線上服務。其中跟蹤器中的所有服務器都是對等的，可以根據(jù)服務器的壓力情況隨時增加或減少。

為了支持大容量，存儲節(jié)點（服務器）采用了分卷（或分組）的組織方式。存儲系統(tǒng)由一個或多個卷組成，卷與卷之間的文件是相互獨立的，所有卷的文件容量累加就是整個存儲系統(tǒng)中的文件容量。一個卷可以由一臺或多臺存儲服務器組成，一個卷下的存儲服務器中的文件都是相同的，卷中的多臺存儲服務器起到了冗余備份和負載均衡的作用。
在卷中增加服務器時，同步已有的文件由系統(tǒng)自動完成，同步完成后，系統(tǒng)自動將新增服務器切換到線上提供服務。

當存儲空間不足或即將耗盡時，可以動態(tài)添加卷。只需要增加一臺或多臺服務器，并將它們配置為一個新的卷，這樣就擴大了存儲系統(tǒng)的容量。
FastDFS中的文件標識分為兩個部分：卷名和文件名，二者缺一不可。

                               FastDFS file upload
上傳文件交互過程：
1. client詢問tracker上傳到的storage，不需要附加參數(shù)；
2. tracker返回一臺可用的storage；
3. client直接和storage通訊完成文件上傳。

                         FastDFS file download
下載文件交互過程：
1. client詢問tracker下載文件的storage，參數(shù)為文件標識（卷名和文件名）；
2. tracker返回一臺可用的storage；
3. client直接和storage通訊完成文件下載。

需要說明的是，client為使用FastDFS服務的調用方，client也應該是一臺服務器，它對tracker和storage的調用均為服務器間的調用。

google code地址：http://code.google.com/p/fastdfs/
google code下載地址：http://code.google.com/p/fastdfs/downloads/list

swordfish.cn

這個原來是在 C 版的東西吧？
為什么不請原作者來做版主呢？

kns1024wh

原帖由 swordfish.cn 于 2009-2-18 18:35 發(fā)表
這個原來是在 C 版的東西吧？
為什么不請原作者來做版主呢？

支持這個建議

happy_fish100

謝謝大家的支持，正在申請中，很快可以申請下來。

cskyrain

剛剛看到，問一下tracker   storage  client之間的通訊是基于socket的吧，沒有用rpc吧。對這個不太了解，問一下，這個用socket好些還是rpc好些，gfs用的是什么呢。還有yahoo的那個分布式文件系統(tǒng)的站怎么上不了了啊。

happy_fish100

原帖由 cskyrain 于 2009-3-5 11:17 發(fā)表
剛剛看到，問一下tracker   storage  client之間的通訊是基于socket的吧，沒有用rpc吧。對這個不太了解，問一下，這個用socket好些還是rpc好些，gfs用的是什么呢。還有yahoo的那個分布式文件系統(tǒng)的站怎么上不了 ...

使用rpc需要遵循RPC協(xié)議標準，使用socket可以自己定義通信協(xié)議，這樣效率和靈活性都更好。
我對gfs了解不多，你可以查閱一下相關文檔。
雅虎的站長天下已經下線了，相關的文章和帖子都已經遷移到了本論壇。

sopato

如果我只想單純的實現(xiàn)文件同步功能，從一臺機器同步到另外一臺機器，可否實現(xiàn)？

happy_fish100

原帖由 sopato 于 2009-3-14 03:43 發(fā)表
如果我只想單純的實現(xiàn)文件同步功能，從一臺機器同步到另外一臺機器，可否實現(xiàn)？

FastDFS是一個文件存儲服務，文件同步只是它的一個功能，不能拆分出來的。
你可以使用rsync、scp之類的同步命令（工具）。

chifeng

原帖由 cskyrain 于 2009-3-5 11:17 發(fā)表
剛剛看到，問一下tracker   storage  client之間的通訊是基于socket的吧，沒有用rpc吧。對這個不太了解，問一下，這個用socket好些還是rpc好些，gfs用的是什么呢。還有yahoo的那個分布式文件系統(tǒng)的站怎么上不了 ...

堅決抵制使用rpc的方式。。。。。。。。。。。

lighting_zhu

單個tracker的性能怎樣，支持多少并發(fā)，如何做到的？