FastDFS一個(gè)高效的分布式文件系統(tǒng)

happy_fish100

出于性能等考慮，必須通過(guò)FastDFS的API來(lái)對(duì)文件進(jìn)行存取，不能mount使用。

aficbl

一個(gè)組的容量為該組內(nèi)服務(wù)器中的最小容量。

一個(gè)組的文件如果放不下了怎么辦？

happy_fish100

如果不是指定組的方式（固定存放在一個(gè)組），系統(tǒng)會(huì)自動(dòng)挑選尚有剩余空間的組來(lái)存放文件。如果空間都滿了，上傳文件將會(huì)失敗（返回錯(cuò)誤號(hào)：ENOSPC）

flat_peach

支持！~ 都是英文啊

bigplum

是否支持服務(wù)器跨地域分布？ 指定文件跨地域備份？

happy_fish100

可以的吧。
將不同地域的服務(wù)器放到同一個(gè)組中即可。

oralib

原帖由 Send_linux 于 2009-2-18 15:42 發(fā)表
FastDFS是一個(gè)開(kāi)源的輕量級(jí)分布式文件系統(tǒng)，她對(duì)文件進(jìn)行管理，功能包括：文件存儲(chǔ)、文件同步、文件訪問(wèn)（文件上傳、文件下載）等，解決了大容量存儲(chǔ)和負(fù)載均衡的問(wèn)題。特別適合以文件為載體的在線服務(wù)，如相冊(cè) ...

你好，真的很佩服你，要是我也許很難有這樣的毅力把這個(gè)東西寫(xiě)出來(lái)。
簡(jiǎn)單的了解了一下有幾個(gè)問(wèn)題請(qǐng)幫忙解答，多謝：

1>. 大文件（>500G）和很多小文件（<1K），的存放不知道怎么存放的。對(duì)于這兩種極端情況部分怎么考慮。
大文件可以并發(fā)的讀寫(xiě)嗎？小文件如果也需要走同樣的流程，那樣當(dāng)小文件相當(dāng)多的時(shí)候是不是很慢很慢？
不知道對(duì)于這兩種情況有什么好的做法，多謝！

2>. 對(duì)于文件的查找索引部分在那存放(Client or Tracker)？
如果在Client，Client下次再也不用了，那這部分空間怎么回收？
如果在Tracker，這樣Tracker應(yīng)該訪問(wèn)壓力是很大的，怎么保證效率，怎么存儲(chǔ)這部分索引信息。

多謝！

happy_fish100

1>. 大文件（>500G）和很多小文件（<1K），的存放不知道怎么存放的。對(duì)于這兩種極端情況部分怎么考慮。
> 大文件可以并發(fā)的讀寫(xiě)嗎？小文件如果也需要走同樣的流程，那樣當(dāng)小文件相當(dāng)多的時(shí)候是不是很慢很慢？
> 不知道對(duì)于這兩種情況有什么好的做法，多謝！

都是按文件存放的。上傳的一個(gè)文件就保存在一個(gè)實(shí)體文件中。
并發(fā)寫(xiě)目前還不支持。V1.19開(kāi)始支持指定讀取文件的偏移量（offset）及長(zhǎng)度（bytes），這樣針對(duì)大文件，就可以在客戶端實(shí)現(xiàn)并發(fā)讀了。


2>. 對(duì)于文件的查找索引部分在那存放(Client or Tracker)？
> 如果在Client，Client下次再也不用了，那這部分空間怎么回收？
> 如果在Tracker，這樣Tracker應(yīng)該訪問(wèn)壓力是很大的，怎么保證效率，怎么存儲(chǔ)這部分索引信息。

上傳文件成功后，文件ID由storage server返回給客戶端。文件ID中包括了分組、文件路徑和文件名等信息，需要由客戶端來(lái)保存文件ID。因此FastDFS 服務(wù)器端是不需要保存文件ID或索引等信息的。不再使用的文件（比如用戶刪除了自己的照片文件），應(yīng)該由client調(diào)用delete file接口刪除該文件。

happy_fish100

Version 1.19  2009-07-23
* use poll instead of select in sockopt.c
* hash.c use chain impl by self
* use FastDHT 1.09 client code
* ini reader support HTTP protocol, conf file can be an url
* correct test dir compile error
* use non-block socket to increase network IO performance
* add cmd TRACKER_PROTO_CMD_SERVICE_QUERY_FETCH_ALL: query all storage servers
   from which the file can be dowloaded
* while (1) ... break; changed to do ... while (0);

changzi100

不錯(cuò)�。�