亚洲av成人无遮挡网站在线观看,少妇性bbb搡bbb爽爽爽,亚洲av日韩精品久久久久久,兔费看少妇性l交大片免费,无码少妇一区二区三区

Chinaunix

標題: FastDFS一個高效的分布式文件系統(tǒng) [打印本頁]

作者: Send_linux    時間: 2009-02-18 15:42
標題: FastDFS一個高效的分布式文件系統(tǒng)
FastDFS是一個開源的輕量級分布式文件系統(tǒng),她對文件進行管理,功能包括:文件存儲、文件同步、文件訪問(文件上傳、文件下載)等,解決了大容量存儲和負載均衡的問題。特別適合以文件為載體的在線服務,如相冊網站、視頻網站等等。

FastDFS服務端有兩個角色:跟蹤器(tracker)和存儲節(jié)點(storage)。跟蹤器主要做調度工作,在訪問上起負載均衡的作用。

存儲節(jié)點存儲文件,完成文件管理的所有功能:存儲、同步和提供存取接口,FastDFS同時對文件的metadata進行管理。所謂文件的meta data就是文件的相關屬性,以鍵值對(key valuepair)方式表示,如:width=1024,其中的key為width,value為1024。文件metadata是文件屬性列表,可以包含多個鍵值對。

FastDFS系統(tǒng)結構如下圖所示:


跟蹤器和存儲節(jié)點都可以由一臺多臺服務器構成。跟蹤器和存儲節(jié)點中的服務器均可以隨時增加或下線而不會影響線上服務。其中跟蹤器中的所有服務器都是對等的,可以根據服務器的壓力情況隨時增加或減少。

為了支持大容量,存儲節(jié)點(服務器)采用了分卷(或分組)的組織方式。存儲系統(tǒng)由一個或多個卷組成,卷與卷之間的文件是相互獨立的,所有卷的文件容量累加就是整個存儲系統(tǒng)中的文件容量。一個卷可以由一臺或多臺存儲服務器組成,一個卷下的存儲服務器中的文件都是相同的,卷中的多臺存儲服務器起到了冗余備份和負載均衡的作用。
在卷中增加服務器時,同步已有的文件由系統(tǒng)自動完成,同步完成后,系統(tǒng)自動將新增服務器切換到線上提供服務。

當存儲空間不足或即將耗盡時,可以動態(tài)添加卷。只需要增加一臺或多臺服務器,并將它們配置為一個新的卷,這樣就擴大了存儲系統(tǒng)的容量。
FastDFS中的文件標識分為兩個部分:卷名和文件名,二者缺一不可。

                               FastDFS file upload
上傳文件交互過程:
1. client詢問tracker上傳到的storage,不需要附加參數;
2. tracker返回一臺可用的storage;
3. client直接和storage通訊完成文件上傳。


                         FastDFS file download
下載文件交互過程:
1. client詢問tracker下載文件的storage,參數為文件標識(卷名和文件名);
2. tracker返回一臺可用的storage;
3. client直接和storage通訊完成文件下載。

需要說明的是,client為使用FastDFS服務的調用方,client也應該是一臺服務器,它對tracker和storage的調用均為服務器間的調用。

google code地址:http://code.google.com/p/fastdfs/
google code下載地址:http://code.google.com/p/fastdfs/downloads/list
作者: swordfish.cn    時間: 2009-02-18 18:35
這個原來是在 C 版的東西吧?
為什么不請原作者來做版主呢?
作者: kns1024wh    時間: 2009-02-18 20:33
原帖由 swordfish.cn 于 2009-2-18 18:35 發(fā)表
這個原來是在 C 版的東西吧?
為什么不請原作者來做版主呢?

支持這個建議
作者: happy_fish100    時間: 2009-02-19 10:15
標題: 回復 #3 kns1024wh 的帖子
謝謝大家的支持,正在申請中,很快可以申請下來。
作者: cskyrain    時間: 2009-03-05 11:17
標題: 回復 #4 happy_fish100 的帖子
剛剛看到,問一下tracker   storage  client之間的通訊是基于socket的吧,沒有用rpc吧。對這個不太了解,問一下,這個用socket好些還是rpc好些,gfs用的是什么呢。還有yahoo的那個分布式文件系統(tǒng)的站怎么上不了了啊。
作者: happy_fish100    時間: 2009-03-05 16:35
原帖由 cskyrain 于 2009-3-5 11:17 發(fā)表
剛剛看到,問一下tracker   storage  client之間的通訊是基于socket的吧,沒有用rpc吧。對這個不太了解,問一下,這個用socket好些還是rpc好些,gfs用的是什么呢。還有yahoo的那個分布式文件系統(tǒng)的站怎么上不了 ...


使用rpc需要遵循RPC協(xié)議標準,使用socket可以自己定義通信協(xié)議,這樣效率和靈活性都更好。
我對gfs了解不多,你可以查閱一下相關文檔。
雅虎的站長天下已經下線了,相關的文章和帖子都已經遷移到了本論壇。
作者: sopato    時間: 2009-03-14 03:43
如果我只想單純的實現文件同步功能,從一臺機器同步到另外一臺機器,可否實現?
作者: happy_fish100    時間: 2009-03-14 13:41
原帖由 sopato 于 2009-3-14 03:43 發(fā)表
如果我只想單純的實現文件同步功能,從一臺機器同步到另外一臺機器,可否實現?


FastDFS是一個文件存儲服務,文件同步只是它的一個功能,不能拆分出來的。
你可以使用rsync、scp之類的同步命令(工具)。
作者: chifeng    時間: 2009-03-28 07:54
原帖由 cskyrain 于 2009-3-5 11:17 發(fā)表
剛剛看到,問一下tracker   storage  client之間的通訊是基于socket的吧,沒有用rpc吧。對這個不太了解,問一下,這個用socket好些還是rpc好些,gfs用的是什么呢。還有yahoo的那個分布式文件系統(tǒng)的站怎么上不了 ...



堅決抵制使用rpc的方式。。。。。。。。。。。
作者: lighting_zhu    時間: 2009-04-23 10:07
標題: 回復 #1 Send_linux 的帖子
單個tracker的性能怎樣,支持多少并發(fā),如何做到的?
作者: happy_fish100    時間: 2009-04-24 21:36
原帖由 lighting_zhu 于 2009-4-23 10:07 發(fā)表
單個tracker的性能怎樣,支持多少并發(fā),如何做到的?


單臺tracker的性能特別高。因為tracker處理查詢時,直接訪問內存中的索引數據,不存在任何性能瓶頸。
單臺服務器支持的QPS超過5000沒有任何問題。
作者: snkzhong    時間: 2009-05-25 16:15
我有個疑問
一個組只能有一臺 源服務器 ? 其他的都是冗余
一組能有多臺源服務器嗎,然后每臺又可以冗余
作者: happy_fish100    時間: 2009-05-25 17:52
標題: 回復 #12 snkzhong 的帖子
每個組內的服務器是對等的,每臺服務器都可以是源服務器。
由源服務器將文件同步到同組的其他服務器。
作者: snkzhong    時間: 2009-05-25 18:07
一個組只有一臺服務器的存儲容量,其他的都是冗余 ?
作者: happy_fish100    時間: 2009-05-25 18:13
標題: 回復 #14 snkzhong 的帖子
是的。一個組的容量為該組內服務器中的最小容量。
所以,每個組的服務器配置應盡量一致。
為了達到備份和負載均衡的目的,建議每組配置兩臺存儲服務器。
作者: snkzhong    時間: 2009-05-26 13:12
一個組能不能有多臺服務器存儲容量
比如有個大型網站,我把各種文件資源分類,假如有(相冊、用戶頭像、下載文件),每類文件用一組服務器,一臺存儲容量肯定是不夠的
作者: happy_fish100    時間: 2009-05-26 13:35
標題: 回復 #16 snkzhong 的帖子
建立多個組好了。
系統(tǒng)總容量是各個組的容量總和。
作者: snkzhong    時間: 2009-05-26 14:52
標題: 回復 #17 happy_fish100
感謝 happy_fish100 的耐心解答

還有最后一個問題,能不能自己指定存在服務器中的文件名
作者: happy_fish100    時間: 2009-05-26 16:26
標題: 回復 #18 snkzhong 的帖子
上傳文件時,文件名由FastDFS生成,然后返回給客戶端。
客戶端不能指定文件名,可以指定文件后綴。
作者: crastyl    時間: 2009-05-27 16:03
問一下。。這個組怎么mount到別的服務器呢
作者: happy_fish100    時間: 2009-06-01 12:29
標題: 回復 #20 crastyl 的帖子
出于性能等考慮,必須通過FastDFS的API來對文件進行存取,不能mount使用。
作者: aficbl    時間: 2009-06-03 21:43
一個組的容量為該組內服務器中的最小容量。


一個組的文件如果放不下了怎么辦?
作者: happy_fish100    時間: 2009-06-04 09:12
標題: 回復 #22 aficbl 的帖子
如果不是指定組的方式(固定存放在一個組),系統(tǒng)會自動挑選尚有剩余空間的組來存放文件。如果空間都滿了,上傳文件將會失。ǚ祷劐e誤號:ENOSPC)
作者: flat_peach    時間: 2009-06-17 14:19
支持!~ 都是英文啊
作者: bigplum    時間: 2009-06-29 12:01
是否支持服務器跨地域分布? 指定文件跨地域備份?
作者: happy_fish100    時間: 2009-06-30 15:55
標題: 回復 #25 bigplum 的帖子
可以的吧。
將不同地域的服務器放到同一個組中即可。
作者: oralib    時間: 2009-07-07 17:07
原帖由 Send_linux 于 2009-2-18 15:42 發(fā)表
FastDFS是一個開源的輕量級分布式文件系統(tǒng),她對文件進行管理,功能包括:文件存儲、文件同步、文件訪問(文件上傳、文件下載)等,解決了大容量存儲和負載均衡的問題。特別適合以文件為載體的在線服務,如相冊 ...


你好,真的很佩服你,要是我也許很難有這樣的毅力把這個東西寫出來。
簡單的了解了一下有幾個問題請幫忙解答,多謝:

1>. 大文件(>500G)和很多小文件(<1K),的存放不知道怎么存放的。對于這兩種極端情況部分怎么考慮。
大文件可以并發(fā)的讀寫嗎?小文件如果也需要走同樣的流程,那樣當小文件相當多的時候是不是很慢很慢?
不知道對于這兩種情況有什么好的做法,多謝!

2>. 對于文件的查找索引部分在那存放(Client or Tracker)?
如果在Client,Client下次再也不用了,那這部分空間怎么回收?
如果在Tracker,這樣Tracker應該訪問壓力是很大的,怎么保證效率,怎么存儲這部分索引信息。

多謝!
作者: happy_fish100    時間: 2009-07-08 09:00
標題: 回復 #27 oralib 的帖子
1>. 大文件(>500G)和很多小文件(<1K),的存放不知道怎么存放的。對于這兩種極端情況部分怎么考慮。
> 大文件可以并發(fā)的讀寫嗎?小文件如果也需要走同樣的流程,那樣當小文件相當多的時候是不是很慢很慢?
> 不知道對于這兩種情況有什么好的做法,多謝!

都是按文件存放的。上傳的一個文件就保存在一個實體文件中。
并發(fā)寫目前還不支持。V1.19開始支持指定讀取文件的偏移量(offset)及長度(bytes),這樣針對大文件,就可以在客戶端實現并發(fā)讀了。


2>. 對于文件的查找索引部分在那存放(Client or Tracker)?
> 如果在Client,Client下次再也不用了,那這部分空間怎么回收?
> 如果在Tracker,這樣Tracker應該訪問壓力是很大的,怎么保證效率,怎么存儲這部分索引信息。

上傳文件成功后,文件ID由storage server返回給客戶端。文件ID中包括了分組、文件路徑和文件名等信息,需要由客戶端來保存文件ID。因此FastDFS 服務器端是不需要保存文件ID或索引等信息的。不再使用的文件(比如用戶刪除了自己的照片文件),應該由client調用delete file接口刪除該文件。
作者: happy_fish100    時間: 2009-07-23 11:53
標題: FastDFS V1.19 stable版本發(fā)布!
Version 1.19  2009-07-23
* use poll instead of select in sockopt.c
* hash.c use chain impl by self
* use FastDHT 1.09 client code
* ini reader support HTTP protocol, conf file can be an url
* correct test dir compile error
* use non-block socket to increase network IO performance
* add cmd TRACKER_PROTO_CMD_SERVICE_QUERY_FETCH_ALL: query all storage servers
   from which the file can be dowloaded
* while (1) ... break; changed to do ... while (0);
作者: changzi100    時間: 2010-03-07 15:39
不錯!
作者: chenqi1017    時間: 2011-05-27 14:21
你好,請問FastDFS的負載均衡是怎么實現的?是client請求讀寫(下載/上傳)一個文件的時候,tracker server將其定位到負載最輕的storage server上嗎?這樣坐會不會造成那臺服務器出現熱點問題,這一塊你們是怎么考慮的呢?謝謝~~
作者: anderson_gwr    時間: 2012-08-28 14:24
FastDFS能否支持跨地域的同步方式,例如同一個group下面的storage分布在不同地址位置的不同機房內,例如一個名叫default的group,組成此group的storage有兩臺,一臺在廣州,一臺在北京,這樣的方式支持嗎?如果不支持,有沒有內置的機制來完成多機房的容災?或者,FastDFS是否提供日志機制,以便將一個機房內的文件修改同步到另外一個遠程的機房?
作者: happy_fish100    時間: 2012-08-28 16:42
回復 32# anderson_gwr

FastDFS完全支持跨機房部署!
只要你機房之間網絡是可以正常連接,就沒問題。
作者: anderson_gwr    時間: 2012-08-30 15:27
因為機房之間的網絡通常不穩(wěn)定,經常出現網絡波動,例如網絡中斷10分鐘甚至1個小時,這個時候,FastDFS還能夠正常工作嗎?

另外,看FastDFS的Client API,發(fā)現文件名都是平面型的,即groupname/filename,這樣的話,當保存大量文件的時候,在一個目錄下面就會有著太多的文件存在。
有沒有辦法在storage path下面,自由地指定文件的目錄,例如groupname/dir1/dir2/dir3/filename?
作者: happy_fish100    時間: 2012-08-30 17:06
回復 34# anderson_gwr

FastDFS存儲文件采用的是256 * 256的兩級目錄。
作者: anderson_gwr    時間: 2012-08-30 18:15
嗯,對,FastDFS是兩級目錄,256 *256個子目錄的。我的另外一個問題是:

因為機房之間的網絡通常不穩(wěn)定,經常出現網絡波動,例如網絡中斷10分鐘甚至1個小時,這個時候,FastDFS還能夠正常工作嗎?
作者: happy_fish100    時間: 2012-08-31 10:06
回復 36# anderson_gwr

沒有問題的。FastDFS文件同步采用異步的增量方式。
網絡恢復后,可以繼續(xù)進行文件同步。
作者: anderson_gwr    時間: 2012-08-31 14:47
happy_fish, 非常感謝你的回答。我已經按照文檔在三臺虛擬機上搭建了fastdfs cluster。其中一臺運行tracker, 另外兩臺運行storage。然后通過下面的命令上傳:

xxx@ubuntu-1:/usr/local/bin$ sudo ./fdfs_upload_file /etc/fastdfs/client.conf ~/soft/memcached-1.4.14.tar.gz
realname/M00/00/00/rBMi01BAR92AzW1VAATm7i-gZic.tar.gz

結果發(fā)現只在一個storage server上面有上傳的文件,另外一臺storage上面不存在。查看trakcer的日志,有如下內容,不知道是什么原因導致的:

drutt@ubuntu-1:/usr/local/bin$ cat /opt/fastdfs/logs/trackerd.log
[2012-08-31 12:01:43] INFO - FastDFS v3.11, base_path=/opt/fastdfs, run_by_group=, run_by_user=, connect_timeout=30s, network_timeout=60s, port=22122, bind_addr=, max_connections=256, work_threads=4, store_lookup=0, store_group=, store_server=0, store_path=0, reserved_storage_space=4096MB, download_server=0, allow_ip_count=-1, sync_log_buff_interval=10s, check_active_interval=10s, thread_stack_size=64 KB, storage_ip_changed_auto_adjust=1, storage_sync_file_max_delay=86400s, storage_sync_file_max_time=3600s, use_trunk_file=0, slot_min_size=256, slot_max_size=16 MB, trunk_file_size=64 MB, trunk_create_file_advance=0, trunk_create_file_time_base=02:00, trunk_create_file_interval=86400, trunk_create_file_space_threshold=20 GB, trunk_init_check_occupying=0, trunk_init_reload_from_binlog=0,
[2012-08-31 12:01:43] INFO - local_host_ip_count: 2,  127.0.0.1  172.19.34.210
[2012-08-31 12:05:49] CRIT - file: fdfs_trackerd.c, line: 413, catch signal 3, program exiting...
[2012-08-31 12:05:50] INFO - exit nomally.

[2012-08-31 12:06:48] INFO - FastDFS v3.11, base_path=/opt/fastdfs, run_by_group=, run_by_user=, connect_timeout=30s, network_timeout=60s, port=22122, bind_addr=, max_connections=256, work_threads=4, store_lookup=0, store_group=, store_server=0, store_path=0, reserved_storage_space=4096MB, download_server=0, allow_ip_count=-1, sync_log_buff_interval=10s, check_active_interval=10s, thread_stack_size=64 KB, storage_ip_changed_auto_adjust=1, storage_sync_file_max_delay=86400s, storage_sync_file_max_time=3600s, use_trunk_file=0, slot_min_size=256, slot_max_size=16 MB, trunk_file_size=64 MB, trunk_create_file_advance=0, trunk_create_file_time_base=02:00, trunk_create_file_interval=86400, trunk_create_file_space_threshold=20 GB, trunk_init_check_occupying=0, trunk_init_reload_from_binlog=0,
[2012-08-31 12:06:48] INFO - HTTP supported: server_port=8080, default_content_type=application/octet-stream, anti_steal_token=0, token_ttl=0s, anti_steal_secret_key length=0, token_check_fail content_type=, token_check_fail buff length=0, check_active_interval=30, check_active_type=tcp, check_active_uri=/status.html
[2012-08-31 12:06:48] INFO - local_host_ip_count: 2,  127.0.0.1  172.19.34.210
[2012-08-31 12:52:10] INFO - file: tracker_relationship.c, line: 374, selecting leader...
[2012-08-31 12:52:10] INFO - file: tracker_relationship.c, line: 392, I am the new tracker leader 172.19.34.210:22122
[2012-08-31 12:52:22] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 12:52:52] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 12:53:22] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 12:53:52] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 12:54:22] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 12:54:52] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 12:55:22] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 12:55:52] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 12:56:22] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 12:56:52] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 12:57:22] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 12:57:52] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 12:58:22] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 12:58:52] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 12:59:22] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 12:59:52] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 13:00:22] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 13:00:52] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 13:01:22] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 13:01:52] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 13:02:22] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 13:02:52] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 13:03:22] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 13:03:52] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 13:04:22] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 13:04:52] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 13:05:22] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 13:05:52] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 13:06:22] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 13:08:43] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 13:09:13] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 13:09:13] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.212:23000 idle too long, status change to offline!
[2012-08-31 13:09:43] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 13:09:43] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.212:23000 idle too long, status change to offline!
[2012-08-31 13:10:13] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 13:10:13] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.212:23000 idle too long, status change to offline!
[2012-08-31 13:10:43] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 13:10:43] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.212:23000 idle too long, status change to offline!
[2012-08-31 13:11:13] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 13:11:13] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.212:23000 idle too long, status change to offline!
[2012-08-31 13:11:43] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 13:11:43] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.212:23000 idle too long, status change to offline!
[2012-08-31 13:12:13] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 13:12:13] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.212:23000 idle too long, status change to offline!
[2012-08-31 13:12:43] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 13:12:43] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.212:23000 idle too long, status change to offline!
[2012-08-31 13:13:13] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 13:13:13] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.212:23000 idle too long, status change to offline!
[2012-08-31 13:13:43] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 13:13:43] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.212:23000 idle too long, status change to offline!
[2012-08-31 13:14:14] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 13:14:14] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.212:23000 idle too long, status change to offline!
[2012-08-31 13:14:44] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 13:14:44] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.212:23000 idle too long, status change to offline!
[2012-08-31 13:15:14] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 13:15:14] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.212:23000 idle too long, status change to offline!
[2012-08-31 13:15:44] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 13:15:44] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.212:23000 idle too long, status change to offline!
[2012-08-31 13:16:14] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 13:16:14] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.212:23000 idle too long, status change to offline!
[2012-08-31 13:16:44] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 13:16:44] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.212:23000 idle too long, status change to offline!
[2012-08-31 13:17:14] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 13:17:14] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.212:23000 idle too long, status change to offline!
[2012-08-31 13:17:44] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 13:17:44] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.212:23000 idle too long, status change to offline!
[2012-08-31 13:18:14] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.211:23000 idle too long, status change to offline!
[2012-08-31 13:18:14] INFO - file: tracker_mem.c, line: 5333, storage server 172.19.34.212:23000 idle too long, status change to offline!
作者: happy_fish100    時間: 2012-08-31 17:42
回復 38# anderson_gwr

你修改過tracker.conf中的一些參數吧。

tracker.conf:
# check storage server alive interval seconds
check_active_interval = 120

storage.conf:
# heart beat interval in seconds
heart_beat_interval=30


對于這兩個參數的大小關系,必須是:check_active_interval  > heart_beat_interval
如果你不修改這兩個參數值,是沒有任何問題的!
請檢查一下這兩個配置項。

作者: edmondw    時間: 2012-11-02 17:29
回復 39# happy_fish100



請問:track服務器內存需要多大?


   
作者: happy_fish100    時間: 2012-11-02 21:16
回復 40# edmondw

tracker不耗內存,有1GB內存足矣。
作者: hansion3406    時間: 2012-11-04 10:50
真精神。。。。!
作者: cnvbird    時間: 2012-12-04 13:56
版主對FastDFS 有深入研究??
作者: h101com    時間: 2013-01-25 12:00
很不錯,簡單實用!
作者: sodarfish    時間: 2013-02-03 21:03
本帖最后由 sodarfish 于 2013-02-03 21:04 編輯

之前回復錯了..汗
作者: shylockxie    時間: 2013-05-13 14:35
收藏了
作者: laihua0808    時間: 2013-08-22 11:31
我用過OCFS2/GFS FOR RHEL5,但還是覺得GPFS好用。
作者: ly1595    時間: 2013-11-15 15:14
好久沒來了~~~
作者: interfaceyou    時間: 2014-12-02 13:40

作者: fjw6204    時間: 2015-02-15 16:58

請教下,storage的RECOVERY狀態(tài)是什么意思?status=9
能否告知為何會出現這個狀態(tài),且如何修復?

今天早上有一塊磁盤壞了,然后換了一塊盤上去,就出現這個狀態(tài)了,不知道是否有關系?
作者: bo_hai    時間: 2015-04-06 16:49
google code地址:code.google.com/p/fastdfs/
google code下載地址:code.google.com/p/fastdfs/downloads/list

GoogleCode現在不能訪問了,請問可以去哪里下載呢?
作者: walgnin    時間: 2015-05-01 20:18
真理往往掌握在少數人的手里
作者: sgw0128    時間: 2015-08-13 16:24
大俠求救,節(jié)點無法同步,請解救。

成功存儲上傳文件的節(jié)點日志
[2015-08-13 22:44:20] INFO - local_host_ip_count: 2,  127.0.0.1  192.170.1.73
[2015-08-13 22:44:22] INFO - file: tracker_client_thread.c, line: 308, successfully connect to tracker server 192.170.1.72:22122, as a tracker client, my ip is 192.170.1.73
[2015-08-13 22:44:22] INFO - file: tracker_client_thread.c, line: 1124, tracker server 192.170.1.72:22122, set tracker leader: 192.170.1.72:22122
[2015-08-13 22:44:22] ERROR - file: storage_sync.c, line: 2710, connect to storage server 192.170.1.74:23000 fail, errno: 113, error info: No route to host
[2015-08-13 22:44:25] ERROR - file: storage_sync.c, line: 2710, connect to storage server 192.170.1.75:23000 fail, errno: 113, error info: No route to host

無法同步上傳文件的節(jié)點日志
[2015-08-13 22:32:10] ERROR - file: tracker_client_thread.c, line: 1009, tracker server 192.170.1.72:22122, recv data fail, errno: 107, error info: Transport endpoint is not connected.
[2015-08-13 22:32:11] INFO - file: tracker_client_thread.c, line: 308, successfully connect to tracker server 192.170.1.72:22122, as a tracker client, my ip is 192.170.1.74
[2015-08-13 22:32:11] INFO - file: tracker_client_thread.c, line: 1124, tracker server 192.170.1.72:22122, set tracker leader: 192.170.1.72:22122
[2015-08-13 22:44:40] ERROR - file: tracker_proto.c, line: 37, server: 192.170.1.73:23000, recv data fail, errno: 107, error info: Transport endpoint is not connected
[2015-08-13 22:44:41] INFO - file: storage_sync.c, line: 2698, successfully connect to storage server 192.170.1.73:23000

想讓兩個節(jié)點同步數據,不知道哪里設置錯了。。
作者: mm8m6m7m    時間: 2016-07-06 14:40
FastDFS中Trunk文件使用 出現新數據和舊數據無法同步的現象。請問可以手動同步嗎?可以的話能不能提供一下操作步驟。謝謝!
作者: dodng12    時間: 2016-07-22 16:41
fish大哥,有幾個問題想請教您:

1.tracker服務器可以部署多臺共同承擔來自client的流量請求么?
2.tracker如果掛了如何處理,即需要額外為tracker做災備么?
作者: zhoujianqian    時間: 2017-05-24 10:26
fastDFS異地備份可以支持嗎
作者: zhoujianqian    時間: 2017-05-24 10:32
FastDFS能否支持跨地域的同步方式,例如同一個group下面的storage分布在不同地址位置的不同機房內,例如一個名叫default的group,組成此group的storage有兩臺,一臺在廣州,一臺在北京,這樣的方式支持嗎?如果不支持,有沒有內置的機制來完成多機房的容災?或者,FastDFS是否提供日志機制,以便將一個機房內的文件修改同步到另外一個遠程的機房?


這個解決了嗎?異地容災





歡迎光臨 Chinaunix (http://72891.cn/) Powered by Discuz! X3.2