話題討論：大規(guī)模高并發(fā)下的分布式存儲(chǔ)架構(gòu)設(shè)計(jì)

lrb1120

為什么我們努力提高網(wǎng)絡(luò)帶寬而不是去想辦法壓縮文件尤其是視頻文件的大小呢？

znsk07

怎樣在控制總體成本的情況下，合理地為海量數(shù)據(jù)提供存儲(chǔ)空間，并能滿足數(shù)據(jù)量快速增長的需求？
這個(gè)得看企業(yè)吧？

sherrywong

如何提升系統(tǒng)的并發(fā)能力之水平擴(kuò)展

daisyplay

如何計(jì)算系統(tǒng)用戶并發(fā)數(shù)，系統(tǒng)最大并發(fā)數(shù)？

xzh1980

開源分布式流存儲(chǔ)Pravega前景怎么樣？

z_paul

分布式存儲(chǔ)按其存儲(chǔ)接口分為三種：文件存儲(chǔ)、塊存儲(chǔ)和對象存儲(chǔ)?

boss_ch

高并發(fā)的分布式系統(tǒng)中訂單流程是怎樣的？訂單與庫存關(guān)系如何處理？

albertdong

中小企業(yè)如何進(jìn)行高效數(shù)據(jù)管理？

local0

如何進(jìn)行多云環(huán)境中的數(shù)據(jù)管理？

blankrabbit

關(guān)于高并發(fā)
數(shù)據(jù)同步，跨機(jī)房跨集群的困難點(diǎn)在于數(shù)據(jù)同步，有三種做法：
1）不同步，任由各子集群在自己的業(yè)務(wù)范圍內(nèi)運(yùn)行
2）匯總集群，建立一個(gè)統(tǒng)一的數(shù)據(jù)匯總集群（如Hadoop\Spark\Kylin等），將數(shù)據(jù)匯總到統(tǒng)一的大數(shù)據(jù)集群中，再進(jìn)行統(tǒng)計(jì)、匯總、運(yùn)算等。缺點(diǎn)是會(huì)有時(shí)間差，短須5分鐘，長須一天以上
3）遠(yuǎn)程數(shù)據(jù)同步，通過開源框架實(shí)現(xiàn)多個(gè)數(shù)據(jù)庫的同步，例如阿里的otter，底層為canal，模擬mysql的從庫，實(shí)現(xiàn)日志解析并數(shù)據(jù)庫入庫，時(shí)間差較短，如果網(wǎng)絡(luò)沒有太大問題，可在秒級(jí)完成數(shù)據(jù)同步。數(shù)據(jù)同步?jīng)_突算法有兩種：單向回環(huán)補(bǔ)救、時(shí)間交集補(bǔ)救。一般推薦使用單向回環(huán)補(bǔ)救，即：如果發(fā)現(xiàn)數(shù)據(jù)庫A與數(shù)據(jù)庫B的同步時(shí)間差大于某個(gè)數(shù)值，則根據(jù)pk查詢最新記錄同步到數(shù)據(jù)庫中。而另一種算法時(shí)間交集補(bǔ)救，是根據(jù)“時(shí)間交集”的定義，獲得雙方數(shù)據(jù)庫的“時(shí)間交叉的操作”清單，然后根據(jù)此清單執(zhí)行單向回環(huán)補(bǔ)救。此方法缺點(diǎn)為：a)開源版本中僅有單向回環(huán)補(bǔ)救;b)只支持mysql->mysql同步或者mysql->oracle同步。