如果你的業(yè)務(wù)暴漲10倍or100倍，你怎么設(shè)計你的數(shù)據(jù)庫？

stay_sun

獲獎詳情:http://72891.cn/thread-4245936-1-1.html



話題背景：
最近有了孩子，很長時間沒有寫文章了，上來還是習慣性的想寫。就現(xiàn)在來說，隨著互聯(lián)網(wǎng)的飛速發(fā)展，技術(shù)更新的隨之變快，很多新技術(shù)已經(jīng)拿到生產(chǎn)中使用。
作為一個mysql dba 學過很多的數(shù)據(jù)庫。以前用過oracle ，后來去創(chuàng)業(yè)公司維護過pg ，現(xiàn)在主要做mysql 還學了點nosql。
待過創(chuàng)業(yè)公司見過太多的誤區(qū)，原來技術(shù)負責人開發(fā)出身。一句話以后我們用nosql 解決在線業(yè)務(wù)數(shù)據(jù)量大的情況。這聽得我蛋疼。
其實我們用關(guān)系型數(shù)據(jù)庫可以解決好多問題，今天我想跟大家聊下mysql的未來是什么樣子的。
作為未來的一個討論的話，我們就要有個需求。我從來就說一句話，沒有業(yè)務(wù)的架構(gòu)想法，就是耍流氓。
多以我們 拿個簡單的例子，如果你的業(yè)務(wù)上升10倍，如果你的業(yè)務(wù)量太小的話 ，那就100倍。
         
話題討論：
1.如果你的業(yè)務(wù)暴漲10倍或者100倍  你會把你得什么業(yè)務(wù)放在mysql 中

2.未來我們的關(guān)系型數(shù)據(jù)庫會發(fā)展成什么樣子呢？

3. 其實業(yè)務(wù)就是成倍的增長的，結(jié)合你的業(yè)務(wù)暴漲10倍or100倍 你要怎么設(shè)計的架構(gòu)。讓你得系統(tǒng)可以抗過去

討論時間:
2016年04月6日--2016年05月6日

活動獎勵：
優(yōu)質(zhì)回復用戶獲得精品圖書一本。回復用戶均可以獲得50個可用積分。
更有機會獲得DTCC 2016大會門票一張哦~

限時優(yōu)惠！購票立享8.8折！
作為國內(nèi)數(shù)據(jù)庫與大數(shù)據(jù)領(lǐng)域最大規(guī)模的技術(shù)盛宴，2016第七屆中國數(shù)據(jù)庫技術(shù)大會(DTCC)將于2016年5月12日-14日召開。
大會以"數(shù)據(jù)定義未來"為主題，云集了國內(nèi)外頂尖專家，共同探討MySQL、NoSQL、Oracle、緩存技術(shù)、云端數(shù)據(jù)庫、智能數(shù)據(jù)平臺、大數(shù)據(jù)安全、數(shù)據(jù)治理、大數(shù)據(jù)和開源、大數(shù)據(jù)創(chuàng)業(yè)、大數(shù)據(jù)深度學習等領(lǐng)域的前瞻性熱點話題與技術(shù)。本屆大會共設(shè)定2個主會場，24個分會場，并將吸引5000多名IT人士參會，為數(shù)據(jù)庫人群、大數(shù)據(jù)從業(yè)人員、廣大互聯(lián)網(wǎng)人士及行業(yè)相關(guān)人士提供最具價值的交流平臺。

4月20日前，訂購DTCC大會門票即享7.8折優(yōu)惠！團購更有折上折！

官網(wǎng)鏈接：http://dtcc.it168.com/

歡迎掃碼關(guān)注DTCC官方微信，獲取最新信息！

shang2010

待過創(chuàng)業(yè)公司見過太多的誤區(qū)，原來技術(shù)負責人開發(fā)出身。一句話以后我們用nosql 解決在線業(yè)務(wù)數(shù)據(jù)量大的情況。這聽得我蛋疼。


很多技術(shù)管理，說起技術(shù)，一腔熱血來潮，其實做事能力

ylky_2000

話題討論：
1.如果你的業(yè)務(wù)暴漲10倍或者100倍  你會把你得什么業(yè)務(wù)放在mysql 中
A:前提是業(yè)務(wù)暴漲100倍。傳統(tǒng)上從基礎(chǔ)建設(shè)方面下手、ssd、光通道、讀寫分離、cdn、分布式存儲、結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)分離、集群化通過主機量的方式來應對暴漲的訪問等，至于說到mysql，我覺得mysql都可以應用起來，對于非互聯(lián)網(wǎng)業(yè)務(wù)的企業(yè)，基本很少采用mysql的解決方案，大都是用商業(yè)化的產(chǎn)品，如oracle、sql server等。
2.未來我們的關(guān)系型數(shù)據(jù)庫會發(fā)展成什么樣子呢？
A：朝分布式方向發(fā)展。變成易橫向擴展的融合性數(shù)據(jù)庫。
3. 其實業(yè)務(wù)就是成倍的增長的，結(jié)合你的業(yè)務(wù)暴漲10倍or100倍 你要怎么設(shè)計的架構(gòu)。讓你得系統(tǒng)可以抗過去。
A：將業(yè)務(wù)分拆為一個個都微服務(wù)器、云化、容器化，高內(nèi)聚輕耦合。

cjfeii

sql和nosql配合使用相得益彰

王楠w_n

剛好要寫這方面的文章，如果配合，能否詳細說明下，謝謝啦回復 4# cjfeii


   

cjfeii

關(guān)系型數(shù)據(jù)庫（sql）的一個特性就是支持事務(wù)，這是它的一大亮點，同樣是這個亮點使得它的分布式實現(xiàn)變得異常困難（CAP理論）
而非關(guān)系型數(shù)據(jù)庫（nosql）不支持事務(wù)或者說不支持嚴格的事務(wù)（最終一致性），使得它在實現(xiàn)分布式的時候能保持不錯的性能
sql和nosql并不是誰取代誰的問題，而是可以根據(jù)不同的數(shù)據(jù)特點，應用于不同的業(yè)務(wù)。

回復 5# 王楠w_n


   

cjfeii

1.如果你的業(yè)務(wù)暴漲10倍或者100倍，你會把你得什么業(yè)務(wù)放在mysql 中
我們做的是物聯(lián)網(wǎng)的項目，業(yè)務(wù)數(shù)據(jù)主要是一些關(guān)系數(shù)據(jù)（用戶信息、公司信息、終端信息及其關(guān)系信息等）和歷史數(shù)據(jù)（增量數(shù)據(jù)），目前關(guān)系數(shù)據(jù)和歷史數(shù)據(jù)分別保存在不同的MySQL實例中，由于歷史數(shù)據(jù)不斷增多（每天上千萬條，數(shù)據(jù)每天增加20GB），所以我們將歷史數(shù)據(jù)分片保存在4個MySQL實例中。
如果說我們的業(yè)務(wù)暴漲10倍或者100倍，那么我們還會將關(guān)系數(shù)據(jù)保存在MySQL中，因為單表規(guī)模不會超過千萬，并且這些數(shù)據(jù)需要事務(wù)型保證，即使這些表數(shù)據(jù)過億，我們也會保存在MySQL中（可能會嘗試PG），大不了采用SSD、分庫分表嘛。
在業(yè)務(wù)暴漲10倍或者100倍情況下，我們的存儲歷史數(shù)據(jù)每天數(shù)據(jù)增長200GB或2TB（每天增長數(shù)十億條數(shù)據(jù)），不管是從存儲空間利用率（想一下MySQL的空間利用率：raid10,1M2S,index占用空間等），還是性能方面的考慮（從上億條數(shù)據(jù)表中去查找數(shù)據(jù)），用MySQL都有點力不從心，更關(guān)鍵的是我們對數(shù)據(jù)的一致性要求不高（我們要的是趨勢曲線，而不是曲線上的所有的點），綜合考慮，歷史數(shù)據(jù)會考慮采用nosql存儲：hbase、mongo、cassandra等。
note：請不要被“關(guān)系數(shù)據(jù)”誤導，我這里說的關(guān)系數(shù)據(jù)和關(guān)系數(shù)據(jù)庫、非關(guān)系數(shù)據(jù)庫沒有直接關(guān)系。


2.未來我們的關(guān)系型數(shù)據(jù)庫會發(fā)展成什么樣子呢？
未來關(guān)系型數(shù)據(jù)庫我也說不上來，從用戶角度來說，我希望未來的關(guān)系型數(shù)據(jù)庫支持彈性擴容、分布式事務(wù)、性能好。


3. 其實業(yè)務(wù)就是成倍的增長的，結(jié)合你的業(yè)務(wù)暴漲10倍or100倍你要怎么設(shè)計的架構(gòu)。讓你得系統(tǒng)可以抗過去
目前的情況就是改造業(yè)務(wù)后臺，實現(xiàn)后臺服務(wù)程序無狀態(tài)橫向擴展，解耦服務(wù)依賴，對服務(wù)進行分級，添加中間層（mq、proxy、lb等），應對業(yè)務(wù)暴漲的帶來的壓力。

求票求書

sunzhiguolu

不求票, 也不求書, 只是開開眼界.

stay_sun

回復 6# cjfeii


    我覺得  分布式mysql 數(shù)據(jù)庫  會升級現(xiàn)在的mysql 可以應對 oltp 很大一部分東西  
cap 理論方面  舍棄強一致性   用最終一致性 換取分區(qū)容錯性的  需求  

cjfeii

最終一致性意思是努力送達直到成功（即是最終會成功、會一致），不能回滾也不需要回滾
事務(wù)是能夠回滾的，不能回滾如何實現(xiàn)事務(wù)。
想一下那個經(jīng)典的轉(zhuǎn)賬的例子（A轉(zhuǎn)給B一千塊錢：A-1000，B+1000），如果說不能回滾將會是什么樣子

阿里沈詢是這方面的專家，有興趣可以看看他的文章：
blog.sina.com.cn/s/blog_693f08470102vibt.html

回復 9# stay_sun