如果你的業(yè)務(wù)暴漲10倍or100倍，你怎么設(shè)計(jì)你的數(shù)據(jù)庫？

stay_sun

獲獎(jiǎng)詳情:http://72891.cn/thread-4245936-1-1.html



話題背景：
最近有了孩子，很長時(shí)間沒有寫文章了，上來還是習(xí)慣性的想寫。就現(xiàn)在來說，隨著互聯(lián)網(wǎng)的飛速發(fā)展，技術(shù)更新的隨之變快，很多新技術(shù)已經(jīng)拿到生產(chǎn)中使用。
作為一個(gè)mysql dba 學(xué)過很多的數(shù)據(jù)庫。以前用過oracle ，后來去創(chuàng)業(yè)公司維護(hù)過pg ，現(xiàn)在主要做mysql 還學(xué)了點(diǎn)nosql。
待過創(chuàng)業(yè)公司見過太多的誤區(qū)，原來技術(shù)負(fù)責(zé)人開發(fā)出身。一句話以后我們用nosql 解決在線業(yè)務(wù)數(shù)據(jù)量大的情況。這聽得我蛋疼。
其實(shí)我們用關(guān)系型數(shù)據(jù)庫可以解決好多問題，今天我想跟大家聊下mysql的未來是什么樣子的。
作為未來的一個(gè)討論的話，我們就要有個(gè)需求。我從來就說一句話，沒有業(yè)務(wù)的架構(gòu)想法，就是耍流氓。
多以我們 拿個(gè)簡單的例子，如果你的業(yè)務(wù)上升10倍，如果你的業(yè)務(wù)量太小的話 ，那就100倍。
         
話題討論：
1.如果你的業(yè)務(wù)暴漲10倍或者100倍  你會(huì)把你得什么業(yè)務(wù)放在mysql 中

2.未來我們的關(guān)系型數(shù)據(jù)庫會(huì)發(fā)展成什么樣子呢？

3. 其實(shí)業(yè)務(wù)就是成倍的增長的，結(jié)合你的業(yè)務(wù)暴漲10倍or100倍 你要怎么設(shè)計(jì)的架構(gòu)。讓你得系統(tǒng)可以抗過去

討論時(shí)間:
2016年04月6日--2016年05月6日

活動(dòng)獎(jiǎng)勵(lì)：
優(yōu)質(zhì)回復(fù)用戶獲得精品圖書一本�；貜�(fù)用戶均可以獲得50個(gè)可用積分。
更有機(jī)會(huì)獲得DTCC 2016大會(huì)門票一張哦~

限時(shí)優(yōu)惠！購票立享8.8折！
作為國內(nèi)數(shù)據(jù)庫與大數(shù)據(jù)領(lǐng)域最大規(guī)模的技術(shù)盛宴，2016第七屆中國數(shù)據(jù)庫技術(shù)大會(huì)(DTCC)將于2016年5月12日-14日召開。
大會(huì)以"數(shù)據(jù)定義未來"為主題，云集了國內(nèi)外頂尖專家，共同探討MySQL、NoSQL、Oracle、緩存技術(shù)、云端數(shù)據(jù)庫、智能數(shù)據(jù)平臺(tái)、大數(shù)據(jù)安全、數(shù)據(jù)治理、大數(shù)據(jù)和開源、大數(shù)據(jù)創(chuàng)業(yè)、大數(shù)據(jù)深度學(xué)習(xí)等領(lǐng)域的前瞻性熱點(diǎn)話題與技術(shù)。本屆大會(huì)共設(shè)定2個(gè)主會(huì)場，24個(gè)分會(huì)場，并將吸引5000多名IT人士參會(huì)，為數(shù)據(jù)庫人群、大數(shù)據(jù)從業(yè)人員、廣大互聯(lián)網(wǎng)人士及行業(yè)相關(guān)人士提供最具價(jià)值的交流平臺(tái)。

4月20日前，訂購DTCC大會(huì)門票即享7.8折優(yōu)惠！團(tuán)購更有折上折！

官網(wǎng)鏈接：http://dtcc.it168.com/

歡迎掃碼關(guān)注DTCC官方微信，獲取最新信息！

shang2010

待過創(chuàng)業(yè)公司見過太多的誤區(qū)，原來技術(shù)負(fù)責(zé)人開發(fā)出身。一句話以后我們用nosql 解決在線業(yè)務(wù)數(shù)據(jù)量大的情況。這聽得我蛋疼。


很多技術(shù)管理，說起技術(shù)，一腔熱血來潮，其實(shí)做事能力

ylky_2000

話題討論：
1.如果你的業(yè)務(wù)暴漲10倍或者100倍  你會(huì)把你得什么業(yè)務(wù)放在mysql 中
A:前提是業(yè)務(wù)暴漲100倍。傳統(tǒng)上從基礎(chǔ)建設(shè)方面下手、ssd、光通道、讀寫分離、cdn、分布式存儲(chǔ)、結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)分離、集群化通過主機(jī)量的方式來應(yīng)對(duì)暴漲的訪問等，至于說到mysql，我覺得mysql都可以應(yīng)用起來，對(duì)于非互聯(lián)網(wǎng)業(yè)務(wù)的企業(yè)，基本很少采用mysql的解決方案，大都是用商業(yè)化的產(chǎn)品，如oracle、sql server等。
2.未來我們的關(guān)系型數(shù)據(jù)庫會(huì)發(fā)展成什么樣子呢？
A：朝分布式方向發(fā)展。變成易橫向擴(kuò)展的融合性數(shù)據(jù)庫。
3. 其實(shí)業(yè)務(wù)就是成倍的增長的，結(jié)合你的業(yè)務(wù)暴漲10倍or100倍 你要怎么設(shè)計(jì)的架構(gòu)。讓你得系統(tǒng)可以抗過去。
A：將業(yè)務(wù)分拆為一個(gè)個(gè)都微服務(wù)器、云化、容器化，高內(nèi)聚輕耦合。

cjfeii

sql和nosql配合使用相得益彰

王楠w_n

剛好要寫這方面的文章，如果配合，能否詳細(xì)說明下，謝謝啦回復(fù) 4# cjfeii


   

cjfeii

關(guān)系型數(shù)據(jù)庫（sql）的一個(gè)特性就是支持事務(wù)，這是它的一大亮點(diǎn)，同樣是這個(gè)亮點(diǎn)使得它的分布式實(shí)現(xiàn)變得異常困難（CAP理論）
而非關(guān)系型數(shù)據(jù)庫（nosql）不支持事務(wù)或者說不支持嚴(yán)格的事務(wù)（最終一致性），使得它在實(shí)現(xiàn)分布式的時(shí)候能保持不錯(cuò)的性能
sql和nosql并不是誰取代誰的問題，而是可以根據(jù)不同的數(shù)據(jù)特點(diǎn)，應(yīng)用于不同的業(yè)務(wù)。

回復(fù) 5# 王楠w_n


   

cjfeii

1.如果你的業(yè)務(wù)暴漲10倍或者100倍，你會(huì)把你得什么業(yè)務(wù)放在mysql 中
我們做的是物聯(lián)網(wǎng)的項(xiàng)目，業(yè)務(wù)數(shù)據(jù)主要是一些關(guān)系數(shù)據(jù)（用戶信息、公司信息、終端信息及其關(guān)系信息等）和歷史數(shù)據(jù)（增量數(shù)據(jù)），目前關(guān)系數(shù)據(jù)和歷史數(shù)據(jù)分別保存在不同的MySQL實(shí)例中，由于歷史數(shù)據(jù)不斷增多（每天上千萬條，數(shù)據(jù)每天增加20GB），所以我們將歷史數(shù)據(jù)分片保存在4個(gè)MySQL實(shí)例中。
如果說我們的業(yè)務(wù)暴漲10倍或者100倍，那么我們還會(huì)將關(guān)系數(shù)據(jù)保存在MySQL中，因?yàn)閱伪硪?guī)模不會(huì)超過千萬，并且這些數(shù)據(jù)需要事務(wù)型保證，即使這些表數(shù)據(jù)過億，我們也會(huì)保存在MySQL中（可能會(huì)嘗試PG），大不了采用SSD、分庫分表嘛。
在業(yè)務(wù)暴漲10倍或者100倍情況下，我們的存儲(chǔ)歷史數(shù)據(jù)每天數(shù)據(jù)增長200GB或2TB（每天增長數(shù)十億條數(shù)據(jù)），不管是從存儲(chǔ)空間利用率（想一下MySQL的空間利用率：raid10,1M2S,index占用空間等），還是性能方面的考慮（從上億條數(shù)據(jù)表中去查找數(shù)據(jù)），用MySQL都有點(diǎn)力不從心，更關(guān)鍵的是我們對(duì)數(shù)據(jù)的一致性要求不高（我們要的是趨勢曲線，而不是曲線上的所有的點(diǎn)），綜合考慮，歷史數(shù)據(jù)會(huì)考慮采用nosql存儲(chǔ)：hbase、mongo、cassandra等。
note：請不要被“關(guān)系數(shù)據(jù)”誤導(dǎo)，我這里說的關(guān)系數(shù)據(jù)和關(guān)系數(shù)據(jù)庫、非關(guān)系數(shù)據(jù)庫沒有直接關(guān)系。


2.未來我們的關(guān)系型數(shù)據(jù)庫會(huì)發(fā)展成什么樣子呢？
未來關(guān)系型數(shù)據(jù)庫我也說不上來，從用戶角度來說，我希望未來的關(guān)系型數(shù)據(jù)庫支持彈性擴(kuò)容、分布式事務(wù)、性能好。


3. 其實(shí)業(yè)務(wù)就是成倍的增長的，結(jié)合你的業(yè)務(wù)暴漲10倍or100倍你要怎么設(shè)計(jì)的架構(gòu)。讓你得系統(tǒng)可以抗過去
目前的情況就是改造業(yè)務(wù)后臺(tái)，實(shí)現(xiàn)后臺(tái)服務(wù)程序無狀態(tài)橫向擴(kuò)展，解耦服務(wù)依賴，對(duì)服務(wù)進(jìn)行分級(jí)，添加中間層（mq、proxy、lb等），應(yīng)對(duì)業(yè)務(wù)暴漲的帶來的壓力。

求票求書

sunzhiguolu

不求票, 也不求書, 只是開開眼界.

stay_sun

回復(fù) 6# cjfeii


    我覺得  分布式mysql 數(shù)據(jù)庫  會(huì)升級(jí)現(xiàn)在的mysql 可以應(yīng)對(duì) oltp 很大一部分東西  
cap 理論方面  舍棄強(qiáng)一致性   用最終一致性 換取分區(qū)容錯(cuò)性的  需求  

cjfeii

最終一致性意思是努力送達(dá)直到成功（即是最終會(huì)成功、會(huì)一致），不能回滾也不需要回滾
事務(wù)是能夠回滾的，不能回滾如何實(shí)現(xiàn)事務(wù)。
想一下那個(gè)經(jīng)典的轉(zhuǎn)賬的例子（A轉(zhuǎn)給B一千塊錢：A-1000，B+1000），如果說不能回滾將會(huì)是什么樣子

阿里沈詢是這方面的專家，有興趣可以看看他的文章：
blog.sina.com.cn/s/blog_693f08470102vibt.html

回復(fù) 9# stay_sun