原帖由 showsa 于 2008-5-20 17:02 發(fā)表
目前網(wǎng)上很多所謂mysql cluster的測(cè)試,其實(shí)基本上只是個(gè)搭建起來能夠運(yùn)行而已
很多人還不理解mysql cluster構(gòu)架的初衷
當(dāng)你們遇到大數(shù)據(jù)量需要分表分庫(kù)的時(shí)候再來審視mysql cluster的構(gòu)架,你會(huì)發(fā)現(xiàn)是多么的 ...
原帖由 飛哥林 于 2008-5-20 17:40 發(fā)表
呵呵,高手來了
我沒有把自己的測(cè)試說清楚,我做過不同數(shù)量的線程的測(cè)試。
舉個(gè)例子:
我有1個(gè)線程插入10000條記錄,標(biāo)準(zhǔn)MySQL用時(shí)7323ms,而cluster用時(shí)37505ms
10個(gè)線程插入10000條記錄,標(biāo)準(zhǔn)MySQL用時(shí) ...
原帖由 飛哥林 于 2008-5-20 17:40 發(fā)表
呵呵,高手來了
我沒有把自己的測(cè)試說清楚,我做過不同數(shù)量的線程的測(cè)試。
舉個(gè)例子:
我有1個(gè)線程插入10000條記錄,標(biāo)準(zhǔn)MySQL用時(shí)7323ms,而cluster用時(shí)37505ms
10個(gè)線程插入10000條記錄,標(biāo)準(zhǔn)MySQL用時(shí) ...
原帖由 huifeideluotuo 于 2008-5-20 15:11 發(fā)表
mysql集群是比較吃內(nèi)存的了,最好內(nèi)存在8G以上。。。。。
前段時(shí)間我們也準(zhǔn)備把mysql做成集群的架構(gòu),但是后來查詢資料,和一些有經(jīng)驗(yàn)的管理員交流下,個(gè)人認(rèn)為,mysql集群適合小負(fù)載的查詢,不太適合高負(fù)載 ...
原帖由 飛哥林 于 2008-5-21 14:55 發(fā)表
請(qǐng)教一下,需要設(shè)置哪些參數(shù)?我知道就是一些最大同時(shí)連接數(shù),之類的。另外測(cè)試高并發(fā)一般用哪些工具呢?我現(xiàn)在用的是兩個(gè),一個(gè)是super-smark,一個(gè)是自己寫的多線程的基于mysql++的工具。都不是很好用
原帖由 yejr 于 2008-5-21 15:43 發(fā)表
我的測(cè)試結(jié)果沒你這么大差距,我用的是5.1版本,并且隨著并發(fā)線程數(shù)的增加,tps也會(huì)增加,不過不是無限增加,呵呵
原帖由 yejr 于 2008-5-21 16:18 發(fā)表
我用sysbench測(cè)試的,4個(gè)data node,3個(gè)sql node,基于磁盤存儲(chǔ)數(shù)據(jù);標(biāo)準(zhǔn)2950,8g內(nèi)存,600w行記錄
我測(cè)試的最好情況中,tps大概是正常innodb的1/3,myisam沒對(duì)比過。
3個(gè)sql node我采用mysql proxy來做中間 ...
原帖由 飛哥林 于 2008-5-21 17:38 發(fā)表
再引入一個(gè)話題,mysql cluster到目前為止是不能在線增加data node和sql node的。有沒有同學(xué)考慮過怎么實(shí)現(xiàn)這個(gè)?
google的理念里面,似乎有一段說,最好是不要修節(jié)點(diǎn)而是替換和增加,假如能做到系統(tǒng)里面的節(jié)點(diǎn) ...
原帖由 showsa 于 2008-5-21 22:16 發(fā)表
月亮,現(xiàn)在還沒法在線添加data node節(jié)點(diǎn),不過有辦法在線增加節(jié)點(diǎn)內(nèi)存
原帖由 飛哥林 于 2008-5-20 14:54 發(fā)表
我在redhat as5 4G mem環(huán)境里面搭了一套cluster環(huán)境。
4臺(tái)Data node, 4臺(tái)MySQL node,1臺(tái)mgm node,2臺(tái)LVS前置做load balance
測(cè)試結(jié)果是:
insert操作和標(biāo)準(zhǔn)mysql比較下降差不多80%
select操作和標(biāo)準(zhǔn)my ...
原帖由 wwdwwd 于 2008-5-22 14:44 發(fā)表
哥們,chinaunix的論壇里面有一篇帖子里面詳細(xì)討論了這個(gè)方案,大部分人的觀點(diǎn)是暫不適合企業(yè)級(jí)應(yīng)用,個(gè)人測(cè)試測(cè)試就ok了。
我自己簡(jiǎn)單的測(cè)試了一下,三臺(tái)。一臺(tái)mysql server,兩代data,mgm node也放在mysq ...
原帖由 showsa 于 2008-5-20 16:54 發(fā)表
lz應(yīng)該測(cè)試高并發(fā)的情況
因?yàn)閏luster網(wǎng)絡(luò)特性,具有高延時(shí),如果單線程測(cè)試的話,性能肯定很差
并且在高并發(fā)的情況下,可以設(shè)置多結(jié)果集綁定返回,從而提高吞吐量
原帖由 showsa 于 2008-5-20 17:02 發(fā)表
目前網(wǎng)上很多所謂mysql cluster的測(cè)試,其實(shí)基本上只是個(gè)搭建起來能夠運(yùn)行而已
很多人還不理解mysql cluster構(gòu)架的初衷
當(dāng)你們遇到大數(shù)據(jù)量需要分表分庫(kù)的時(shí)候再來審視mysql cluster的構(gòu)架,你會(huì)發(fā)現(xiàn)是多么的 ...
原帖由 wwdwwd 于 2008-5-22 15:20 發(fā)表
有一個(gè)問題:mysql cluster的數(shù)據(jù)會(huì)放到內(nèi)存里面,大數(shù)據(jù)量需要分庫(kù)分表的話那得多大的內(nèi)存?
原帖由 wwdwwd 于 2008-5-22 15:20 發(fā)表
有一個(gè)問題:mysql cluster的數(shù)據(jù)會(huì)放到內(nèi)存里面,大數(shù)據(jù)量需要分庫(kù)分表的話那得多大的內(nèi)存?
So how will MySQL Cluster work on a
Niagara-II with 256 GB memory?
Unpublished results from 2002
* Benchmark load:
* Simple read, read 100 bytes of data through primary key
* Simple update, update 8 bytes of data through primary key
* Both are transactional
* HW: 72-CPU SunFire 15k, 256 GB memory
* CPU’s: Ultra Sparc-III@900MHz
* 32-node NDB Cluster, 1 data node locked to 1 CPU
* Results (Database size = 88 Gbyte, ~900 million records):
* Simple Read: 1.5 million reads per second
* Simple update: 340.000 updates per second
IEEE SCI
IEEE 標(biāo)準(zhǔn) SCI 的延遲更少(低于 2.5 微秒),并且其單向速度可達(dá)到 400 MB/秒 (3.2 Gbps)。SCI 是基于環(huán)拓?fù)涞木W(wǎng)絡(luò)系統(tǒng),不像以太網(wǎng)是星形拓?fù)。這將使在較大規(guī)模的節(jié)點(diǎn)之間通信速度更快。更有用的是環(huán)面拓?fù)渚W(wǎng)絡(luò),它在節(jié)點(diǎn)之間有許多環(huán)形結(jié)構(gòu)。兩維環(huán)面可以用 n 乘 m 的網(wǎng)格表示,其中在每一行和每一列都有一個(gè)環(huán)形網(wǎng)絡(luò)。三維環(huán)面也類似,可以用三維立體節(jié)點(diǎn)網(wǎng)格表示,每一層上有一個(gè)環(huán)形網(wǎng)絡(luò)。密集超級(jí)計(jì)算并行系統(tǒng)使用環(huán)面拓?fù)渚W(wǎng)絡(luò),為成百上千個(gè)節(jié)點(diǎn)之間的通信提供相對(duì)最快的路徑。
大多數(shù)操作系統(tǒng)的限制因素不是操作系統(tǒng)或網(wǎng)絡(luò)接口,而是服務(wù)器的內(nèi)部 PCI 總線系統(tǒng)。幾乎所有臺(tái)式 PC 通常有基本 32-位,33-MHz PCI,并且大多數(shù)低端服務(wù)器只提供 133 MB/秒 (1 Gbps),這限制了那些網(wǎng)卡的能力。一些昂貴的高端服務(wù)器,如 Compaq Proliant 6500 和 IBM Netfinity 7000 系列,都有 64-位, 66-MHz 網(wǎng)卡,它們能夠以四倍速度運(yùn)行。不幸地是,矛盾是更多公司使用低端的系統(tǒng),因此大多數(shù)供應(yīng)商最終生產(chǎn)和銷售更多低端 PCI 網(wǎng)卡。也有專門的 64-位,66-MHz PCI 網(wǎng)卡,但價(jià)格要貴許多。例如,Intel 提供了這種類型的“快速以太網(wǎng)”網(wǎng)卡,價(jià)格約 $400 到 $500,幾乎是普通 PCI 版本價(jià)格的 5 倍。
原帖由 showsa 于 2008-5-20 17:02 發(fā)表
目前網(wǎng)上很多所謂mysql cluster的測(cè)試,其實(shí)基本上只是個(gè)搭建起來能夠運(yùn)行而已
很多人還不理解mysql cluster構(gòu)架的初衷
當(dāng)你們遇到大數(shù)據(jù)量需要分表分庫(kù)的時(shí)候再來審視mysql cluster的構(gòu)架,你會(huì)發(fā)現(xiàn)是多么的 ...
原帖由 sihexuan 于 2008-5-22 21:15 發(fā)表
• N: Node Restart
• IN: Initial Node Restart
• S: System Restart
• IS: Initial System Restart
DataMemory bytes 80M 1M 1024G (subject to available system RAM an ...
原帖由 showsa 于 2008-5-21 22:16 發(fā)表
月亮,現(xiàn)在還沒法在線添加data node節(jié)點(diǎn),不過有辦法在線增加節(jié)點(diǎn)內(nèi)存
原帖由 hzcgz 于 2008-5-23 15:43 發(fā)表
現(xiàn)實(shí)問題,在很多情況下并不能有效提高速度.不光是mysql cluster, 其它數(shù)據(jù)庫(kù)也有這樣的類似情況, 贊一個(gè)LZ的這種精神.
原帖由 raid_fifa 于 2008-5-23 16:40 發(fā)表
mysql cluster 也是把記錄做hash,然后平均分布到每個(gè)data node上的;只不過是根據(jù)主鍵的hash分片的
ndbd的效率其實(shí)是很高的,mysql cluster的響應(yīng)時(shí)間上不去可能主要還和ndbd之間、ndbd和mysqld之間的數(shù)據(jù)傳 ...
原帖由 raid_fifa 于 2008-5-23 16:40 發(fā)表
mysql cluster 也是把記錄做hash,然后平均分布到每個(gè)data node上的;只不過是根據(jù)主鍵的hash分片的
ndbd的效率其實(shí)是很高的,mysql cluster的響應(yīng)時(shí)間上不去可能主要還和ndbd之間、ndbd和mysqld之間的數(shù)據(jù)傳 ...
原帖由 wwdwwd 于 2008-5-22 14:44 發(fā)表
哥們,chinaunix的論壇里面有一篇帖子里面詳細(xì)討論了這個(gè)方案,大部分人的觀點(diǎn)是暫不適合企業(yè)級(jí)應(yīng)用,個(gè)人測(cè)試測(cè)試就ok了。
我自己簡(jiǎn)單的測(cè)試了一下,三臺(tái)。一臺(tái)mysql server,兩代data,mgm node也放在mysq ...
3:所有的數(shù)據(jù)都存儲(chǔ)在每個(gè)data node的內(nèi)存里面,比如說數(shù)據(jù)庫(kù)大小為10m,就會(huì)占用每個(gè)data node的10m內(nèi)存,但是同時(shí)也會(huì)占用100m左右的硬盤,這個(gè)很奇怪。
原帖由 qlks 于 2008-6-2 11:56 發(fā)表
貼出配置文件。。。
還有你測(cè)試時(shí)的網(wǎng)絡(luò)是多少的?是不是獨(dú)立的千兆網(wǎng)絡(luò)
這是最低要求,手冊(cè)上寫著的
還有我到現(xiàn)在都沒看到你測(cè)試的實(shí)際數(shù)據(jù)
比如單MySQL InnoDB key_buffer 4G 1線程,2線程,4線程,8線程 ...
原帖由 飛哥林 于 2008-5-20 16:33 發(fā)表
具體是不是master,我找不到有官方文檔來支持。
但是我在ndb_mgm里面show出來結(jié)果如下
其中id=3的后面顯示是master其他的沒有啊
ndb_mgm> show
Cluster Configuration
---------------------
[ndbd(NDB ...
原帖由 vrlinux.cn 于 2008-6-4 17:46 發(fā)表
對(duì)于master的問題,我支持6樓的觀點(diǎn).雖然在show顯示出來的,只有一個(gè)master,但在實(shí)際測(cè)試使用中,不管你寫入哪個(gè)NDB,數(shù)據(jù)都會(huì)同步到其它的NDB上.所以,認(rèn)為都是master
原帖由 showsa 于 2008-6-5 09:45 發(fā)表
你根本就不知道你在說什么
至于master這個(gè)用詞,開發(fā)組都說了不妥,可是現(xiàn)在改已經(jīng)來不及了
13樓才是正確的解釋
這個(gè)精華帖子我看不出來哪里是精華了,很多都是胡說八道
原帖由 showsa 于 2008-6-5 09:45 發(fā)表
你根本就不知道你在說什么
至于master這個(gè)用詞,開發(fā)組都說了不妥,可是現(xiàn)在改已經(jīng)來不及了
13樓才是正確的解釋
這個(gè)精華帖子我看不出來哪里是精華了,很多都是胡說八道
原帖由 showsa 于 2008-6-5 09:45 發(fā)表
你根本就不知道你在說什么
至于master這個(gè)用詞,開發(fā)組都說了不妥,可是現(xiàn)在改已經(jīng)來不及了
13樓才是正確的解釋
這個(gè)精華帖子我看不出來哪里是精華了,很多都是胡說八道
[ndbd(NDB)] 4 node(s)
id=2 @192.168.1.221 (Version: 5.0.51, Nodegroup: 0)
id=3 @192.168.1.223 (Version: 5.0.51, Nodegroup: 0, Master)
id=4 @192.168.1.225 (Version: 5.0.51, Nodegroup: 1)
id=5 @192.168.1.227 (Version: 5.0.51, Nodegroup: 1)
原帖由 vrlinux.cn 于 2008-6-5 17:29 發(fā)表
也許你是牛一點(diǎn),研究得多一點(diǎn)
但我說的master,是針對(duì)這個(gè)結(jié)果里的master
原帖由 showsa 于 2008-6-6 09:30 發(fā)表
我沒有針對(duì)你個(gè)人的意思,如果傷害到你了,向你說聲對(duì)不起。
還有我想說的是,我所說的就是你指的master
ndb_mgm> show
Cluster Configuration
---------------------
[ndbd(NDB)] 4 node(s)
id=2 @192.168.1.221 (Version: 5.0.51, Nodegroup: 0)
id=3 @192.168.1.223 (Version: 5.0.51, Nodegroup: 0, Master)
id=4 @192.168.1.225 (Version: 5.0.51, Nodegroup: 1)
id=5 @192.168.1.227 (Version: 5.0.51, Nodegroup: 1)
原帖由 vrlinux.cn 于 2008-6-6 16:54 發(fā)表
雖然感覺不爽,但也沒那么嚴(yán)重
那我那想請(qǐng)教一下,8樓里的
這四個(gè)里,是其中一個(gè)是master,還是四個(gè)都是master,是平等關(guān)系.
原帖由 scottsiu 于 2008-6-15 13:38 發(fā)表
不知LZ想將MySQL用于什么方面,我個(gè)人還是認(rèn)為如果是要做并發(fā)事務(wù)處理的話PostgreSQL會(huì)高性能得多,不管是Cluster還是單點(diǎn)運(yùn)行!
嗯,只有使用NDB API才能真正發(fā)揮 cluster 的效率,性能可以提高數(shù)倍。
不過要用C++直接從底層操作數(shù)據(jù)庫(kù), ...
sunnyfun 發(fā)表于 2008-05-23 17:20
飛哥林 發(fā)表于 2008-05-20 14:54
我在redhat as5 4G mem環(huán)境里面搭了一套cluster環(huán)境。
4臺(tái)Data node, 4臺(tái)MySQL node,1臺(tái)mgm node,2臺(tái)LV ...
歡迎光臨 Chinaunix (http://72891.cn/) | Powered by Discuz! X3.2 |