
平臺(tái) 論壇博客文庫

論壇徽章:: 0

電梯直達(dá)

1樓 [收藏(0)] [報(bào)告]

發(fā)表于 2011-12-19 13:55 |只看該作者 |倒序?yàn)g覽

關(guān)于存儲(chǔ)(流水)日志，可能沒有必要采用MyISAM或者InnoDB, 可以考慮Archive Storage Engine <A href="http://dev.mysql.com/doc/refman/5.1/zh/storage-engines.html#archive-storage-engine">MySQL Archive Storage Engine </A> zt: http://haohetao.javaeye.com/blog/671737 
政府還有一個(gè)讓數(shù)據(jù)庫專家攤上更多事情的職能，就是安全控制和數(shù)據(jù)審計(jì)。那些管理著海量數(shù)據(jù)倉庫的企業(yè)官員常常得回答諸如“何人何時(shí)修改了什么”或者“何人何時(shí)查看了什么”這樣的提問。那些擁有數(shù)以千計(jì)的員工，開展著不計(jì)其數(shù)的業(yè)務(wù)的企業(yè)，每天都會(huì)產(chǎn)生出大量的日志記錄數(shù)據(jù)，而且必須將其好好保存。為了幫助數(shù)據(jù)庫專家應(yīng)對(duì)數(shù)據(jù)爆炸的挑戰(zhàn)，MySQL5.0引入了一種新的數(shù)據(jù)存儲(chǔ)引擎，叫做Archive。這個(gè)先進(jìn)的數(shù)據(jù)管理工具，讓MySQL的專家們擁有了處理和管理海量數(shù)據(jù)的新式武器。
 
 
Archive引擎作用： 為大量很少引用的歷史、歸檔、或安全審計(jì)信息的存儲(chǔ)和檢索提供了完美的解決方案，區(qū)別于InnoDB、MyISAM提供壓縮功能，沒有索引。
 
 
 
 
關(guān)于Archive存儲(chǔ)引擎的介紹和性能測(cè)試的文章：<A href="http://dev.mysql.com/tech-resources/articles/storage-engine.html">http://dev.mysql.com/tech-resources/articles/storage-engine.html</A> 
不喜歡英文的童鞋可以看這篇翻譯過來的文章（推薦，翻譯的不錯(cuò)）：<A href="http://guangxin.name/2009/04/mysql50-archive-1.html">http://guangxin.name/2009/04/mysql50-archive-1.html</A> 
 
 
根據(jù)英文的測(cè)試結(jié)論來看，Archive表比MyISAM表要小大約75%，比支持事務(wù)處理的InnoDB表小大約83%。當(dāng)數(shù)據(jù)量非常大的時(shí)候Archive的插入性能表現(xiàn)會(huì)較MyISAM為佳。
 
 
Archive表的性能是否可能超過MyISAM？答案是肯定的。根據(jù)MySQL工程師的資料，當(dāng)表內(nèi)的數(shù)據(jù)達(dá)到1.5GB這個(gè)量級(jí)，CPU又比較快的時(shí)候，Archive表的執(zhí)行性能就會(huì)超越MyISAM表。因?yàn)檫@個(gè)時(shí)候，CPU會(huì)取代I/O子系統(tǒng)成為性能瓶頸。別忘了Archive表比其他任何類型的表執(zhí)行的物理I/O操作都要少。
 
 
較小的空間占用也能在你移植MySQL數(shù)據(jù)的時(shí)候發(fā)揮作用。當(dāng)你需要把數(shù)據(jù)從一臺(tái)MySQL服務(wù)器轉(zhuǎn)移到另一臺(tái)的時(shí)候，Archive表可以方便地移植到新的MySQL環(huán)境，你只需將保存Archive表的底層文件復(fù)制過去就可以了。
 
 
本著懷疑一切的精神，本人進(jìn)行了如下的測(cè)試：
 
①建立一個(gè)iplog的表： 
mysql> create table iplog(id int auto_increment not null primary key,userid int,ip char(15),visit_time datetime) engine=innodb;
 
②使用python腳本插入50w數(shù)據(jù)： 
 
 
#!/usr/bin/mysql
import MySQLdb
 
conn = MySQLdb.connect(host=”localhost”,user=”root”,passwd=”asdf”,db=”test”,unix_socket=”/data/mysql_3306/mysql.sock”)
cursor = conn.cursor()
for i in range(0,500000):
sql = “insert into iplog(userid,ip,visit_time) values(%s,’127.0.0.1′,now())”%i
cursor.execute(sql)
cursor.close()
conn.commit()
conn.close()
 
③分別創(chuàng)建iplog對(duì)應(yīng)的archive、 InnoDB、MyISAM對(duì)應(yīng)表格并插入數(shù)據(jù) 
 
 
mysql> create table iplog_archive engine=archive as select * from iplog;
Query OK, 500000 rows affected (2.73 sec)
Records: 500000  Duplicates: 0  Warnings: 0
 
mysql> create table iplog_myisam engine=myisam as select * from iplog;
Query OK, 500000 rows affected (1.39 sec)
Records: 500000  Duplicates: 0  Warnings: 0
 
mysql> create table iplog_innodb engine=innodb as select * from iplog;
Query OK, 500000 rows affected (4.78 sec)
Records: 500000  Duplicates: 0  Warnings: 0
 
 
④比較它們的大小 
 
 
mysql> select table_name,engine,ROUND(data_length/1024/1024,2) total_size_mb,table_rows from information_schema.tables
-> where table_schema = ‘test’ and table_name like ‘iplog_%’;
+—————+———+—————+————+
| table_name    | engine  | total_size_mb | table_rows |
+—————+———+—————+————+
| iplog_archive | ARCHIVE |          2.10 |     500000 |
| iplog_innodb  | InnoDB  |         30.56 |     500289 |
| iplog_myisam  | MyISAM  |         29.56 |     500000 |
+—————+———+—————+————+
3 rows in set (0.01 sec)
 
⑤測(cè)試select性能： 
 
 
mysql> select * from iplog_archive where userid=250000;
+——–+——–+———–+———————+
| id     | userid | ip        | visit_time          |
+——–+——–+———–+———————+
| 750001 | 250000 | 127.0.0.1 | 2010-02-01 10:54:20 |
+——–+——–+———–+———————+
1 row in set (0.31 sec)
 
mysql> select * from iplog_innodb where userid=250000;
+——–+——–+———–+———————+
| id     | userid | ip        | visit_time          |
+——–+——–+———–+———————+
| 750001 | 250000 | 127.0.0.1 | 2010-02-01 10:54:20 |
+——–+——–+———–+———————+
1 row in set (0.48 sec)
 
mysql> select * from iplog_myisam where userid=250000;
+——–+——–+———–+———————+
| id     | userid | ip        | visit_time          |
+——–+——–+———–+———————+
| 750001 | 250000 | 127.0.0.1 | 2010-02-01 10:54:20 |
+——–+——–+———–+———————+
1 row in set (0.10 sec)
 
⑥測(cè)試insert性能（）： 
使用python腳本再插入50w數(shù)據(jù)，查看插入性能，腳本如下，沒有寫的很復(fù)雜，測(cè)試InnoDB或者M(jìn)yISAM要修改代碼
 
 
#!/usr/bin/mysql
import MySQLdb
 
conn = MySQLdb.connect(host=”localhost”,user=”root”,passwd=”asdf”,db=”test”,unix_socket=”/data/mysql_3306/mysql.sock”)
cursor = conn.cursor()
for i in range(500001,1000000):
sql = “insert into iplog_archive(userid,ip,visit_time) values(%s,’127.0.0.1′,now())”%i
cursor.execute(sql)
cursor.close()
conn.commit()
conn.close()
 
 
archive
 
real    1m30.467s
user    0m22.270s
sys     0m12.670s
 
 
InnoDB
 
real    0m48.622s
user    0m18.722s
sys     0m9.322s
 
 
MyISAM
 
real    1m32.129s
user    0m13.183s
sys     0m5.624s
 
 
 
 
測(cè)試結(jié)果是archive可以大規(guī)模的減少空間減少%93（這個(gè)與表有關(guān)系），select性能介于MyISAM和InnoDB之間，大規(guī)模insert時(shí)效率比MyISAM和InnoDB高，至于原因“因?yàn)檫@個(gè)時(shí)候，CPU會(huì)取代I/O子系統(tǒng)成為性能瓶頸。別忘了Archive表比其他任何類型的表執(zhí)行的物理I/O操作都要少�！�
 
歡迎大家共同探討，包括測(cè)試用例以及任何想法。
 
關(guān)于time命令的執(zhí)行結(jié)果關(guān)于real、user、sys說明
1)實(shí)際時(shí)間(real time): 從command命令行開始執(zhí)行到運(yùn)行終止的消逝時(shí)間；
2)用戶 CPU時(shí)間(user CPU time): 命令執(zhí)行完成花費(fèi)的用戶CPU時(shí)間，即命令在用戶態(tài)中執(zhí)行時(shí)間總和；
3)系統(tǒng) CPU時(shí)間(system CPU time): 命令執(zhí)行完成花費(fèi)的系統(tǒng)CPU時(shí)間，即命令在核心態(tài)中執(zhí)行時(shí)間總和。 
<DIV></DIV>

返回列表

Chinaunix › 論壇 › IT運(yùn)維 › Hadoop和大數(shù)據(jù)技術(shù) › 關(guān)于mysql archive存儲(chǔ)引擎-專門存儲(chǔ)審計(jì)和日志數(shù)據(jù)

積分 0, 距離下一級(jí)還需積分

亚洲av成人无遮挡网站在线观看,少妇性bbb搡bbb爽爽爽,亚洲av日韩精品久久久久久,兔费看少妇性l交大片免费,无码少妇一区二区三区

[Hive] 關(guān)于mysql archive存儲(chǔ)引擎-專門存儲(chǔ)審計(jì)和日志數(shù)據(jù) [復(fù)制鏈接]