亚洲av成人无遮挡网站在线观看,少妇性bbb搡bbb爽爽爽,亚洲av日韩精品久久久久久,兔费看少妇性l交大片免费,无码少妇一区二区三区

  免費(fèi)注冊(cè) 查看新帖 |

Chinaunix

  平臺(tái) 論壇 博客 文庫(kù)
12下一頁(yè)
最近訪問(wèn)板塊 發(fā)新帖
查看: 4990 | 回復(fù): 10
打印 上一主題 下一主題

[FreeBSD] pgsql插入在debian，freebsd下矛盾的結(jié)果。求解惑？ [復(fù)制鏈接]

論壇徽章:
0
跳轉(zhuǎn)到指定樓層
1樓 [收藏(0)] [報(bào)告]
發(fā)表于 2009-03-15 17:22 |只看該作者 |倒序?yàn)g覽
硬件：技嘉GA-EP43-DS3L主板（Intel P43/LGA 775）
cpu：7400 2G內(nèi)存，希捷320G sata硬盤(pán)

debian 5，freebsd7.1 全部是默認(rèn)安裝，所有軟件包都是apt_gte，或者pkg_add安裝
debain使用了xfs，freebsd下是ufs

使用initdb創(chuàng)建pgsql數(shù)據(jù)庫(kù)，沒(méi)有修改任何默認(rèn)設(shè)置

利用sql文件插入100w條記錄，每次insert插入包含1000行數(shù)據(jù)

數(shù)據(jù)表就4個(gè)字段，A字段是主鍵，B字段建立了唯一性，索引。


第一次測(cè)試插入，預(yù)先創(chuàng)建了帶所有約束（主鍵，唯一性，索引）的表，
debian ： 10 min
Freebsd： 33 min
這讓人大跌眼睛

fb插入過(guò)程中，后來(lái)CPU基本沒(méi)有耗費(fèi)，iostat查看，初期幾十秒，寫(xiě)io有20-30M，后來(lái)就
降低到了5-6M。而debian的寫(xiě)io總是保持一個(gè)水平 Blk_wrtn/s    27802.20

debian+xfs勝出。這次測(cè)試完成后，以為是UFS文件系統(tǒng)寫(xiě)入比較慢造成的。
=====================================================================================
接著做的第二次測(cè)試就讓人感到很矛盾了：

第二次測(cè)試：預(yù)先創(chuàng)建了不帶任何約束的表，插入完數(shù)據(jù)，再創(chuàng)建各種約束
debian ：插入 45s，創(chuàng)建約束 26 s
Freebsd：插入 18s，創(chuàng)建約束 10 s

fb插入過(guò)程中，寫(xiě)io一直保持在20-30左右

freebsd勝出
======================================================================================

誰(shuí)能解惑？

或者能告訴我，怎么調(diào)整一下系統(tǒng)參數(shù)，讓freebsd在帶約束插入時(shí)能快一些？

btw:這個(gè)測(cè)試充分說(shuō)明了，大批量導(dǎo)入數(shù)據(jù)的時(shí)候，一定要先倒數(shù)據(jù)，再做索引等工作，時(shí)間相差是
數(shù)量級(jí)的。

[ 本帖最后由 flytod 于 2009-3-15 17:30 編輯 ]

論壇徽章:
0
2樓 [報(bào)告]
發(fā)表于 2009-03-15 18:15 |只看該作者
xfs對(duì)于大量小文件的讀取寫(xiě)入是很慢很慢的，而且對(duì)cpu的要求更高，硬盤(pán)動(dòng)作也更多，僅僅比較適合大量大文件并且需要不斷移動(dòng)的情況下。
不過(guò)ufs下單一目錄下文件數(shù)量不能太多（我不知道怎么調(diào)整），當(dāng)超出一個(gè)數(shù)量后（大約是幾十萬(wàn)）速度就會(huì)降一個(gè)數(shù)量級(jí)

論壇徽章:
2
亥豬 日期:2014-03-19 16:36:35午馬 日期:2014-11-23 23:48:46
3樓 [報(bào)告]
發(fā)表于 2009-03-15 19:38 |只看該作者
ufs有沒(méi)有開(kāi)softupdate

論壇徽章:
0
4樓 [報(bào)告]
發(fā)表于 2009-03-15 23:33 |只看該作者
原帖由 gvim 于 2009-3-15 19:38 發(fā)表
ufs有沒(méi)有開(kāi)softupdate


汗一個(gè)，還是第一次聽(tīng)到這個(gè)softupdate，查了一下，好像默認(rèn)是安裝在非/卷，安裝freebsd時(shí)，沒(méi)有做特別處理
pgsql的數(shù)據(jù)分區(qū)是單獨(dú)的卷，應(yīng)該是開(kāi)了吧？具體應(yīng)該怎么看。

另外，疑惑的是兩次不同方法的測(cè)試得出的結(jié)論恰恰相反

論壇徽章:
0
5樓 [報(bào)告]
發(fā)表于 2009-03-16 09:31 |只看該作者
早上來(lái)看了，freebsd下 mount 看，soft update都是打開(kāi)的。
貼兩個(gè)帶索引插入時(shí)，兩個(gè)系統(tǒng)的iostat：
freebsd過(guò)了二十多秒，就從20-30兆開(kāi)始逐步下降
debian下則一直保持著比較高速的寫(xiě)速度。

freedb# iostat 2
      tty             ad1             cpu
tin tout  KB/t tps  MB/s  us ni sy in id
   0   22 11.88   8  0.09   0  0  0  0 100
   0   22  0.00   0  0.00   0  0  0  0 100
   0   22  0.00   0  0.00   0  0  0  0 100
   0   22  0.00   0  0.00   0  0  0  0 100
   0   75 42.62  52  2.16   4  0  1  0 95
   0  388 47.42 491 22.75  30  0  4  0 66
   0  388 46.60 502 22.85  32  0  3  0 65
   0  321 50.01 588 28.69  26  0  4  0 69
   0  298 45.77 592 26.44  26  0  2  0 71
   0  328 43.86 536 22.96  27  0  3  1 69
   0  269 45.72 659 29.42  25  0  2  1 72
   0  239 35.69 661 23.05  21  0  2  1 76
   0  216 26.91 535 14.06  19  0  2  0 80
   0  343 42.71 520 21.69  34  0  3  0 62
   0   29 33.25 343 11.13   1  0  2  0 97
      tty             ad1             cpu
tin tout  KB/t tps  MB/s  us ni sy in id
   0   96 27.97 412 11.26   8  0  2  0 90
   0  319 27.48 429 11.52  25  0  3  0 71
   0  126 38.58 357 13.45  10  0  2  0 87
   0   81 34.50 302 10.19   6  0  2  0 91
   0   81 36.62 288 10.32   5  0  2  0 92
   0   66 30.89 285  8.60   4  0  2  0 94
   0   44 43.47 382 16.23   4  0  2  0 94
   0   21 32.31 297  9.37   0  0  1  0 99
   0   36 27.29 385 10.26   2  0  1  0 97
   0   21 22.12 350  7.56   0  0  1  0 99
   0   66 26.02 477 12.11   5  0  2  0 92
   0   51 36.14 292 10.32   3  0  1  0 96
   0   29 31.48 278  8.55   1  0  1  0 98
   0   44 35.26 284  9.80   3  0  2  0 95
   0   51 34.27 295  9.87   3  0  1  0 96
   0   44 30.35 238  7.06   3  0  2  0 96
   0   44 28.12 290  7.98   2  0  2  0 96
   0   44 30.64 271  8.11   3  0  1  0 96
   0   51 32.52 288  9.16   3  0  2  0 96
   0   44 33.29 265  8.61   2  0  1  0 96
   
   

debian1:~# iostat -t 2 sda
Linux 2.6.26-1-686 (debian1)    03/16/2009      _i686_

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda               2.66         2.17       246.58     329693   37377968
sda               0.50         0.00         8.00          0         16
sda               0.00         0.00         0.00          0          0
sda              10.00         0.00      3117.00          0       6234
sda              49.50         0.00     25833.50          0      51667
sda              33.50         0.00     10091.00          0      20182
sda              51.50         0.00     31448.50          0      62897
sda              29.50         0.00      9900.00          0      19800
sda              51.00         0.00     32721.00          0      65442
sda              52.50         0.00     24387.00          0      48774
sda              69.50         0.00     25178.00          0      50356
sda              70.00         0.00     40984.50          0      81969
sda              28.50         0.00      9674.00          0      19348
sda              63.50         0.00     35200.50          0      70401
sda              64.00         0.00     25347.50          0      50695
sda              72.50         0.00     44291.50          0      88583
sda              33.00         0.00      8569.50          0      17139
sda              32.00         0.00      8192.00          0      16384
sda              52.00         0.00     24642.00          0      49284
sda             366.00         0.00     55748.50          0     111497
sda              91.50         0.00      6927.00          0      13854
sda              42.00         0.00      7020.50          0      14041
sda             117.50         0.00      8630.00          0      17260
sda             101.00         0.00      9893.50          0      19787
sda             104.00         0.00     12161.50          0      24323
sda              52.50         0.00      9542.00          0      19084
sda             133.50         0.00     56748.50          0     113497
sda             514.50         0.00     30546.50          0      61093
sda             233.00         0.00     11944.00          0      23888
sda              43.50         0.00      9901.50          0      19803
sda              54.00         0.00     12983.00          0      25966
sda              87.00         0.00     18138.50          0      36277
sda             144.50         0.00     39053.00          0      78106
sda             409.00         0.00     61243.50          0     122487
sda             191.00         0.00     11877.50          0      23755
sda              87.50         0.00     25915.50          0      51831
sda             120.50         0.00     24951.50          0      49903
sda             200.00         0.00     34608.00          0      69216
sda             172.50         0.00     25180.00          0      50360
sda             397.50         0.00     60361.50          0     120723
sda             298.50         0.00     35150.00          0      70300
sda             130.00         0.00     17058.50          0      34117
sda             145.50         0.00     31988.50          0      63977
sda              33.50         0.00     13424.50          0      26849
sda             106.00         0.00     32461.00          0      64922
sda             195.00         0.00     27111.00          0      54222
sda             212.00         0.00     41948.00          0      83896
sda             297.00         0.00     49826.50          0      99653
sda             393.50         0.00     21554.00          0      43108
sda             199.50         0.00     15239.00          0      30478
sda             249.50         0.00     29903.00          0      59806
sda             214.50         0.00     23047.50          0      46095
sda             253.50         0.00     34445.00          0      68890
sda             326.50         0.00     18723.00          0      37446
sda             274.00         0.00     22240.50          0      44481
sda             164.00         0.00     20395.50          0      40791
sda             203.50         0.00     28445.00          0      56890
sda              76.50         0.00     12331.50          0      24663
sda             274.00         0.00     40263.00          0      80526
sda             456.00         0.00     38636.00          0      77272
sda             311.50         0.00     13403.50          0      26807
sda             126.00         0.00      2441.00          0       4882
sda             244.00         0.00     18099.00          0      36198
sda             248.00         0.00     27507.00          0      55014
sda             264.50         0.00     31205.50          0      62411
sda             330.50         0.00     26000.50          0      52001
sda             322.00         0.00     33353.00          0      66706
sda             185.50         0.00     32089.50          0      64179
sda             144.50         0.00     32589.00          0      65178
sda             368.50         0.00     40860.50          0      81721
sda             429.50         0.00     20813.00          0      41626
sda             165.50         0.00     16998.00          0      33996
sda             383.50         0.00     28479.50          0      56959
sda             204.50         0.00     32974.00          0      65948
sda             316.00         0.00     26019.00          0      52038
sda             366.50         0.00     20155.50          0      40311
sda             273.00         0.00     23505.00          0      47010
sda             260.50         0.00     57853.50          0     115707
sda             418.50         0.00     18528.00          0      37056
sda             329.50         0.00     19092.00          0      38184
sda             165.00         0.00     19736.50          0      39473
sda             296.50         0.00     24410.00          0      48820
sda             247.50         0.00     22831.50          0      45663
sda             320.00         0.00     31209.50          0      62419
sda             330.00         0.00     37919.00          0      75838
sda             315.50         0.00     45214.00          0      90428
sda             442.50         0.00     26841.50          0      53683
sda             316.50         0.00     19826.50          0      39653
sda             198.50         0.00     20226.00          0      40452
sda             287.50         0.00     26000.00          0      52000
sda             300.00         0.00     25612.50          0      51225
sda             173.50         0.00     30111.00          0      60222
sda             159.50         0.00     24916.50          0      49833
sda             317.50         0.00     61012.00          0     122024
sda             366.00         0.00     20196.50          0      40393
sda             341.50         0.00     12967.50          0      25935
sda             221.50         0.00     22367.00          0      44734
sda             325.50         0.00     25134.00          0      50268
sda             248.50         0.00     34059.00          0      68118
sda             164.00         0.00     28672.50          0      57345
sda             433.50         0.00     51597.50          0     103195
sda             424.00         0.00     18317.50          0      36635
sda             199.00         0.00     11344.50          0      22689
sda             326.50         0.00     26607.50          0      53215
sda             302.50         0.00     25619.00          0      51238
sda             279.00         0.00     44919.50          0      89839
sda             349.00         0.00     40148.50          0      80297
sda             415.50         0.00     14360.50          0      28721
sda             361.00         0.00     18760.50          0      37521
sda             212.50         0.00     20195.00          0      40390
sda             335.00         0.00     18047.00          0      36094
sda             344.50         0.00     27288.50          0      54577
sda             311.00         0.00     19398.50          0      38797
sda             263.00         0.00     32946.50          0      65893
sda             344.00         0.00     25956.50          0      51913
sda             415.50         0.00     21159.00          0      42318
sda             349.50         0.00     13724.50          0      27449
sda             114.50         0.00      1969.50          0       3939
sda             126.00         0.00      2184.00          0       4368
sda             200.50         0.00     21048.50          0      42097
sda             314.50         0.00     20205.00          0      40410
sda             339.50         0.00     46863.50          0      93727
sda             372.50         0.00     43356.50          0      86713

論壇徽章:
1
榮譽(yù)版主 日期:2011-11-23 16:44:17
6樓 [報(bào)告]
發(fā)表于 2009-03-16 11:16 |只看該作者
數(shù)據(jù)庫(kù)在建完索引后 再做大量的INSERT時(shí) 速度一定會(huì)慢


另外我很奇怪的是
  A字段是建立主鍵后，B字段還可以建立了唯一性索引嗎 ?

在 oracle 下是不能這么建的

論壇徽章:
0
7樓 [報(bào)告]
發(fā)表于 2009-03-16 12:15 |只看該作者
原帖由 大大狗 于 2009-3-16 11:16 發(fā)表
數(shù)據(jù)庫(kù)在建完索引后 再做大量的INSERT時(shí) 速度一定會(huì)慢


另外我很奇怪的是
  A字段是建立主鍵后，B字段還可以建立了唯一性索引嗎 ?

在 oracle 下是不能這么建的


pgsql是可以的
ALTER TABLE ONLY user_account ADD CONSTRAINT user_account_pk_passport PRIMARY KEY (passport);
ALTER TABLE ONLY user_account ADD CONSTRAINT user_account_key_guid UNIQUE (guid);
CREATE UNIQUE INDEX useraccount_guid_index ON user_account USING btree (guid);

建了索引肯定是慢了，主要是debian，freebsd這個(gè)慢的差別讓人疑惑。

論壇徽章:
0
8樓 [報(bào)告]
發(fā)表于 2009-03-16 22:05 |只看該作者

回復(fù) #1 flytod 的帖子

都是冷開(kāi)機(jī)以后的操作么?
前后兩次的環(huán)境和過(guò)程區(qū)別呢?

論壇徽章:
0
9樓 [報(bào)告]
發(fā)表于 2009-03-16 22:27 |只看該作者


[ 本帖最后由 macafee 于 2009-3-16 22:31 編輯 ]

論壇徽章:
0
10樓 [報(bào)告]
發(fā)表于 2009-03-17 16:22 |只看該作者
review建表的sql語(yǔ)句，發(fā)現(xiàn)一個(gè)問(wèn)題
數(shù)據(jù)表就4個(gè)字段，A字段是主鍵，B字段建立了唯一性，索引。
B已經(jīng)建立了唯一性，就包含了索引，所以把該索引去掉。
然后再分別在freebsd，debian下測(cè)試
結(jié)果
freebsd：10min
debian：3min
差距依然還是1：3的樣子。
都是關(guān)閉了數(shù)據(jù)庫(kù)實(shí)例，重新創(chuàng)建了數(shù)據(jù)庫(kù)，重啟進(jìn)程的方式來(lái)操作。
您需要登錄后才可以回帖 登錄 | 注冊(cè)

本版積分規(guī)則 發(fā)表回復(fù)

  

北京盛拓優(yōu)訊信息技術(shù)有限公司. 版權(quán)所有 京ICP備16024965號(hào)-6 北京市公安局海淀分局網(wǎng)監(jiān)中心備案編號(hào)：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年舉報(bào)專(zhuān)區(qū)
中國(guó)互聯(lián)網(wǎng)協(xié)會(huì)會(huì)員  聯(lián)系我們：huangweiwei@itpub.net
感謝所有關(guān)心和支持過(guò)ChinaUnix的朋友們 轉(zhuǎn)載本站內(nèi)容請(qǐng)注明原作者名及出處

清除 Cookies - ChinaUnix - Archiver - WAP - TOP