【高手進(jìn)】性能調(diào)優(yōu)問題�。�－－已有結(jié)果，但不是解決方法

常笑

本機(jī)cpu資源利用率過高，超過了90％。感覺不正�！，F(xiàn)將分析貼上來，請各位高手幫忙分析下原因...

1,cpu 利用率
                                      
        GlancePlus C.03.58.00    15:45:42          9000/800                 Current  Avg  High
------------------------------------------------------------------------------------------------------------------
CPU  Util   S                  SU     U                                                          | 32%   31%   33%
Disk Util   F                                                        FV                 V          | 91%   91%   96%Mem  Util   S              SU   UB  B                                                            | 30%   30%   30%
Swap Util   U      UR R                                                                          | 14%   14%   14%

2，利用sar看到的cpu利用情況。sys 占用資源較多。

15:47:41    %usr    %sys    %wio   %idle
15:48:11       6      23      16      55
15:48:41       7      24      13      56
15:49:11       6      21      15      58
15:49:41       6      26      15      53
15:50:11       7      22      16      55

Average        7      23      15      55

3,glance看到的也是sys占用cpu資源較多

State           Current    Average        High         Time     Cum Time
--------------------------------------------------------------------------------
User               7.4        8.0          9.1         0.39         1.01
Nice               0.0        0.0          0.0         0.00         0.00
Negative Nice      0.2        0.2          0.2         0.01         0.02
RealTime           0.2        0.2          0.2         0.01         0.02
System            16.7       17.0         19.6         0.88         2.15
Interrupt          0.8        0.9          1.0         0.04         0.12
ContextSwitch      0.6        0.6          0.7         0.03         0.07
Traps              0.0        0.0          0.0         0.00         0.00
Vfaults            7.4        7.6          8.4         0.39         0.96
Idle              66.3       65.3         66.3         3.49         8.28

4,top看到的也是sys占用cpu資源較多

CPU   LOAD   USER   NICE    SYS   IDLE  BLOCK  SWAIT   INTR   SSYS
0    0.35   5.9%   0.0%  18.8%  75.2%   0.0%   0.0%   0.0%   0.0%
1    0.38   6.5%   0.0%  25.3%  68.2%   0.0%   0.0%   0.0%   0.0%
2    0.27   4.7%   0.0%  25.9%  69.4%   0.0%   0.0%   0.0%   0.0%
3    0.51  10.7%   0.0%  21.9%  67.4%   0.0%   0.0%   0.0%   0.0%
4    0.50   6.7%   0.0%  20.6%  72.7%   0.0%   0.0%   0.0%   0.0%
5    0.50  11.9%   0.0%  20.4%  67.8%   0.0%   0.0%   0.0%   0.0%
6    0.31   5.9%   0.0%  20.8%  73.3%   0.0%   0.0%   0.0%   0.0%
7    0.35   7.5%   0.0%  20.6%  71.9%   0.0%   0.0%   0.0%   0.0%

5，top看到的系統(tǒng)進(jìn)程情況：

5   ?       40 root     152 20     0K 12864K run   3862:31  3.02  3.01 vxfsd
5   ?    24021 root     -16 10 19308K 18804K run      0:18  2.45  2.44 midaemon

6，vxfsd是跟文件系統(tǒng)相關(guān)的內(nèi)核守護(hù)進(jìn)程。跟蹤磁盤情況

15:58:48   device   %busy   avque   r+w/s  blks/s  avwait  avserv
15:59:18   c0t0d0   92.77    0.56      53     511    6.37   43.58           
           c4t8d0   21.36    0.52      51     504    5.16    5.96
           c2t0d6    0.63    0.50       4      30    6.84    0.89
           c5t0d6    0.80    0.50       4      37    6.79    0.99
           c5t0d7    0.03    0.50       0       0    9.51    0.58
           c5t5d7    0.03    0.50       0       1    8.78    1.76
15:59:48   c0t0d0   91.83    0.55      55     562    5.56   41.21           
           c4t8d0   23.24    0.53      53     554    5.20    6.09
           c2t0d6    0.17    0.50       3      54    5.79    0.68
           c5t0d6    0.23    0.50       3      54    5.88    0.87
16:00:18   c0t0d0   92.93    0.61      70     868    5.45   32.80           
          c4t8d0   28.57    0.55      67     863    5.04    6.34
          c10t2d2    0.03    0.50       0       0    9.49    1.77
           c2t0d6    0.50    0.50       4      36    6.71    1.00
           c2t5d7    0.20    0.52       2       7    6.36    1.69
Average    c0t0d0   92.51    0.58      59     647    5.76   38.59
Average     c4t8d0   24.39    0.54      57     640    5.13    6.15
Average    c2t0d6    0.43    0.50       3      40    6.49    0.87
Average    c5t0d6    0.62    0.50       3      44    6.39    1.04
Average    c5t0d7    0.01    0.50       0       0    9.51    0.58

得出，c0t0d0使用率較高。而，c0t0d0和c4t0d0是系統(tǒng)盤，構(gòu)成vg00。

7，文件系統(tǒng)I/O跟蹤。
Idx   File System            Device               Type     Logl IO     Phys IO
--------------------------------------------------------------------------------
   1 /                       /dev/vg00/lvol3      vxfs     0.1/ 10.9   0.0/  3.5
   2 /stand                  /dev/vg00/lvol1      hfs      0.0/  0.0   0.0/  0.0
   3 /var                    /dev/vg00/lvol7      vxfs     0.0/  1.0  92.5/ 83.1
   4 /usr                    /dev/vg00/lvol6      vxfs    3713/ 3694   0.3/  3.2
   5 /tmp                    /dev/vg00/lvol5      vxfs   282.6/274.8  43.6/ 56.7
   6 /sybase                 /dev/vg00/sybase     vxfs     0.0/  0.0   0.0/  0.0
   7 /opt                    /dev/vg00/lvol4      vxfs     6.9/  4.5   0.3/  0.9
   8 /home                   /dev/vg00/lvol8      vxfs     0.0/  0.0   0.0/  0.0
   9 /cdms                   /dev/vg03/lvdaxt     vxfs     0.5/ 12.2   0.0/  1.3
  10 /sybcl                  /dev/vg02/sybcl      vxfs   130.7/169.4   0.3/  0.6
  11 /var/cics_servers       */vg02/cics_servers  vxfs     0.0/  0.0   0.0/  0.0
  12 /var/cics_regions       */vg02/cics_regions  vxfs    64.2/101.3   4.4/  3.7
  13 /webroot                /dev/vg02/webroot    vxfs     1.5/ 13.1   1.9/  2.1

8，磁盤跟蹤
Idx  Vol Group/Log Volume                 Open LVs     LV Reads     LV Writes
--------------------------------------------------------------------------------
   1 /dev/vg00                                10
   2 /dev/vg00/group                                0.0/    0.0    0.0/    0.0
   3 /dev/vg00/lvol1                                0.0/    0.0    0.0/    0.0
   4 /dev/vg00/lvol2                                0.0/    0.0    0.0/    0.0
   5 /dev/vg00/lvol3                                0.0/    0.0    0.3/    1.6
   6 /dev/vg00/lvol4                                0.0/    0.0    0.7/    0.6
   7 /dev/vg00/lvol5                                0.0/    0.0   31.9/   47.6
   8 /dev/vg00/lvol6                                0.0/    0.0    0.7/    1.6
   9 /dev/vg00/lvol7                                0.0/    0.0   75.7/   76.4
  10 /dev/vg00/lvol8                                0.0/    0.0    0.0/    0.0
  11 /dev/vg00/sybase                               0.0/    0.0    0.0/    0.0


綜上：

1，磁盤，尤其是vg00根盤的利用率過高。

2,而vg00中，尤其以 /tmp,/var目錄的利用率過高。

3，應(yīng)該是磁盤的瓶頸導(dǎo)致了，cpu的使用率過高


問題：

大方向：解決磁盤的瓶頸

1，vg00，由c0t0d0,c4t8d0鏡像而成。雖然c0t0d0是主盤，為什么兩塊盤的讀寫busy差別那么大？

2，vxfsd，midaemon進(jìn)程是什么具體進(jìn)程？其它機(jī)器，這兩個(gè)進(jìn)程占用cpu資源不多，為什么本機(jī)會多？

3，有應(yīng)用倒是會寫/tmp；/var 目錄的讀寫為什么也那么多呢？

4，懷疑c0t0d0沒壞，可是不正常；所以，如果實(shí)在不行，就只有更換c0t0d0看看了...

[ 本帖最后由 常笑 于 2008-9-10 17:39 編輯 ]

iops

1. 你的服務(wù)器和存儲配置是什么？
2. 這個(gè)現(xiàn)象是突然產(chǎn)生的，還是已經(jīng)持續(xù)一段時(shí)間？
3. 把vmstat -S 10 10 的值貼出來看看！

常笑

服務(wù)器是HP superdon，存儲是EMC。不過，c0t0d0是本地盤，HP 36.4GST336752LC。


這個(gè)現(xiàn)象是出現(xiàn)了一段時(shí)間了。

vmstat -S 10 10
       procs           memory                   page                              faults       cpu
    r     b     w      avm    free   si   so    pi   po    fr   de    sr     in     sy    cs  us sy id
    4    14     0   697817  2949684    0    0     2    0     0    0     0   2923  29072  1963  10 36 54
    1    17     0   658356  2949634    0    0     0    0     0    0     0   2566  51984  5196   0  0 100
    1    17     0   660002  2949662    0    0     0    0     0    0     0   2580  45154  4512   0  0 100
    5    13     0   658118  2949583    0    0     0    0     0    0     0   3051  52392  5937   0  0 100
    1    17     0   718626  2949552    0    0     0    0     0    0     0   2608  48746  5053   0  0 100
    6    12     0   716007  2949963    0    0     0    0     0    0     0   2512  46658  4881   0  0 100
    8    10     0   644484  2949489    0    0     0    0     0    0     0   2451  35676  3657   0  0 100
    1    17     0   647978  2949521    0    0     0    0     0    0     0   2563  47837  4885   0  0 100
    4    14     0   655478  2949532    0    0     0    0     0    0     0   2509  53546  5478   0  0 100
    1    17     0   719359  2949615    0    0     0    0     0    0     0   2609  54592  5611   0  0 100

sonsunny

通過vmstat 信息看，你有PO出現(xiàn)，同時(shí)你的磁盤是本地硬盤，swap space 應(yīng)該是分布在本地硬盤，導(dǎo)致硬盤bz，很有可能是內(nèi)存不足 paging導(dǎo)致。能否再看看vhand所占資源情況。初步看，覺得內(nèi)存不足的可能性更大。

sonsunny

你發(fā)的vmstat 信息錯(cuò)位了呢，從glance看cpu利用率不高啊，只是disk 利用率高了。應(yīng)該是磁盤IO影響CPU sys 利用率高，從sar -d 現(xiàn)在讀寫才500k+,應(yīng)該是不會導(dǎo)致利用率如此高的。把bdf內(nèi)容貼出來看看。

sonsunny

同時(shí)再把sar -b 2 10給貼出來看看。

ksa13

superdome的跟盤是ds2300的盤柜，恩，剩下的你該知道了吧。

czyf2001

7，文件系統(tǒng)I/O跟蹤。
Idx   File System            Device               Type     Logl IO     Phys IO
--------------------------------------------------------------------------------
   1 /                       /dev/vg00/lvol3      vxfs     0.1/ 10.9   0.0/  3.5
   2 /stand                  /dev/vg00/lvol1      hfs      0.0/  0.0   0.0/  0.0
  3 /var                    /dev/vg00/lvol7      vxfs     0.0/  1.0  92.5/ 83.1
   4 /usr                    /dev/vg00/lvol6      vxfs    3713/ 3694   0.3/  3.2
   5 /tmp                    /dev/vg00/lvol5      vxfs   282.6/274.8  43.6/ 56.7
   6 /sybase                 /dev/vg00/sybase     vxfs     0.0/  0.0   0.0/  0.0
   7 /opt                    /dev/vg00/lvol4      vxfs     6.9/  4.5   0.3/  0.9
   8 /home                   /dev/vg00/lvol8      vxfs     0.0/  0.0   0.0/  0.0
   9 /cdms                   /dev/vg03/lvdaxt     vxfs     0.5/ 12.2   0.0/  1.3
10 /sybcl                  /dev/vg02/sybcl      vxfs   130.7/169.4   0.3/  0.6
  11 /var/cics_servers       */vg02/cics_servers  vxfs     0.0/  0.0   0.0/  0.0
  12 /var/cics_regions       */vg02/cics_regions  vxfs    64.2/101.3   4.4/  3.7
  13 /webroot                /dev/vg02/webroot    vxfs     1.5/ 13.1   1.9/  2.1

8，磁盤跟蹤
Idx  Vol Group/Log Volume                 Open LVs     LV Reads     LV Writes
--------------------------------------------------------------------------------
   1 /dev/vg00                                10
   2 /dev/vg00/group                                0.0/    0.0    0.0/    0.0
   3 /dev/vg00/lvol1                                0.0/    0.0    0.0/    0.0
   4 /dev/vg00/lvol2                                0.0/    0.0    0.0/    0.0
   5 /dev/vg00/lvol3                                0.0/    0.0    0.3/    1.6
   6 /dev/vg00/lvol4                                0.0/    0.0    0.7/    0.6
   7 /dev/vg00/lvol5                                0.0/    0.0   31.9/   47.6
   8 /dev/vg00/lvol6                                0.0/    0.0    0.7/    1.6
   9 /dev/vg00/lvol7                                0.0/    0.0   75.7/   76.4
  10 /dev/vg00/lvol8                                0.0/    0.0    0.0/    0.0
  11 /dev/vg00/sybase                               0.0/    0.0    0.0/    0.0


＝＝＝＝
1， 最近基于中間件cics是不是做了應(yīng)用調(diào)整，還是應(yīng)用上線后一直這樣？
2，lsof對 /sybcl ， /tmp ，/var ，/var/cics_regions幾個(gè)目錄進(jìn)行檢查，看看那個(gè)文件在讀寫？
3，即使是外掛籠子也不用懷疑的，鏈路應(yīng)該沒有問題。因?yàn)槟闶歉�盤忙。

ps:最大的可能是應(yīng)用引起的。

[ 本帖最后由 czyf2001 于 2008-9-7 22:26 編輯 ]

常笑

swapinfo
             Kb      Kb      Kb   PCT  START/      Kb
TYPE      AVAIL    USED    FREE  USED   LIMIT RESERVE  PRI  NAME
dev     17408000       0 17408000    0%       0       -    1  /dev/vg00/lvol2
reserve       - 1373088 -1373088
memory  13481756 2995168 10486588   22%

我也懷疑過，交換區(qū)的問題，可是很遺憾，看交換區(qū)的信息，好像交換區(qū)根本就不忙...

sar -b 2 10

HP-UX yncms2 B.11.11 U 9000/800    09/08/08

09:32:36 bread/s lread/s %rcache bwrit/s lwrit/s %wcache pread/s pwrit/s
09:32:38       0   31990     100       7     973      99       0       0
09:32:40       0   38045     100       1    1153     100       0       0
09:32:42       2   24457     100      13     795      98       0       0
09:32:44       0   28744     100       6     885      99       0       0
09:32:46       0   35722     100      10     883      99       0       0
09:32:48       0   30641     100       1     952     100       0       0
09:32:50       8   35373     100       3    1107     100       0       0
09:32:52       0   37313     100      14     955      99       0       0
09:32:54       0   24382     100       8     760      99       1       0
09:32:56       0   31814     100      10     960      99       0       0

Average        1   31860     100       7     942      99       0       0

我的cache的命中率也是100％，內(nèi)存，虛存的使用，應(yīng)該沒問題...


bdf

Filesystem          kbytes    used   avail %used Mounted on
/dev/vg00/lvol3     409600  157464  250232   39% /
/dev/vg00/lvol1     497584   38984  408840    9% /stand
/dev/vg00/lvol7    2097152  502984 1594168   24% /var
/dev/vg00/lvol6    3072000 2095192  969336   68% /usr
/dev/vg00/lvol5     204800  137536   66840   67% /tmp
/dev/vg00/sybase   3072000 2396395  633709   79% /sybase
/dev/vg00/lvol4    3145728 1663408 1470792   53% /opt
/dev/vg00/lvol8      24576    2584   21888   11% /home

/dev/vg02/sybcl    1048576  243233  755065   24% /sybcl
/dev/vg02/cics_servers
                    131072    1162  121791    1% /var/cics_servers
/dev/vg02/cics_regions
                   1048576  616025  405521   60% /var/cics_regions

bdf的情況，雖然我不知道輸出bdf對分析有什么用.....:wink: :wink



另：回復(fù) czyf2001

1,上線的時(shí)候沒這么忙，隨著數(shù)據(jù)的增加和業(yè)務(wù)的發(fā)展才這樣的。最近沒有對cics做過調(diào)整。

2，其實(shí)我也覺得慢應(yīng)該是由應(yīng)用引起的，無可奈何呀！

skilljiang

根盤上安裝了什么應(yīng)用么?