半年內(nèi)關(guān)鍵生產(chǎn)系統(tǒng)Redhat cluster crashs 4次!:em52:

hlzhan

GFS mounting problem類似這個：http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=411787
具體信息不太記得了。

Cluster crash的那個也是查過REDHAT網(wǎng)站.

只能說為什么倒霉全碰到了

文件過多倒置應(yīng)用歇菜已經(jīng)發(fā)生過兩起。最近一次上星期. 現(xiàn)在寫一個系統(tǒng)監(jiān)視的腳本，有問題告警。就是不知道GFS目錄和GFS文件系統(tǒng)最多能放多少文件

nntp

回復(fù) 11# hlzhan


Why not call Red Hat support team to create a support ticket officially ? And you have to provide details of your problem when you get through the support process.
Store high volume small size files upon GFS  is not a good idea. As someone 's previous comment to you that the Distribute Lock Manager will degrade the stability and performance when handling tons of small files.

hlzhan

回復(fù)  hlzhan


Why not call Red Hat support team to create a support ticket officially ? And you ...
nntp 發(fā)表于 2010-02-25 15:52

   

Our applicatoins are provided by Nokia. All Redhat fault need to go through Nokia to escalate Redhat but always no any reponse from Redhat.

nntp

回復(fù) 13# hlzhan


    I don't care your application from Nokia,  all we talked about is the RHEL right? If you have an official subscription of RHEL, why not just simply place a call to Red Hat GSS team?

If Nokia sold you guys OEM version of RHEL, then Red Hat China's support team will not take any responsibility to support you 'Coz  as the OEM contract, all the support request will direct to OEM vendor but not Red Hat. Red Hat world-wide support team will offer these vendors level 3 support. That's the cost for your choice.

In your case i do think you guys should complain this issue to Nokia and push those folks to go through level 3 support as quick as possible.

xiaocongwjb123

5節(jié)點的Redhat cluster, 有廠家支持，但是沒有提供任何建議和服務(wù)。另外一個GFS問題讓我們一個應(yīng)用不停的cr ...
hlzhan 發(fā)表于 2010-02-19 08:50

        樓主，關(guān)于你所反映的情況我們覺得有些內(nèi)容描述得不夠具體，不夠詳細。

因此我們需要你們方便的話提供更加詳細的相關(guān)信息：

（1）一個目錄下面放了大概12萬個文件。首先我們需要了解的是你們所說的目錄

下面放了12萬個文件指的是不是下面的哪種情況呢？

1）假設(shè)存放文件的目錄是/data，而/data目錄下面就存放了大概12萬個文件（

包括/data下面的子目錄，/data下面的每個子目錄也算是一個文件）；

2）假設(shè)存放文件的目錄是/data，而/data目錄下面有分別建立了1,2,3.......等

子目錄，也就是說/data/1,/data/2,/data/3.......。/data目錄下面的這些子目

錄里面所存放的文件數(shù)（包括里面的二級子目錄和三級子目錄）大概在12萬個左右。

（2）操作系統(tǒng)版本是RHAS 5點幾的，是32位的還是64位的呢？這個命令可以查到
# cat /etc/redhat-release
# uname -a

（3）操作系統(tǒng)上面開機啟動了哪些服務(wù)？這個命令可以查到
# ntsysv  ＃＃打上星號的就是隨操作系統(tǒng)啟動的服務(wù)

（4）集群上面所用的硬件服務(wù)器CPU的詳細信息是什么？這個命令可以查到
# cat /etc/cpuinfo

（5）操作系統(tǒng)啟動的時候內(nèi)核到底加載了哪些模塊？這個命令可以看到
# lsmod

（6） 檢查操作系統(tǒng)中運行的時候各個設(shè)備IO是否已經(jīng)啟用了irqbalance（其應(yīng)用就
是設(shè)備負載均衡調(diào)度）？這個命令可以看到
# cat /proc/interrupts
輸出結(jié)果類似下面的信息：
          CPU0       CPU1       CPU2       CPU3      
  0:  441733344  441704798  441804679  441725019    IO-APIC-edge  timer
  1:          0          1          2          0    IO-APIC-edge  i8042
  8:          1          0          1          1    IO-APIC-edge  rtc
  9:          0          0          0          0   IO-APIC-level  acpi
12:          1          1          2          0    IO-APIC-edge  i8042
14:    3962749    3990999    3891110    3970770    IO-APIC-edge  ide0
98:          0          0          0          0   IO-APIC-level  uhci_hcd:usb4
106:         22         23         26         27   IO-APIC-level  uhci_hcd:usb5
130:    7786510          0          0          0       PCI-MSI-X  cciss0
146:    6652580          0          0          0         PCI-MSI  eth0
154:    1257030          0          0          0         PCI-MSI  eth1
169:          0          0          2          0   IO-APIC-level  uhci_hcd:usb1, ehci_hcd:usb6
177:          0          0          0          0   IO-APIC-level  uhci_hcd:usb2
185:         13         10         10         15   IO-APIC-level  uhci_hcd:usb3
NMI:          0          0          0          0
LOC: 1766973093 1766973092 1766973170 1766973169
從上面的輸出內(nèi)容可以看出，網(wǎng)卡1（eth0）和網(wǎng)卡2（eth1）的IO并沒有工作在負載均衡調(diào)度
模式下面，所有的數(shù)據(jù)傳輸都加到CPU的了第一個核里面去了，而其它核則處于空閑狀態(tài)（顯然
這是一種系統(tǒng)資源的浪費形象）。當(dāng)然了，并不是所有的硬件設(shè)備都完全支持irqbalance。不過
我們可以通過修改啟動參數(shù)嘗試讓硬件設(shè)備都工作在irqbalance模式下面，從而提高系統(tǒng)資源的
利用效率，降低由于系統(tǒng)資源使用不充分造成系統(tǒng)響應(yīng)緩慢，某些資源負載過高而某些資源
卻閑著“沒事干”的情況發(fā)生。

    如果樓主方便的話可以通過郵件聯(lián)系我們，我們的郵箱是：andy_xiaocong@126.com

      順便補充一下：我們不是Redhat技術(shù)團隊，但是我們對樓主反映的情況很感興趣。

wolfop

GFS這樣的cluster文件系統(tǒng)顯然不適合一個目錄下面太多文件。用GPFS會好點，不過最好是用NAS。
大量小文件，都應(yīng)該用NAS而不是GFS/GPFS之類的東西。

hlzhan

回復(fù)  hlzhan


    I don't care your application from Nokia,  all we talked about is the RHEL ri ...
nntp 發(fā)表于 2010-03-01 20:53

我們已經(jīng)pushed nokia很多次了，也相信已經(jīng)到了Redhat。在項目階段，我們跟N每兩天一個會跟蹤問題，N不太可能不報到Redhat那里而這樣敷衍我們，無論如何，我們算是N一個比較大的客戶，可是沒有就是沒有�，F(xiàn)在解決方案是等到軟件的下一個版本，平臺os跟著升級來解決問題，可能也是redhat的方案。

沒辦法。

另外應(yīng)該不是中國redhat team負責(zé)這個項目。但無論怎么樣，對平臺和支持都比較失望。

還有個問題是系統(tǒng)gfs啟動時候，會出現(xiàn)很多buffer錯誤，存儲是emc，起初嚇一大跳，馬上報上emc/redhat，最終也沒有任何解釋，只說看來不影響應(yīng)用就算了。各個廠家都在推。沒話說，vendor還是大。

錯誤信息：

Buffer I/O error on device sda, logical block 66
Buffer I/O error on device sda, logical block 67
Buffer I/O error on device sda, logical block 68
Buffer I/O error on device sda, logical block 69

如果有人知道確切是怎么回事，請告一聲，多謝了！

hlzhan

樓主，關(guān)于你所反映的情況我們覺得有些內(nèi)容描述得不夠具體，不夠詳細。

因此我們需要你們 ...
xiaocongwjb123 發(fā)表于 2010-03-02 09:57

  樓主，關(guān)于你所反映的情況我們覺得有些內(nèi)容描述得不夠具體，不夠詳細。

因此我們需要你們方便的話提供更加詳細的相關(guān)信息：

（1）一個目錄下面放了大概12萬個文件。首先我們需要了解的是你們所說的目錄

下面放了12萬個文件指的是不是下面的哪種情況呢？


--------〉是一個目錄下12萬，不包括子目錄


1）假設(shè)存放文件的目錄是/data，而/data目錄下面就存放了大概12萬個文件（

包括/data下面的子目錄，/data下面的每個子目錄也算是一個文件）；

2）假設(shè)存放文件的目錄是/data，而/data目錄下面有分別建立了1,2,3.......等

子目錄，也就是說/data/1,/data/2,/data/3.......。/data目錄下面的這些子目

錄里面所存放的文件數(shù)（包括里面的二級子目錄和三級子目錄）大概在12萬個左右。

（2）操作系統(tǒng)版本是RHAS 5點幾的，是32位的還是64位的呢？這個命令可以查到
# cat /etc/redhat-release
# uname -a

[root@ ~]# uname -a
Linux  2.6.9-78.0.8.ELlargesmp #1 SMP Wed Nov 5 07:25:07 EST 2008 x86_64 x86_64 x86_64 GNU/Linux


（3）操作系統(tǒng)上面開機啟動了哪些服務(wù)？這個命令可以查到
# ntsysv  ＃＃打上星號的就是隨操作系統(tǒng)啟動的服務(wù)

（4）集群上面所用的硬件服務(wù)器CPU的詳細信息是什么？這個命令可以查到
# cat /etc/cpuinfo

cat /proc/cpuinfo

8個
processor       : 7
vendor_id       : GenuineIntel
cpu family      : 6
model           : 15
model name      : Intel(R) Xeon(R) CPU           E7330  @ 2.40GHz
stepping        : 11
cpu MHz         : 2400.090
cache size      : 3072 KB


（5）操作系統(tǒng)啟動的時候內(nèi)核到底加載了哪些模塊？這個命令可以看到
# lsmod
Module                  Size  Used by
mptctl                 43977  1
mptbase                81825  1 mptctl
sg                     50041  0
ipmi_si                51928  2
ipmi_devintf           18192  4
ipmi_msghandler        41992  2 ipmi_si,ipmi_devintf
parport_pc             36737  0
lp                     22513  0
parport                51789  2 parport_pc,lp
autofs4                35273  0
i2c_dev                21057  0
i2c_core               36289  1 i2c_dev
lock_dlm               55412  4
gfs                   341004  4
lock_harness           14512  2 lock_dlm,gfs
dlm                   142340  11 lock_dlm
cman                  147360  26 lock_dlm,gfs,dlm
sunrpc                184505  1
md5                    13121  1
ipv6                  314401  1178
dm_round_robin         12353  1
dm_emc                 14913  1
joydev                 19393  0
dm_multipath           30673  3 dm_round_robin,dm_emc
button                 16481  0
battery                18633  0
ac                     14153  0
ehci_hcd               42441  0
uhci_hcd               42473  0
hw_random              14561  0
tg3                   127301  0
bnx2                  155101  0
bonding                80060  0
ext3                  146129  4
jbd                    76657  1 ext3
dm_mod                 84137  39 dm_multipath
qla2400               239809  0
qla2xxx               203169  85 qla2400
scsi_transport_fc      19265  1 qla2xxx
cciss                  83385  6
sd_mod                 26561  42
scsi_mod              152593  5 sg,qla2xxx,scsi_transport_fc,cciss,sd_mod


（6） 檢查操作系統(tǒng)中運行的時候各個設(shè)備IO是否已經(jīng)啟用了irqbalance（其應(yīng)用就
是設(shè)備負載均衡調(diào)度）？這個命令可以看到
# cat /proc/interrupts
輸出結(jié)果類似下面的信息：
          CPU0       CPU1       CPU2       CPU3      
  0:  441733344  441704798  441804679  441725019    IO-APIC-edge  timer
  1:          0          1          2          0    IO-APIC-edge  i8042
  8:          1          0          1          1    IO-APIC-edge  rtc
  9:          0          0          0          0   IO-APIC-level  acpi
12:          1          1          2          0    IO-APIC-edge  i8042
14:    3962749    3990999    3891110    3970770    IO-APIC-edge  ide0
98:          0          0          0          0   IO-APIC-level  uhci_hcd:usb4
106:         22         23         26         27   IO-APIC-level  uhci_hcd:usb5
130:    7786510          0          0          0       PCI-MSI-X  cciss0
146:    6652580          0          0          0         PCI-MSI  eth0
154:    1257030          0          0          0         PCI-MSI  eth1
169:          0          0          2          0   IO-APIC-level  uhci_hcd:usb1, ehci_hcd:usb6
177:          0          0          0          0   IO-APIC-level  uhci_hcd:usb2
185:         13         10         10         15   IO-APIC-level  uhci_hcd:usb3
NMI:          0          0          0          0
LOC: 1766973093 1766973092 1766973170 1766973169
從上面的輸出內(nèi)容可以看出，網(wǎng)卡1（eth0）和網(wǎng)卡2（eth1）的IO并沒有工作在負載均衡調(diào)度
模式下面，所有的數(shù)據(jù)傳輸都加到CPU的了第一個核里面去了，而其它核則處于空閑狀態(tài)（顯然
這是一種系統(tǒng)資源的浪費形象）。當(dāng)然了，并不是所有的硬件設(shè)備都完全支持irqbalance。不過
我們可以通過修改啟動參數(shù)嘗試讓硬件設(shè)備都工作在irqbalance模式下面，從而提高系統(tǒng)資源的
利用效率，降低由于系統(tǒng)資源使用不充分造成系統(tǒng)響應(yīng)緩慢，某些資源負載過高而某些資源
卻閑著“沒事干”的情況發(fā)生。

           CPU0       CPU1       CPU2       CPU3       CPU4       CPU5       CPU6       CPU7
  0:   16311190   18580896   18580973   18580388   18580029   18570996   18571034   18571168    IO-APIC-edge  timer
  1:          1          1          1          1          2          1          2          0    IO-APIC-edge  i8042
  8:         60         51         65         56         71         63         64         58    IO-APIC-edge  rtc
  9:          0          0          0          0          0          0          0          0   IO-APIC-level  acpi
74:       6267      58955     940992     489883     350848     247755     466400     162974       PCI-MSI-X  cciss0
90:   54200856          0          0          0          0          0          0          0         PCI-MSI  eth0
98:     208908          0          0          0          0          0          0          0         PCI-MSI  eth1
169:          0          0          0          0          0          0          0          0   IO-APIC-level  uhci_hcd, ehci_hcd
177:          0          0          0          0          0          0          0          0   IO-APIC-level  uhci_hcd
185:          0          0          0          0          0          0          0          0   IO-APIC-level  uhci_hcd
193:          0          0          0          0          0          0          0          0   IO-APIC-level  uhci_hcd
201:        102      95484     422491     596213     550760     334029     379426     356253   IO-APIC-level  qla2400
209:        195      84032     558889     575326     410641     361174     424796     345578   IO-APIC-level  qla2400
225:        467     865889     110729     340509      45602     681804     460924     416985   IO-APIC-level  ipmi_si
233:         12          8         12         13         11          7         14          4   IO-APIC-level  uhci_hcd
NMI:  146345828  146345749  146345766  146345752  146345782  146345742  146345770  146345750
LOC:  146332694  146340815  146333679  146340716  146338828  146338238  146338749  146337007
ERR:          0
MIS:          0


    如果樓主方便的話可以通過郵件聯(lián)系我們，我們的郵箱是：andy_xiaocong@126.com

      順便補充一下：我們不是Redhat技術(shù)團隊，但是我們對樓主反映的情況很感興趣。

hlzhan

上個的服務(wù)器是數(shù)據(jù)庫服務(wù)器的備機，基本沒東西跑。

找不到ntsysv命令。

看來我們的網(wǎng)絡(luò)io也沒有調(diào)好，做不到loadbalance，能不能介紹一下應(yīng)該怎么做，謝了