半年內(nèi)關(guān)鍵生產(chǎn)系統(tǒng)Redhat cluster crashs 4次!:em52:

xiaocongwjb123

回復(fù) 18# hlzhan


根據(jù)樓主所提供的信息我們?cè)賮?lái)分析一下：

（1）是一個(gè)目錄下12萬(wàn)，不包括子目錄

分析：在linux操作系統(tǒng)中，一般情況下，我們是不建議一個(gè)目錄的本級(jí)目錄下面
文件和目錄超過(guò)4萬(wàn)。例如，假設(shè)/data 目錄下面包括子目錄（二級(jí)子目錄和三
級(jí)子目錄等等）文件和目錄數(shù)量有12萬(wàn)個(gè)，則我們會(huì)這樣規(guī)劃：
/data/1 目錄存放少于4萬(wàn)個(gè)文件；
/data/2 目錄存放少于4萬(wàn)個(gè)文件；
/data/3 目錄存放少于4萬(wàn)個(gè)文件；
/data/4 目錄存放少于4萬(wàn)個(gè)文件；
    以此類(lèi)推。

    另外，我們上次忘記了另外一個(gè)參數(shù)，如果樓主方便的話提供給我們。
# ulimit -n   ## 如果我們沒(méi)有猜錯(cuò)的話，樓主的Linux雙機(jī)里面肯定沒(méi)有修改
                 這個(gè)參數(shù)，而是采用系統(tǒng)默認(rèn)的1024。

    樓主可以修改這個(gè)地方，把linux操作系統(tǒng)本身的句柄數(shù)適當(dāng)調(diào)大一點(diǎn)。
注意：linux操作系統(tǒng)句柄數(shù)不是越大越好，最大可以調(diào)到65536，句柄數(shù)越大有
可能導(dǎo)致系統(tǒng)對(duì)外服務(wù)響應(yīng)變慢，句柄數(shù)太小則應(yīng)用程序讀取同一個(gè)文件的時(shí)候
一旦超過(guò)句柄數(shù)就會(huì)引起系統(tǒng)不穩(wěn)定，有時(shí)候甚至?xí)�引起�?yīng)用服務(wù)崩潰。我們建
議樓主設(shè)置一個(gè)比較保守的數(shù)值：4096�？纯葱Ч�是否有所改觀？

# echo "ulimit -HSn 4096" >> /etc/profile
# source  /etc/profile  ## 使新設(shè)置的環(huán)境變量生效

（2） [root@ ~]# uname -a
Linux  2.6.9-78.0.8.ELlargesmp #1 SMP Wed Nov 5 07:25:07 EST 2008 x86_64 x86_64 x86_64 GNU/Linux
   
    64位的，不過(guò)這個(gè)操作系統(tǒng)內(nèi)核比較老了，樓主可以咨詢一下廠家是否可以升級(jí)一下
操作系統(tǒng)內(nèi)核？

（3）集群上面所用的硬件服務(wù)器CPU的詳細(xì)信息是什么？這個(gè)命令可以查到
# cat /etc/cpuinfo

cat /proc/cpuinfo

8個(gè)
processor       : 7
vendor_id       : GenuineIntel
cpu family      : 6
model           : 15
model name      : Intel(R) Xeon(R) CPU           E7330  @ 2.40GHz
stepping        : 11
cpu MHz         : 2400.090
cache size      : 3072 KB

    確切的說(shuō)：樓主的機(jī)器上面跑的是兩個(gè)CPU，至強(qiáng)的，每個(gè)CPU有4個(gè)核。

（4）操作系統(tǒng)啟動(dòng)的時(shí)候內(nèi)核到底加載了哪些模塊？這個(gè)命令可以看到
# lsmod
Module                  Size  Used by
mptctl                 43977  1
mptbase                81825  1 mptctl
sg                     50041  0
ipmi_si                51928  2
ipmi_devintf           18192  4
ipmi_msghandler        41992  2 ipmi_si,ipmi_devintf
parport_pc             36737  0
lp                     22513  0
parport                51789  2 parport_pc,lp
autofs4                35273  0
i2c_dev                21057  0
i2c_core               36289  1 i2c_dev
lock_dlm               55412  4
gfs                   341004  4
lock_harness           14512  2 lock_dlm,gfs
dlm                   142340  11 lock_dlm
cman                  147360  26 lock_dlm,gfs,dlm
sunrpc                184505  1
md5                    13121  1
ipv6                  314401  1178
dm_round_robin         12353  1
dm_emc                 14913  1
joydev                 19393  0
dm_multipath           30673  3 dm_round_robin,dm_emc
button                 16481  0
battery                18633  0
ac                     14153  0
ehci_hcd               42441  0
uhci_hcd               42473  0
hw_random              14561  0
tg3                   127301  0
bnx2                  155101  0
bonding                80060  0
ext3                  146129  4
jbd                    76657  1 ext3
dm_mod                 84137  39 dm_multipath
qla2400               239809  0
qla2xxx               203169  85 qla2400
scsi_transport_fc      19265  1 qla2xxx
cciss                  83385  6
sd_mod                 26561  42
scsi_mod              152593  5 sg,qla2xxx,scsi_transport_fc,cciss,sd_mod

    服務(wù)器上面上了HBA卡，qla2***系列的，HBA卡采用的芯片是LSI公司芯片的。兩臺(tái)
機(jī)器上面通過(guò)橙色多模光纖連接到光交換機(jī)上面去，通過(guò)光交換機(jī)與光纖存儲(chǔ)相連接。
存儲(chǔ)這一塊我們了解的不是很深入，樓主可以找存儲(chǔ)廠商聯(lián)系一下。

（5）
# cat /proc/interrupts 根據(jù)輸出結(jié)果，可以這樣修改啟動(dòng)參數(shù)

           CPU0       CPU1       CPU2       CPU3       CPU4       CPU5       CPU6   CPU7
  0:   16311190   18580896   18580973   18580388   18580029   18570996   18571034   18571168    IO-APIC-edge  timer
  1:          1          1          1          1          2          1          2          0    IO-APIC-edge  i8042
  8:         60         51         65         56         71         63         64         58    IO-APIC-edge  rtc
  9:          0          0          0          0          0          0          0          0   IO-APIC-level  acpi
74:       6267      58955     940992     489883     350848     247755     466400     162974       PCI-MSI-X  cciss0
90:   54200856          0          0          0          0          0          0          0         PCI-MSI  eth0
98:     208908          0          0          0          0          0          0          0         PCI-MSI  eth1
169:          0          0          0          0          0          0          0          0   IO-APIC-level  uhci_hcd, ehci_hcd
177:          0          0          0          0          0          0          0          0   IO-APIC-level  uhci_hcd
185:          0          0          0          0          0          0          0          0   IO-APIC-level  uhci_hcd
193:          0          0          0          0          0          0          0          0   IO-APIC-level  uhci_hcd
201:        102      95484     422491     596213     550760     334029     379426     356253   IO-APIC-level  qla2400
209:        195      84032     558889     575326     410641     361174     424796     345578   IO-APIC-level  qla2400
225:        467     865889     110729     340509      45602     681804     460924     416985   IO-APIC-level  ipmi_si
233:         12          8         12         13         11          7         14          4   IO-APIC-level  uhci_hcd
NMI:  146345828  146345749  146345766  146345752  146345782  146345742  146345770  146345750
LOC:  146332694  146340815  146333679  146340716  146338828  146338238  146338749  146337007
ERR:          0
MIS:          0

樓主可以修改以下啟動(dòng)參數(shù)來(lái)實(shí)現(xiàn)網(wǎng)卡IO的負(fù)載均衡：
# vi /boot/grub/grub.conf
找到類(lèi)似如下：
kernel /vmlinuz-2.6.18-53.el5 ro root=/dev/VolGroup00/LogVol00
修改為：
kernel /vmlinuz-2.6.18-53.el5 ro root=/dev/VolGroup00/LogVol00 pci=nomsi
也就是在后面加入： pci=nomsi
注意：這個(gè)參數(shù)修改后需要重新啟動(dòng)機(jī)器，重啟后再用：
# cat /proc/interrupts  看看網(wǎng)卡IO是否已經(jīng)工作在負(fù)載均衡狀態(tài)下面了。

另外，樓主可以對(duì)操作系統(tǒng)的網(wǎng)絡(luò)參數(shù)做如下優(yōu)化：
# vi /usr/local/etc/sysctl.conf
net.ipv4.ip_forward = 0
net.ipv4.conf.default.rp_filter = 1
net.ipv4.conf.default.accept_source_route = 0
kernel.sysrq = 0
kernel.core_uses_pid = 1
net.ipv4.tcp_syncookies = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.shmmax = 4294967295
kernel.shmall = 268435456
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 65536 16777216
net.ipv4.ip_local_port_range = 1024 65000
然后在設(shè)置系統(tǒng)啟動(dòng)的時(shí)候運(yùn)行：
# echo "sysctl -f /usr/local/etc/sysctl.conf"

       生產(chǎn)系統(tǒng)運(yùn)行過(guò)程中有問(wèn)題需要廠商和用戶的通力合作，雙方彼此推諉是解決不了

問(wèn)題的，而且為后續(xù)工程的開(kāi)展和工程款項(xiàng)的及時(shí)結(jié)清制造了障礙。

     另外，由于EMC的存儲(chǔ)我們沒(méi)有接觸過(guò)，估計(jì)這一塊的規(guī)劃和調(diào)優(yōu)樓主需要聯(lián)系

廠商協(xié)助解決�？梢哉{(diào)整EMC存儲(chǔ)兩個(gè)控制器上面的操作系統(tǒng)參數(shù)來(lái)提高存儲(chǔ)運(yùn)行效率

和穩(wěn)定性的，EMC存儲(chǔ)用的核心技術(shù)也是LSI公司的產(chǎn)品。存儲(chǔ)控制器上面跑的操作系統(tǒng)

應(yīng)該是vxworks。有關(guān)EMC存儲(chǔ)參數(shù)的優(yōu)化和調(diào)整需要樓主聯(lián)系廠商協(xié)助解決。