Crash Dump與HPMC

xiaophedap

   有時(shí)系統(tǒng)在運(yùn)行的過(guò)程中掛起，有時(shí)會(huì)自動(dòng)重起，我們需要對(duì)相關(guān)的情況進(jìn)行分析。Crash Dump主要是與軟件相關(guān)，HPMC通常是硬件相關(guān)。將它們放在一起寫(xiě)主要是因?yàn)樗鼈兊谋憩F(xiàn)有相似之處。Crash Dump是在系統(tǒng)出現(xiàn)故障時(shí)，將內(nèi)存中的內(nèi)容保存到硬盤(pán)上以進(jìn)行進(jìn)一步分析的過(guò)程。詳細(xì)地描述如何做分析并不在本文的范圍中，后面主要講一下Crash Dump的種類(lèi)及如何收集以及初步處理。 Crash Dump可以被分為以下三類(lèi)：
      1. Panic:Panic是由操作系統(tǒng)自已調(diào)用相關(guān)進(jìn)程進(jìn)行的過(guò)程
      2. TOC:Transfer of Control，有幾種情況會(huì)發(fā)生TOC： 􀂾
         a. 觸動(dòng)主機(jī)上TOC按鍵或在CM（GSP）狀態(tài)下發(fā)出TC命令，有時(shí)主機(jī)掛起，我們就會(huì)主動(dòng)用這種方式生成一個(gè)dump文件進(jìn)行分析。 􀂾
         b. MC/SG不能與后臺(tái)進(jìn)程通訊（cmcld） 􀂾
         c. 在多CPU系統(tǒng)，某一CPU在Panic狀態(tài)下會(huì)令其他CPU TOC。
      3. HPMC:有時(shí)HPMC（High Priority Machine Check）也會(huì)引起Crash Dump.
配置Dump Device
   在以前的OS版本中，對(duì)Dump Device有一些限制，比如說(shuō)一定要在VG00中，大小不能大于2GB等。在11.X中這樣的限制都不存在了。因?yàn)?0.X系統(tǒng)已經(jīng)不被支持了，所以后面講的部分內(nèi)容可能只適用于11.X系統(tǒng)。 通常剛安裝完OS后，SWAP（一般是/dev/vg00/lvol2）設(shè)備也做為Dump設(shè)備。這樣的好處是不需要額外的空間來(lái)專(zhuān)門(mén)做dump，缺點(diǎn)是在系統(tǒng)發(fā)生故障重起時(shí)，要等到所有的dump的內(nèi)容拷貝到存放crash dump的文件系統(tǒng)下之后系統(tǒng)才會(huì)繼續(xù)啟動(dòng)過(guò)程，造成恢復(fù)業(yè)務(wù)的時(shí)間變長(zhǎng)。
配置的步驟
   首先要產(chǎn)生相關(guān)的LV。對(duì)做Dump的LV來(lái)說(shuō)，有一些特殊要求。首先，要完全連續(xù)；其次，Bad Block Relocation屬性要關(guān)閉。要生成這樣的LV，可以用類(lèi)似于這樣的命令：
   #lvcreate –C y –r N –n lvswap –L 10240m /dev/vg02
   #crashconf
   #lvlnboot –v
   對(duì)于做了mirror的根盤(pán)，Dump區(qū)不會(huì)被鏡像。
   Crash Dump的配置文件是/etc/rc.config.d/savecrash，執(zhí)行腳本是/sbin/init.d/savecrash.
   編輯/etc/rc.config.d/savecrash文件
      SAVECRASH = 1 -> save a crashdump (default)
                  0 ->do not save a crashdump SAVECRASH_DIR directory for the crashfiles.       Default is /var/adm/crash
      COMPRESS = 0 -> never compress
                 1 ->always compress
                 2 ->compress in case of insufficient space (default)
   有時(shí)工程師會(huì)到現(xiàn)場(chǎng)收集crash dump文件交由響應(yīng)中心進(jìn)行分析，通常是在/var/adm/crash文件系統(tǒng)下。如果在這里沒(méi)有發(fā)現(xiàn)crash dump文件，就要去檢查相關(guān)配置文件看是否系統(tǒng)未保存dump文件或設(shè)置為保存到其他文件系統(tǒng)。
手工保存crash dump
   如果crash dump因?yàn)榇鎯?chǔ)空間不足未被完全保存下來(lái)，還有機(jī)會(huì)手工再保存，這一次可能需要加上-r參數(shù)（resave）
      # savecrash -v [-r]  
      # savecrash -v [-r] -t /dev/rmt/0m  #save to DDS tape
   如果DUMP區(qū)與SWAP區(qū)設(shè)為同一個(gè)設(shè)備，那么可能有一部分Dump內(nèi)容已經(jīng)被覆蓋掉了，這也是只用SWAP區(qū)來(lái)做DUMP的缺點(diǎn)之一。
分析Crash Dump
     通常crash dump是由響應(yīng)中心進(jìn)行分析的，因?yàn)樯钊氲胤治鲂枰獙?duì)操作系統(tǒng)的內(nèi)部有深入地了解。然面有時(shí)crash dump的原因很簡(jiǎn)單，如果能夠很快找到原因，就會(huì)縮短解決故障的周期。
   下面只介紹一種最簡(jiǎn)單的方法，需要用到Q4工具（默認(rèn)安裝都有）。
      #cd /var/adm/crash/crash.0（enter the dump dir you want to analysis）
      #q4pxdb vmunix（may not be neccessary）
      #echo "run WhatHappened" | q4 -m –Np . > wh.txt
   以上命令通過(guò)調(diào)用名為WhatHappened腳本將系統(tǒng)發(fā)生crash時(shí)的狀況大致列出來(lái)，保存到wh.txt文件中。如果Crash是因?yàn)镸C/SG發(fā)出的TOC命令，或是因?yàn)镠PMC等原因，在這里就已經(jīng)可以清楚地看到了。 如果想進(jìn)一步深入了解Crash dump的分析方法，可以訪(fǎng)問(wèn)：
http://wtec.cup.hp.com/~hpux/crash/FirstPassWeb/


本文來(lái)自ChinaUnix博客，如果查看原文請(qǐng)點(diǎn)：http://blog.chinaunix.net/u/12718/showart_69529.html