求助SUN M8000磁盤報錯

有機天使

各位大神，求助個問題
  系統(tǒng)環(huán)境：兩臺SUN M8000，每臺SUN M8000兩個域，總共四個域，兩個磁盤（一個1713.69GB，一個1142.46GB）全部掛載在四臺主機上做了oracle rac。

  現(xiàn)在的問題是：
  
  域1主機： iostat -E 查看顯示
   
                 ssd1      Soft Errors: 0 Hard Errors: 0 Transport Errors: 0
                Vendor: HITACHI  Product: OPEN-V*6    -SUN Revision: 6008 Serial No:  
                Size: 1713.69GB <1713691033600 bytes>
                Media Error: 0 Device Not Ready: 0 No Device: 0 Recoverable: 0
                Illegal Request: 2 Predictive Failure Analysis: 0

                ssd28     Soft Errors: 0 Hard Errors: 17 Transport Errors: 17
              Vendor: HITACHI  Product: OPEN-V*4    -SUN Revision: 6008 Serial No:  
              Size: 1142.46GB <1142461300736 bytes>
             Media Error: 0 Device Not Ready: 0 No Device: 0 Recoverable: 0
              Illegal Request: 2 Predictive Failure Analysis: 0

域2主機：iostat -E 查看顯示
                ssd1      Soft Errors: 0 Hard Errors: 2 Transport Errors: 2
               Vendor: HITACHI  Product: OPEN-V*4    -SUN Revision: 6008 Serial No:  
              Size: 1142.46GB <1142461300736 bytes>
              Media Error: 0 Device Not Ready: 0 No Device: 0 Recoverable: 0
              Illegal Request: 2 Predictive Failure Analysis: 0

              ssd24     Soft Errors: 0 Hard Errors: 5 Transport Errors: 5
             Vendor: HITACHI  Product: OPEN-V*6    -SUN Revision: 6008 Serial No:  
             Size: 1713.69GB <1713691033600 bytes>
            Media Error: 0 Device Not Ready: 0 No Device: 0 Recoverable: 0
              Illegal Request: 2 Predictive Failure Analysis: 0

域3主機：iostat -E之前每報錯，目前也開始報錯
           ssd1      Soft Errors: 0 Hard Errors: 3 Transport Errors: 3
         Vendor: HITACHI  Product: OPEN-V*6    -SUN Revision: 6008 Serial No:  
         Size: 1713.69GB <1713691033600 bytes>
        Media Error: 0 Device Not Ready: 0 No Device: 0 Recoverable: 0
        Illegal Request: 2 Predictive Failure Analysis: 0
        ssd27     Soft Errors: 0 Hard Errors: 3 Transport Errors: 3
       Vendor: HITACHI  Product: OPEN-V*4    -SUN Revision: 6008 Serial No:  
      Size: 1142.46GB <1142461300736 bytes>
      Media Error: 0 Device Not Ready: 0 No Device: 0 Recoverable: 0
       Illegal Request: 2 Predictive Failure Analysis: 0

域4主機：iostat -E
            
             ssd1      Soft Errors: 0 Hard Errors: 2 Transport Errors: 1
            Vendor: HITACHI  Product: OPEN-V*6    -SUN Revision: 6008 Serial No:  
            Size: 1713.69GB <1713691033600 bytes>
            Media Error: 0 Device Not Ready: 0 No Device: 0 Recoverable: 0
            Illegal Request: 2 Predictive Failure Analysis: 0

          ssd28     Soft Errors: 0 Hard Errors: 4 Transport Errors: 3
          Vendor: HITACHI  Product: OPEN-V*4    -SUN Revision: 6008 Serial No:  
          Size: 1142.46GB <1142461300736 bytes>
           Media Error: 0 Device Not Ready: 0 No Device: 0 Recoverable: 0
           Illegal Request: 2 Predictive Failure Analysis: 0

    這四臺主機掛載一樣的磁盤，怎么有的主機上報錯，有的主機上又沒報錯呢？該如何處理呢？
    另外在磁盤報錯的主機上，有過如下的錯誤日志：
May 12 20:31:14 rdms02b         /scsi_vhci/ssd@g60060e80056389000000638900000000 (ssd22): Command failed to complete (3) on path fp3/ssd@w50060e8005638924,0
May 12 20:31:14 rdms02b         SCSI transport failed: reason 'tran_err': retrying command
May 12 20:31:14 rdms02b scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/ssd@g60060e80056389000000638900000000 (ssd22):


請問大家該如何處理？

更新：

最近又開始報錯了，但這次只是2個域（域1與域2）主機增多報錯，另外兩臺卻沒變化，請教下是為什么呢

數(shù)字已經(jīng)增長到3了：

ssd28     Soft Errors: 0 Hard Errors: 3 Transport Errors: 3

警告日志也又增多了：


May 12 15:52:51 rdms01a         /scsi_vhci/ssd@g60060e80056389000000638900000008 (ssd2: Command failed to complete (3) on path fp3/ssd@w50060e8005638900,1
May 12 15:52:51 rdms01a         SCSI transport failed: reason 'tran_err': retrying command
May 12 15:52:51 rdms01a scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/ssd@g60060e80056389000000638900000008 (ssd2:
May 20 10:40:33 rdms01a         /scsi_vhci/ssd@g60060e80056389000000638900000008 (ssd2: Command failed to complete (3) on path fp3/ssd@w50060e8005638900,1
May 20 10:40:35 rdms01a         /scsi_vhci/ssd@g60060e80056389000000638900000008 (ssd2: Command failed to complete (3) on path fp3/ssd@w50060e8005638900,1
May 21 11:28:20 rdms01a         /scsi_vhci/ssd@g60060e80056389000000638900000000 (ssd1): Command failed to complete (3) on path fp3/ssd@w50060e8005638900,0
May 21 11:28:20 rdms01a         SCSI transport failed: reason 'tran_err': retrying command
May 21 11:28:20 rdms01a scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/ssd@g60060e80056389000000638900000000 (ssd1):


現(xiàn)在幾乎每天都開始報錯了，持續(xù)增長，每天就這么1-2條，這是鏈路故障碼？我檢查存儲交換機也沒發(fā)現(xiàn)交換機出問題~~檢查存儲設(shè)備，也沒有存儲告警，這能什么問題呢？要是HBA卡的問題這4臺系統(tǒng) 四個HBA卡不能都出問題吧，而且檢查主機底層硬件也沒發(fā)現(xiàn)告警日志~~

   有沒有過來人給個指點啊~~

有機天使

請問大家這個  Hard Errors: 1 Transport Errors: 1 有什么影響嗎？我這個是存儲的磁盤，存儲這邊并沒有告警，而且如果是存儲磁盤故障，那應(yīng)該四臺系統(tǒng)全部報錯才對，但現(xiàn)在卻是有的報了，有的沒報~~是為什么尼？我應(yīng)該如何查看？

solarisstudy

高大上的機器。一般人接觸不到。存儲沒有告警，說明硬盤還沒有徹底壞掉，只是有壞塊。

nimysun

回復(fù) 1# 有機天使
  就1個transport報錯根本不需要去關(guān)心它，你去看看volume manager那層有沒有報錯就可以了。

有機天使

回復(fù) 4# nimysun

但是有個Hard Errors: 1 還有最后寫的那個日志，我懷疑是鏈路問題~~，但我查看了鏈路狀態(tài)，目前也都正常~~
     這個Hard Errors: 1 這類錯誤信息能清除不

nimysun

回復(fù) 5# 有機天使
  這個數(shù)字如果不是持續(xù)快速增加，一般不用理會。這個報錯也不一定表示硬件有問題，也可能是軟件驅(qū)動層的誤報。盲目更換硬件可能會讓問題更加復(fù)雜化，也可能會帶來新的風險。

   

有機天使

nimysun 發(fā)表于 2016-05-18 22:14
回復(fù) 5# 有機天使
  這個數(shù)字如果不是持續(xù)快速增加，一般不用理會。這個報錯也不一定表示硬件有問題，也可 ...

那想再請教下：

/scsi_vhci/ssd@g60060e80056389000000638900000000 (ssd22): Command failed to complete (3) on path fp3/ssd@w50060e8005638924,0
May 12 20:31:14 rdms02b         SCSI transport failed: reason 'tran_err': retrying command
May 12 20:31:14 rdms02b scsi: [ID 107833 kern.warning] WARNING: /scsi_vhci/ssd@g60060e80056389000000638900000000 (ssd22):
這個日志在3個機子上都出現(xiàn)了，只有一個機子沒出現(xiàn)，但3個機子出現(xiàn)的時間卻不一樣，我懷疑是不同時間點鏈路出現(xiàn)了問題~~正準備檢查交換機
另外我想問問這個iostat-E里面的報錯數(shù)字 是否能消除？

有機天使

回復(fù) 6# nimysun

查了鏈路和交換機沒有報錯~~那這個日志是怎么來的。。。。我這個磁盤是存儲的磁盤，如果是磁盤故障，那應(yīng)該是掛載的所有機子都報警，存儲也會告警，但現(xiàn)在并沒有~~


   

nimysun

有機天使 發(fā)表于 2016-05-19 09:32
回復(fù) 6# nimysun

查了鏈路和交換機沒有報錯~~那這個日志是怎么來的。。。。我這個磁盤是存儲的磁盤，如 ...

  我之前說過了，這個日志是驅(qū)動程序提供給操作系統(tǒng)日志的。所以下手點是從驅(qū)動方向開始。transport error，這樣的報錯，有可能發(fā)出端正常發(fā)出，接收端解碼出現(xiàn)問題。

  你實在想搞清楚，最好把幾個廠商都扯進來討論分析一下，存儲，交換機，HBA， Hba driver(os)，不過大概率是找不到具體的問題點。 存儲我不知道是否有端口鏡像機制，你把所有的流量存儲下來，逐幀分析對比。

ericyan_cu

沒有關(guān)系，iOstat -E 要重啟才能消除！