[求助！] 如何檢查/恢復(fù)磁盤陣列上出錯(cuò)的volumn？

fahrenheit

錯(cuò)誤現(xiàn)象：\r\n  磁盤陣列上的volumn無(wú)法從錯(cuò)誤中恢復(fù)啟動(dòng)：\r\n  vxvol -f start vol03\r\nvxvm:vxvol: ERROR: Volume vol03 is not safely startable; there is no Raid5 log and some subdisk is missing.  Use -o unsafe to start unsafely.\r\n  vxvm:vxvol: ERROR: Volume vol03 is not started\r\n  估計(jì)是磁盤陣列中的兩個(gè)硬盤出了問(wèn)題。\r\n\r\n\r\n磁盤陣列基本情況： \r\n        型號(hào)：Sun StorEdge A5000（具體A5000還是其他的，可能寫錯(cuò)，因?yàn)楝F(xiàn)在在外地。請(qǐng)問(wèn)如何可以查看？）\r\n        共10個(gè)磁盤（ssd0 ~ ssd9）做RAID（系統(tǒng)記錄中顯示做的是RAID5）\r\n        1個(gè)dg: hjdg\r\n        5個(gè)dm: hjdg1 ~ hjdg5。\r\n        每個(gè)dm包含5個(gè)subdisk，如：hjdg01-01 ~ hjdg01-05\r\n        總共三個(gè)volumn : vol01 vol02 vol03。每個(gè)vol有1個(gè)plex，分別為vol01-01 vol02-01 vol03-01\r\n\r\n        現(xiàn)查看系統(tǒng)記錄，發(fā)現(xiàn)兩個(gè)磁盤（ssd1和ssd6）出現(xiàn)了問(wèn)題，（它們應(yīng)該是共同組成了dm:hjdg-04），\r\n        導(dǎo)致hjdg04上的三個(gè)subdisk: hjdg04-01,hjdg04-02,hjdg04-03均出現(xiàn)NODEVICE標(biāo)志。\r\n        然后所有的volumn都連不上了，使用vxvol -f 和 -o unsafe 都無(wú)法啟動(dòng)。\r\n        請(qǐng)問(wèn)問(wèn)題可能出現(xiàn)在哪里？\r\n                （1。有否可能是光纖連接線出現(xiàn)問(wèn)題？\r\n                  2。硬盤損壞可能嗎？如果損壞了，能否先撤出來(lái)，其他的硬盤用著先？各vol在hjdg04中的數(shù)據(jù)是否會(huì)丟失？）\r\n\r\n因?yàn)閷?duì)Volumn管理生疏，望能指教如何檢查，如何恢復(fù)。萬(wàn)分感謝！

fahrenheit

這是當(dāng)時(shí)系統(tǒng)出錯(cuò)時(shí)的信息\r\n\r\n20:07:21  unix: /sbus@b,0/SUNW,socal@2,0/sf@1,0 (sf5):\r\n20:07:21          Open failure to target 0x3forcing LIP\r\n20:07:21  unix: ID[SUNWssa.socal.link.5010] socal2: port 1: Fibre Channel is OFFLINE\r\n20:07:21  unix: ID[SUNWssa.socal.link.6010] socal2: port 1: Fibre Channel Loop is ONLINE\r\n20:07:22  unix: /sbus@b,0/SUNW,socal@2,0/sf@0,0 (sf4):\r\n20:07:22          Open failure to target 0x3forcing LIP\r\n20:07:22  unix: WARNING: /sbus@b,0/SUNW,socal@2,0/sf@0,0/ssd@w21000020378e562e,0 (ssd1):\r\n20:07:22          SCSI transport failed: reason \'tran_err\': retrying command\r\n20:07:22  unix: ID[SUNWssa.socal.link.5010] socal2: port 0: Fibre Channel is OFFLINE\r\n20:07:22  unix: ID[SUNWssa.socal.link.6010] socal2: port 0: Fibre Channel Loop is ONLINE\r\n20:07:31  unix: /sbus@b,0/SUNW,socal@2,0/sf@1,0 (sf5):\r\n20:07:31          INQUIRY to LUN 0x0 to target 0xd retrying\r\n20:07:31  unix: /sbus@b,0/SUNW,socal@2,0/sf@1,0 (sf5):\r\n20:07:31          target 0x3 al_pa 0xe2 LUN 0 offlined\r\n20:07:31  unix: WARNING: /sbus@b,0/SUNW,socal@2,0/sf@1,0/ssd@w22000020378e562e,0 (ssd6):\r\n20:07:31          SCSI transport failed: reason \'reset\': retrying command\r\n\r\n20:07:32  unix: NOTICE: vxvm:vxdmp: disabled path 118/0x8 belonging to the dmpnode 154/0x18\r\n20:07:32  unix: NOTICE: vxvm:vxdmp: disabled path 118/0x30 belonging to the dmpnode 154/0x18\r\n20:07:32  unix: NOTICE: vxvm:vxdmp: disabled dmpnode 154/0x18\r\n20:07:32  unix: NOTICE: vxdmp: Path failure on 118/52\r\n20:07:32  last message repeated 13 times\r\n20:07:32  unix: NOTICE: vxdmp: Path failure on 118/12\r\n20:07:32  last message repeated 6 times\r\n20:07:33  unix: WARNING: vxvm:vxio: object hjdg04-02 detached from RAID-5 vol02 at column 0 offset 0\r\n20:07:33  unix: WARNING: vxvm:vxio: RAID-5 vol02 entering degraded mode operation\r\n20:07:33  unix: WARNING: vxvm:vxio: object hjdg04-03 detached from RAID-5 vol03 at column 0 offset 0\r\n20:07:33  unix: WARNING: vxvm:vxio: RAID-5 vol03 entering degraded mode operation\r\n20:07:34  unix: WARNING: vxvm:vxio: object hjdg04-01 detached from RAID-5 vol01 at column 0 offset 0\r\n20:07:34  unix: WARNING: vxvm:vxio: RAID-5 vol01 entering degraded mode operation\r\n\r\n------------------------------------------------------------------------------------------\r\nvxprint 記錄：\r\n\r\ndg hjdg         default      default  98000    969619189.1258.s5500\r\n\r\ndm hjdg01       c2t16d0s2    sliced   2888     71124291 -\r\ndm hjdg02       c2t19d0s2    sliced   2888     71124291 -\r\ndm hjdg03       c2t22d0s2    sliced   2888     71124291 -\r\ndm hjdg04       -            -        -        -        NODEVICE\r\ndm hjdg05       c2t6d0s2     sliced   2888     71124291 -\r\n\r\nv  vol01        raid5        DISABLED ACTIVE   62914560 RAID      -\r\npl vol01-01     vol01        DISABLED ACTIVE   62922368 RAID      5/32     RW\r\nsd hjdg04-01    vol01-01     hjdg04   0        15730605 0/0       -        NDEV\r\nsd hjdg05-01    vol01-01     hjdg05   0        15730605 1/0       c2t6d0   ENA\r\nsd hjdg01-01    vol01-01     hjdg01   0        15730605 2/0       c2t16d0  ENA\r\nsd hjdg02-01    vol01-01     hjdg02   0        15730605 3/0       c2t19d0  ENA\r\nsd hjdg03-01    vol01-01     hjdg03   0        15730605 4/0       c2t22d0  ENA\r\n\r\nv  vol02        raid5        DISABLED ACTIVE   125829120 RAID     -\r\npl vol02-01     vol02        DISABLED ACTIVE   125833216 RAID     5/32     RW\r\nsd hjdg04-02    vol02-01     hjdg04   15730605 31458321 0/0       -        NDEV\r\nsd hjdg05-02    vol02-01     hjdg05   15730605 31458321 1/0       c2t6d0   ENA\r\nsd hjdg01-02    vol02-01     hjdg01   15730605 31458321 2/0       c2t16d0  ENA\r\nsd hjdg02-02    vol02-01     hjdg02   15730605 31458321 3/0       c2t19d0  ENA\r\nsd hjdg03-02    vol02-01     hjdg03   15730605 31458321 4/0       c2t22d0  ENA\r\n\r\nv  vol03        raid5        DISABLED ACTIVE   95739904 RAID      -\r\npl vol03-01     vol03        DISABLED ACTIVE   95741440 RAID      5/32     RW\r\nsd hjdg04-03    vol03-01     hjdg04   47188926 23935365 0/0       -        NDEV\r\nsd hjdg05-03    vol03-01     hjdg05   47188926 23935365 1/0       c2t6d0   ENA\r\nsd hjdg01-03    vol03-01     hjdg01   47188926 23935365 2/0       c2t16d0  ENA\r\nsd hjdg02-03    vol03-01     hjdg02   47188926 23935365 3/0       c2t19d0  ENA\r\nsd hjdg03-03    vol03-01     hjdg03   47188926 23935365 4/0       c2t22d0  ENA

melonm

先用luxadm查看磁盤狀態(tài)，如luxadm probe什么的，找到有問(wèn)題的磁盤（如sd1&sd6)。\r\nvxprint -st查看相應(yīng)的subdisk。\r\nvxprint -Aht查看對(duì)應(yīng)的卷，如壞盤都在一個(gè)卷中，有可能就要從備份恢復(fù)了。但可以試著換其中一個(gè)新盤：\r\n1. unmount 壞卷對(duì)應(yīng)的文件系統(tǒng)，中止讀寫操作；\r\n2. vxdiskadm選項(xiàng)4；\r\n3. luxadm remove_device -F <raw device>;；\r\n4. 換上新硬盤, luxadm insert_device ...；\r\n5. vxdctl enable；\r\n6. vxdiskadm選項(xiàng)5。

fahrenheit

原帖由 \"melonm\" 發(fā)表：\n先用luxadm查看磁盤狀態(tài)，如luxadm probe什么的，找到有問(wèn)題的磁盤（如sd1&sd6)。\r\nvxprint -st查看相應(yīng)的subdisk。\r\nvxprint -Aht查看對(duì)應(yīng)的卷，如壞盤都在一個(gè)卷中，有可能就要從備份恢復(fù)了。但可以試著換其中一個(gè)..........

\r\n感謝回復(fù)！\r\n我用luxadm probe顯示（沒(méi)有提到出錯(cuò)的硬盤？是否還需要其他參數(shù)？）\r\n--------------------------------------------------------------\r\nFound Enclosure(s):\r\nSENA               Name:a   Node WWN:50800200000a1da8   \r\n  Logical Path:/dev/es/ses0\r\n  Logical Path:/dev/es/ses1\r\n  Logical Path:/dev/es/ses2\r\n  Logical Path:/dev/es/ses3\r\n--------------------------------------------------------------\r\n\r\n\r\nvxprint -st顯示的有問(wèn)題的dm中的3個(gè)subdisk：\r\n--------------------------------------------------------------\r\nsd hjdg04-01    vol01-01     hjdg04   0        15730605 0/0       -        NDEV\r\nsd hjdg04-02    vol02-01     hjdg04   15730605 31458321 0/0       -        NDEV\r\nsd hjdg04-03    vol03-01     hjdg04   47188926 23935365 0/0       -        NDEV\r\n--------------------------------------------------------------\r\n這3個(gè)subdisk分別處在三個(gè)volumn中，有可能通過(guò)其他subdisk中的數(shù)據(jù)來(lái)恢復(fù)嗎？如果用vxdiskadm選項(xiàng)4刪除這些subdisk，三個(gè)volumn中的數(shù)據(jù)會(huì)有缺失嗎？ 并且，刪除之后還能添加回去嗎？（因?yàn)樘厥庠�因，現(xiàn)在沒(méi)法去機(jī)房換硬盤測(cè)試）

fahrenheit

哪位還能指點(diǎn)一些我以下這些問(wèn)題嗎?（老板催得很急，萬(wàn)分感謝~）\r\n這3個(gè)subdisk分別處在三個(gè)volumn中，有可能通過(guò)其他subdisk中的數(shù)據(jù)來(lái)恢復(fù)嗎？如果用vxdiskadm選項(xiàng)4刪除這些subdisk，三個(gè)volumn中的數(shù)據(jù)會(huì)有缺失嗎？ 并且，刪除之后還能添加回去嗎？（因?yàn)樘厥庠�因，現(xiàn)在沒(méi)法去機(jī)房換硬盤測(cè)試）

Philmoon

用vxdisk看看究竟是1個(gè)還是2個(gè)盤損壞。對(duì)于RAID-5的卷，可以允許出現(xiàn)1個(gè)壞盤。\r\n如果只有1個(gè)盤損壞，那么可以使用vxdiskadm功能來(lái)進(jìn)行更換。方法是，先加入新盤，確認(rèn)系統(tǒng)下可以看到它；\r\n到vxdiskadm中先選4（Remove a disk for replacement）將壞盤標(biāo)記為準(zhǔn)備替換；\r\n選5（Replace a failed or removed disk），將新盤替代剛才標(biāo)記的壞盤；\r\n確認(rèn)（list）新盤已被接受后，取走壞盤，重新start卷。\r\n操作一定小心啊，不要隨便刪除subdisk!\r\n\r\n如果有2個(gè)以上壞盤，數(shù)據(jù)無(wú)望了。

nimysun

你這問(wèn)題看樣子還不算太嚴(yán)重。你嘗試一下替換失敗盤。并且做一下同步。\r\nvxdiskadm 選5，接著漫漫的按照提示來(lái)。\r\nvxtask list看看是否存在同步進(jìn)程。\r\n如果系統(tǒng)的壞盤換完，系統(tǒng)未做同步，那么你嘗試一下手工同步：\r\nvxvol -g hjdg resync vol03\r\nvxtask list確認(rèn)。\r\nvxinfo -g hjdg看看卷的情況。

melonm

好像是hjdg04盤壞了，用vxdisk list顯示什么？也試試format看看能不能看到盤的狀態(tài)。\r\n\r\n按照樓上的步驟把壞盤換掉就可以了。注意必須用luxadm和vxdiskadm一起來(lái)?yè)Q盤，新盤會(huì)自動(dòng)更新其數(shù)據(jù)以保持同步。

fahrenheit

原帖由 \"melonm\" 發(fā)表：\n好像是hjdg04盤壞了，用vxdisk list顯示什么？也試試format看看能不能看到盤的狀態(tài)。\r\n\r\n按照樓上的步驟把壞盤換掉就可以了。注意必須用luxadm和vxdiskadm一起來(lái)?yè)Q盤，新盤會(huì)自動(dòng)更新其數(shù)據(jù)以保持同步。

\r\n\r\n# vxdisk list\r\nDEVICE       TYPE      DISK         GROUP        STATUS\r\nc1t10d0s2    sliced    -            -            error\r\nc1t10d0s7    simple    c1t10d0s7    rootdg       online\r\nc1t11d0s2    sliced    -            -            error\r\nc2t6d0s2     sliced    hjdg05       hjdg         online\r\nc2t16d0s2    sliced    hjdg01       hjdg         online\r\nc2t19d0s2    sliced    hjdg02       hjdg         online\r\nc2t22d0s2    sliced    hjdg03       hjdg         online\r\n-                    -          hjdg04        hjdg         failed failing was:c2t3d0s2\r\n\r\n用format看不到有問(wèn)題的那兩個(gè)盤了（看到8個(gè)，本來(lái)總共10個(gè)）。手頭沒(méi)有多余的硬盤，除了換盤沒(méi)有其他的辦法了么？（比如說(shuō)，每個(gè)Volumn本來(lái)有5個(gè)subdisk，現(xiàn)在暫時(shí)用4個(gè)頂著先行么？）

melonm

試過(guò)用 -o unsafe 來(lái)啟動(dòng)volume嗎？（有一定風(fēng)險(xiǎn)，建議還是先考慮換盤）\r\n\r\n>;vxvol -f start vol03 \r\n>;vxvm:vxvol: ERROR: Volume vol03 is not safely startable; >;there is no Raid5 log and some subdisk is missing. Use -o >;unsafe to start unsafely. \r\n>;vxvm:vxvol: ERROR: Volume vol03 is not started