greenplum斷電重啟報錯,其中二個結點未能啟動起來.psql fatal invalid page header

yanghong709

環(huán)境: SUSE Linux + Greenplum3.3.7(Base on PG8.3.2)
問題來源:機房連續(xù)二次斷電.
癥狀:  gpstart報出大量的錯,日志顯示有幾個結點不正常
分析過程:
使用gprecoverseg -F對結點進行修復.修復完成后,通過gpstate查看,發(fā)現(xiàn)仍然有二個結點啟動不正常.以下,就進入結點里面,折騰PG了.

錯誤記錄:
(1)
gpadmin@sdw1:~> PGOPTIONS='-c gp_session_role=utility' psql template1 -p 60001
psql: FATAL:  could not access status of transaction 3832760714
DETAIL:  Could not open file "pg_clog/0391": No such file or directory.

目前使用的方法(在群里面詢問德哥使用的方法)
dd if=/dev/zero of=/data/m/gp4/pg_clog/xxxx bs=1 count=1048576
fix it.

         * In a crash-and-restart situation, it's possible for us to receive
         * commands to set the commit status of transactions whose bits are in
         * already-truncated segments of the commit log (see notes in
         * SlruPhysicalWritePage).      Hence, if we are InRecovery, allow the case
         * where the file doesn't exist, and return zeroes instead.

(2)
gpadmin@sdw1:/data/m/gp4> PGOPTIONS='-c gp_session_role=utility'  pg_ctl start -D /data/m/gp4/
gpadmin@sdw1:~> PGOPTIONS='-c gp_session_role=utility' psql jtsjzx -p 60001
psql: FATAL:  invalid page header in block 4 of relation "pg_attribute"
gpadmin@sdw1:~> PGOPTIONS='-c gp_session_role=utility' psql template1 -p 60001
psql: PANIC:  could not open critical system index 2662 (relcache.c:2490)

gpadmin@sdw1:/data/m/gp4> postgres -P -O -D /data/m/gp4 -p 60001
錯誤同上.

--這里面有個疑惑: P參數(shù):disable system index  O參數(shù):allow system table structure changes.為啥仍然會報could not open critical system index


走到這一步,似乎已經(jīng)山窮水盡了,請教大牛們,可遇到這種情況,或者說有相應的文檔可以參考的?謝謝.

nozjz

-O你這里應該用不到。
-P表示查詢系統(tǒng)表時不使用索引，但是如果修改了系統(tǒng)表中的數(shù)據(jù)的話，還是會更新系統(tǒng)索引。
你這里的問題應該是讀取pg_class表中的oid為2662（pg_class_oid_index）的記錄時失敗，估計是pg_class表本身的數(shù)據(jù)有損壞。

osdba

psql: FATAL:  could not access status of transaction 3832760714
DETAIL:  Could not open file "pg_clog/0391": No such file or directory.

我維護GP中也發(fā)生過"could not access status of transaction 3832760714"，但不象你這樣，連文件都沒有了�？茨愕拿枋�，象是你的數(shù)據(jù)數(shù)據(jù)丟失很多，估計即使數(shù)據(jù)庫啟來，估計還會有很多不正常的地方。

另手工啟動底下結點時，不需要加 PGOPTIONS='-c gp_session_role=utility'，直接：
pg_ctl start -D /data/m/gp4/
就可以了。不知你為何要加這個？只有用psql連接時才需要PGOPTIONS='-c gp_session_role=utility'。

yanghong709

是的，不過好像是pg_attribute表有所損壞，但是進去之后，rebuild table pg_attribute仍然不行回復 2# nozjz


   

yanghong709

嗯，是的，不用加前面那一部分的。今天使用PGOPTIONS='-c gp_session_role=utility' psql -d postgres -p 50001可以進庫了，但是GP仍然啟動不了。

osdba 發(fā)表于 2012-04-17 14:03
psql: FATAL:  could not access status of transaction 3832760714
DETAIL:  Could not open file "pg_cl ...