系統(tǒng)掛機問題

finddream

最近在生產(chǎn)系統(tǒng)中經(jīng)常能碰見關(guān)于系統(tǒng)(RHEL4U3)不穩(wěn)定的問題，比如業(yè)務(wù)突然不正常，測試發(fā)現(xiàn)能ping通該生產(chǎn)機，但是telnet ip 22 (生產(chǎn)機開啟有SSH服務(wù)，端口為22)，無任何反應(yīng)，說明系統(tǒng)并沒有監(jiān)聽該服務(wù)。因為不在現(xiàn)場，無法進行實際的判斷，目前出現(xiàn)該問題的解決方法是重啟服務(wù)器后即可恢復(fù)正常。
不知出現(xiàn)該問題是否應(yīng)該叫做操作系統(tǒng)掛起那？但是ping能正常相應(yīng)，說明至少在網(wǎng)絡(luò)層上是沒有問題的。我想問下有沒有什么好的處理方法或者DEBUG來測試出現(xiàn)該問題的具體原因，先謝謝CU的兄弟了。

jerrywjl

最近在生產(chǎn)系統(tǒng)中經(jīng)常能碰見關(guān)于系統(tǒng)(RHEL4U3)不穩(wěn)定的問題，比如業(yè)務(wù)突然不正常，測試發(fā)現(xiàn)能ping通該生產(chǎn)機，但是telnet ip 22 (生產(chǎn)機開啟有SSH服務(wù)，端口為22)，無任何反應(yīng)，說明系統(tǒng)并沒有監(jiān)聽該服務(wù)。因為不在現(xiàn)場，無法進行實際的判斷，目前出現(xiàn)該問題的解決方法是重啟服務(wù)器后即可恢復(fù)正常。
不知出現(xiàn)該問題是否應(yīng)該叫做操作系統(tǒng)掛起那？但是ping能正常相應(yīng)，說明至少在網(wǎng)絡(luò)層上是沒有問題的。我想問下有沒有什么好的處理方法或者DEBUG來測試出現(xiàn)該問題的具體原因，先謝謝CU的兄弟了。

首先聲明一點，只要能夠ping通系統(tǒng)，證明系統(tǒng)沒有掛起。我所說的掛起實際上指的就是死機，在這種時候所有的交互，服務(wù)，應(yīng)用，包括系統(tǒng)日志和內(nèi)核日志都統(tǒng)統(tǒng)完蛋，因為這些都是基于操作系統(tǒng)的服務(wù)。
往往這個時候RHEL系統(tǒng)中通常有一種叫做watchdog的功能，該功能由內(nèi)核控制，只要在一定時候收不到內(nèi)核存活信號，他就會在屏幕上打一大堆的call trace信息，之后立即重啟系統(tǒng)。但假如預(yù)先沒有這種watchdog功能開啟的話，系統(tǒng)會在屏幕上顯示一大堆的報錯信息然后死在那里。
因此上面的這種情況，叫做掛起，或者叫hang。
對于上面這種情況，處理起來相對比較容易。


但是像你所說的，如果系統(tǒng)能夠回應(yīng)ping，只不過服務(wù)中斷和異常，交互沒有反應(yīng)。但就是因為能夠回應(yīng)ping包，所以證明系統(tǒng)其實沒有hang，這種情況叫做dead lock。
這樣的情況是最麻煩的。因為已經(jīng)根本沒有辦法對系統(tǒng)進行控制，也無法拿出日志或者debug來獲得系統(tǒng)出現(xiàn)異常的原因。

fsm11

你試一試吧防火墻停止了看看。

7717060

1.如果在內(nèi)網(wǎng)是不是路由器封鎖了22（我遇見過此情況）
2.查一下系統(tǒng)日志看看哪的問題
3寫一腳本不段檢查服務(wù)是否正常提供，如果否，著啟動服務(wù)

jerrywjl

之所以說hang這種情況比較容易對付，是因為可以通過一種叫做netdump服務(wù)在當(dāng)前系統(tǒng)hang的時候把他內(nèi)存中的所有參數(shù)抓出來，放到另外一臺叫做netdump server的服務(wù)器上，該服務(wù)器的作用就是監(jiān)控可能死機的服務(wù)器并在他死機的時候獲得他的內(nèi)存信息，這個東西叫做dump core；而被監(jiān)控的這臺機器就叫做netdump client。當(dāng)然每次抓出來的東西會根據(jù)你的client內(nèi)存大小不同而不同，如果你的client有16G內(nèi)存，搞不好你抓出來的dump core得用好幾張DVD來放，抓出來的dump core可以提供給RED HAT高級工程師用于分析和查找系統(tǒng)死機原因。

當(dāng)然前提是你必須購買兩套以上的RHEL訂閱，并處于訂閱服務(wù)期內(nèi)，一般情況下都能夠獲得系統(tǒng)死機的真正原因。不過你要有足夠自信的話也可以自己去看，反正我是看不懂。

這應(yīng)該就是RHEL比windows好的地方。

jerrywjl

但假如說是dead lock，對不起，只能等待系統(tǒng)重啟之后去分析日志了。

finddream

感覺應(yīng)該是dead lock