服務(wù)器被黑后查找和修復(fù)的經(jīng)歷

freyson

今天突然在一臺(tái)測(cè)試機(jī)器上使用cp命令出現(xiàn)了segmentation fault的錯(cuò)誤，因?yàn)檫@臺(tái)機(jī)器很多人使用，而且是一臺(tái)開(kāi)發(fā)的測(cè)試機(jī)器,我無(wú)法排查具體問(wèn)題，只能針對(duì)這個(gè)出現(xiàn)的問(wèn)題解決，但是我從網(wǎng)上查了一下，說(shuō)是非法內(nèi)存操作，比如數(shù)組越界，例如申請(qǐng)b[5],卻訪問(wèn)到b[5]或者b[6],這也會(huì)很多情況，可能是循環(huán)操作時(shí)循環(huán)變量控制有問(wèn)題，可能是字符串拷貝時(shí)長(zhǎng)度發(fā)生溢出，指針指向了非法內(nèi)存。
對(duì)于這個(gè)錯(cuò)誤，我們輸入如下命令：
# alias
alias cp='cp -i'
alias l.='ls -d .* --color=tty'
alias ll='ls -l --color=tty'
alias ls='ls --color=tty'
alias mv='mv -i'
alias rm='rm -i'
alias vi='vim'
alias which='alias | /usr/bin/which --tty-only --read-alias --show-dot --show-tilde'
可以這樣解決unalias cp,但是好像不管用。我最后從一個(gè)相同的機(jī)器上拷貝一個(gè)cp文件放到/bin/目錄下，就解決了。
一開(kāi)始我以為這個(gè)是因?yàn)槲覀冮_(kāi)發(fā)人員修改程序造成系統(tǒng)的問(wèn)題，也就從別的機(jī)器拷貝過(guò)來(lái)文件，但是機(jī)器重新啟動(dòng)后，文件又出錯(cuò)了，
我后來(lái)查看那了一下日志文件,出現(xiàn)大量的信息：
Dec  8 06:34:22 localhost sshd(pam_unix)[6217]: authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=10.0.0.2  user=root
Dec  8 06:34:24 localhost sshd(pam_unix)[6219]: check pass; user unknown
Dec  8 06:34:24 localhost sshd(pam_unix)[6219]: authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=10.0.0.2
Dec  8 10:14:28 localhost sshd(pam_unix)[6239]: session opened for user root by (uid=0)
Dec  8 10:15:47 localhost sshd(pam_unix)[6284]: session opened for user root by (uid=0)
Dec  8 10:17:24 localhost sshd(pam_unix)[6239]: session closed for user root
有人在掃描我的機(jī)器，還有通過(guò)10.0.0.2 這個(gè)地址登錄，正常情況下，上班時(shí)間，這個(gè)地址是不可能來(lái)登錄的，這個(gè)地址可疑，我更換了系統(tǒng)密碼，然后在root下看到了腳本文件，正好自己拿下來(lái)研究一下，然后把這些文件都刪除了，看看那些命令不能正常使用，然后使用which命令找到這個(gè)命令的路徑，從正常的機(jī)器上拷貝過(guò)來(lái)就可以了。對(duì)于腳本文件先不發(fā)放了，我先研究研究，看能不能完善一下，呵呵.
不過(guò)問(wèn)題遠(yuǎn)沒(méi)有完，過(guò)了一會(huì)，grep命令也不能使用了，直接出現(xiàn)錯(cuò)誤segmentation fault ，重新啟動(dòng)機(jī)器。
啟動(dòng)的時(shí)候就報(bào)下面的錯(cuò)誤:
init:version 2.84 booting                        ok
welcome to /etc/rc.d/rc.sysinit: line 46 :  799 segmentation  fault   
LC_ALL=C grep -q "red hat"  /etc/redhat-release
red hat linux
press ’i’ to enter interactive startup
mounting proc filesystem:                       failed
/etc/rc.d/rc.sysinit: line 90:  44 segmentation fault     LC_ALL=C grep -q/initrd/proc/mounts
configuring kernel parameters: error:/ proc must be mounter to mount /proc at boot you need an /etc/fstab line like :
/proc /proc  proc   defaults
in the meantime, mount /proc /proc -t proc              failed
setting clock   .......                                              ok
loading default keymap(us)                                     ok
setting hostname                                                  ok
/etc/rc.d/rc.sysinit: line 182: 68 segmentation fault    LC_ALL=C grep -iq "nousb" /proc//cmdline 2>;/dev/null
/etc/rc.d/rc.sysinit :line 182: 69 segmentation fault    LC_ALL=C grep -q "usb" /proc/device 2 >;/dev/null
然后就停在這里不動(dòng)了.沒(méi)有辦法,只能進(jìn)入到rescue模式下面：
用第一張光盤(pán)啟動(dòng),在boot后面輸入:linux rescue
在問(wèn)您是否配置網(wǎng)絡(luò)的時(shí),選擇NO.下一步的時(shí)候選擇Continue
/bin/sh-3.00#chroot /mnt/sysimage
/sh-3.00#cat /etc/rc.d/rc.sysinit  (看了一下沒(méi)有什么不對(duì)的，假如您不會(huì)看的話。能夠直接從另外一臺(tái)機(jī)器機(jī)器copy過(guò)來(lái)覆蓋掉原來(lái)的)
我再把/etc/fstab目錄下面的proc這一行注釋掉了。其實(shí)這一行注釋掉了話。系統(tǒng)自己能重建這個(gè)目錄，再重啟，可是問(wèn)題依舊。后來(lái)參考網(wǎng)上的帖子說(shuō)有可能改了/sbin和/bin目錄下面的命令。我也覺(jué)得奇怪，我運(yùn)行g(shù)rep命令的時(shí)候總是報(bào)錯(cuò)。再比較了一下這個(gè)命令和正常機(jī)器上的命令大小，發(fā)現(xiàn)這個(gè)命令大了很多了。沒(méi)有辦法，我只好從另外正常的機(jī)器上cp /sbin和/bin目錄，覆蓋他原來(lái)的/sbin和/bin目錄下面的命令。注意，這里不要整個(gè)目錄覆蓋，最少是從目錄下面
/sh-3.00#mount /dev/sde1 /mnt/usb   (假如您開(kāi)始chroot了，請(qǐng)先exit出來(lái)，要不您mount的時(shí)候mount不上)
/sh-3.00#cp /mnt/usb/sbin/*   /mnt/sysimage/sbin
/sh-3.00#cp /mnt/usb/bin/*   /mnt/sysimage/bin
/sh-3.00#cp /mnt/usb/{rc,rc.local,rc.sysinit}  /mnt/sysimage/etc/rc.d   (把rc、rc.local、rc.sysinit也同時(shí)cp到/etc/rc.d/下面)
以上是我從網(wǎng)上搜索到的，說(shuō)用usb掛載的方式來(lái)做，但是我的服務(wù)器進(jìn)入修復(fù)模式是不能掛載usb的，我就想過(guò)用網(wǎng)絡(luò)方式，在配置網(wǎng)絡(luò)這一步時(shí)，我們選擇yes,然后配置網(wǎng)絡(luò)地址，我們進(jìn)入后，直接啟動(dòng)ssh，
sh-3.00#service sshd start
這樣我直接可以用scp來(lái)進(jìn)行文件拷貝了。
/bin/sh-3.00#chroot /mnt/sysimage
/sh-3.00#ssh xxx.xxx.xxx.xxx   #我們進(jìn)入內(nèi)網(wǎng)中另外一臺(tái)系統(tǒng)相同的服務(wù)器。
[email=root@localhost]root@localhost[/email]
~#tar -czvf /usr/{bin.tar.gz,sbin.tar.gz} /usr/bin,sbin
[email=root@localhost]root@localhost[/email]
~#scp bin.tar.gz
[email=root@xx.xx.xxx.xx:/backup]root@xx.xx.xxx.xx:/backup[/email]
[email=root@localhost]root@localhost[/email]
~#scp /etc/rc.d/{rc,rc.local,rc.sysinit}
[email=root@xx.xxx.xxx.xx:/backup]root@xx.xxx.xxx.xx:/backup[/email]
[email=root@localhost]root@localhost[/email]
~#exit #我們退出好的這臺(tái)機(jī)器。
然后在被黑的機(jī)器上，解壓，把文件覆蓋到相同的目錄下
然后重啟機(jī)器就可以了。


本文來(lái)自ChinaUnix博客，如果查看原文請(qǐng)點(diǎn)：http://blog.chinaunix.net/u1/49765/showart_2115001.html