【新手求助】wget大文件，如果保證下載完成？

xinglu1983

shell新手求助：

最近遇到個問題，需要定時（每周一次，自動執(zhí)行）wget大文件到本地，文件大小幾十G到上百G，命令如下：

1. nohup wget -c 遠(yuǎn)程url連接 -O 本地文件名 &

復(fù)制代碼

但是發(fā)現(xiàn)wget有中斷的現(xiàn)象：

如果通過shell寫到crontab里執(zhí)行，肯定就斷掉了，所以想請教下，有什么辦法能保證wget下載完整呢？

目前想到的笨方法，每隔個把小時啟動個檢查用的shell，去檢查nohup文件，如果發(fā)現(xiàn)giving up字符串，就清空nohup，重新wget -c ,一直到檢查出：The file is already fully retrieved; nothing to do.
不知道這種方法是否可行，或者有沒有更好的辦法？

jason680

回復(fù) 1# xinglu1983

How about the MD5 checksum

https://zh.wikipedia.org/zh-cn/MD5

應(yīng)用
MD5已經(jīng)廣泛使用在為文件傳輸提供一定的可靠性方面。例如，服務(wù)器預(yù)先提供一個MD5校驗和，用戶下載完文件以后，用MD5算法計算下載文件的MD5校驗和，然后通過檢查這兩個校驗和是否一致，就能判斷下載的文件是否出錯。


$ man md5sum
NAME
       md5sum - compute and check MD5 message digest

SYNOPSIS
       md5sum [OPTION]... [FILE]...
...

huazai0715

wget -b
對于下載非常大的文件的時候，可以使用參數(shù)-b進(jìn)行后臺下載。

xinglu1983

回復(fù) 2# jason680


    問題是需要下載的文件并沒有提供md5.。。。

xinglu1983

回復(fù) 3# huazai0715


    這個后臺下載可以避免中斷嗎？ 和 “&” 的作用有什么區(qū)別？

haooooaaa

回復(fù) 1# xinglu1983

就直接前臺下載好了，


運(yùn)行 screen

然后 wget ...

這樣SSH斷了也可以
   

Shell_HAT

回復(fù) 6# haooooaaa


    應(yīng)該不是這個原因，樓主的 nohup xxx & 和你說的 screen 差別不大。

haooooaaa

或者換個下載工具，

據(jù)說 linux 也有迅雷了。

jason680

回復(fù) 4# xinglu1983

那你還每周下載??
   

xinglu1983

回復(fù) 9# jason680


    他沒提供md5和我每周下載有什么關(guān)系？