NBU7102備份文件，中間經過NAT轉換，報錯13/24/42/58

rand1985

環(huán)境：
master server： aix 6.1
client： windows 2008 R2（是集群）
NBU：7.1.0.2

master 與client之間有防火墻，NAT

備份文件，文件總量有510GB，文件數(shù)量有130萬左右
在備份過程中，備份報錯：13、24、42、58
其中多以24,42出現(xiàn)

測試后發(fā)現(xiàn)，小的文件夾可以備份完成，但是大的文件夾無法完成備份。報錯24,42,13。


client 端的bkbkar的日志（部分）：
15:59:39.069: [5992.7116] <2> TransporterRemote::write[2](): DBG -  | An Exception of type [SocketWriteException] has occured at: |   Module: @(#) $Source: src/ncf/tfi/lib/TransporterRemote.cpp,v $ $Revision: 1.54 $ , Function: TransporterRemote::write[2](), Line: 321 |   Local Address: [::]:0 |   Remote Address: [::]:0 |   OS Error: 10054 (遠程主機強迫關閉了一個現(xiàn)有的連接。
) |   Expected bytes: 16384 |  (../TransporterRemote.cpp:321)
15:59:39.069: [5992.7116] <16> tar_tfi::processException:
An Exception of type [SocketWriteException] has occured at:
  Module: @(#) $Source: src/ncf/tfi/lib/TransporterRemote.cpp,v $ $Revision: 1.54 $ , Function: TransporterRemote::write[2](), Line: 321
  Module: @(#) $Source: src/ncf/tfi/lib/Packer.cpp,v $ $Revision: 1.89 $ , Function: Packer::getBuffer(), Line: 656
  Module: tar_tfi::getBuffer, Function: H:\71\src\cl\clientpc\util\tar_tfi.cpp, Line: 312
  Local Address: [::]:0
  Remote Address: [::]:0
  OS Error: 10054 (遠程主機強迫關閉了一個現(xiàn)有的連接。
)
  Expected bytes: 16384


作業(yè)詳情：


2013-12-25 16:08:58 - Info nbjm (pid=7733264) starting backup job (jobid=59994) for client hzcmbdfs, policy hzcmbdfs, schedule hzcmbdfs-auto
2013-12-25 16:08:58 - Info nbjm (pid=7733264) requesting STANDARD_RESOURCE resources from RB for backup job (jobid=59994, request id:{CEB1A308-6D3B-11E3-9066-759916130000})
2013-12-25 16:08:58 - requesting resource hz_nbu-hcart2-robot-tld-0
2013-12-25 16:08:58 - requesting resource hz_nbu.NBU_CLIENT.MAXJOBS.hzcmbdfs
2013-12-25 16:08:58 - requesting resource hz_nbu.NBU_POLICY.MAXJOBS.hzcmbdfs
2013-12-25 16:08:59 - granted resource  hz_nbu.NBU_CLIENT.MAXJOBS.hzcmbdfs
2013-12-25 16:08:59 - granted resource  hz_nbu.NBU_POLICY.MAXJOBS.hzcmbdfs
2013-12-25 16:08:59 - granted resource  HZ0019
2013-12-25 16:08:59 - granted resource  HP.ULTRIUM5-SCSI.000
2013-12-25 16:08:59 - granted resource  hz_nbu-hcart2-robot-tld-0
2013-12-25 16:08:59 - estimated 505568104 kbytes needed
2013-12-25 16:08:59 - Info nbjm (pid=7733264) started backup job for client hzcmbdfs, policy hzcmbdfs, schedule hzcmbdfs-auto on storage unit hz_nbu-hcart2-robot-tld-0
2013-12-25 16:08:59 - started process bpbrm (pid=8061202)
2013-12-25 16:09:04 - Info bpbrm (pid=8061202) hzcmbdfs is the host to backup data from
2013-12-25 16:09:04 - Info bpbrm (pid=8061202) reading file list from client
2013-12-25 16:09:04 - connecting
2013-12-25 16:09:07 - Info bpbrm (pid=8061202) starting bpbkar on client
2013-12-25 16:09:07 - connected; connect time: 0:00:00
2013-12-25 16:09:09 - Info bpbkar (pid=4520) Backup started
2013-12-25 16:09:09 - Info bpbrm (pid=8061202) bptm pid: 6422646
2013-12-25 16:09:09 - Info bptm (pid=6422646) start
2013-12-25 16:09:09 - Info bptm (pid=6422646) using 65536 data buffer size
2013-12-25 16:09:09 - Info bptm (pid=6422646) using 30 data buffers
2013-12-25 16:09:09 - Info bptm (pid=6422646) start backup
2013-12-25 16:09:09 - Info bptm (pid=6422646) backup child process is pid 8323386
2013-12-25 16:09:09 - Info bptm (pid=6422646) Waiting for mount of media id HZ0019 (copy 1) on server hz_nbu.
2013-12-25 16:09:09 - mounting HZ0019
2013-12-25 16:09:56 - Info bptm (pid=6422646) media id HZ0019 mounted on drive index 0, drivepath /dev/rmt0.1, drivename HP.ULTRIUM5-SCSI.000, copy 1
2013-12-25 16:09:56 - mounted HZ0019; mount time: 0:00:47
2013-12-25 16:09:56 - positioning HZ0019 to file 31
2013-12-25 16:11:38 - positioned HZ0019; position time: 0:01:42
2013-12-25 16:11:38 - begin writing
2013-12-25 16:22:04 - Error bptm (pid=8323386) system call failed - A connection with a remote socket was reset by that socket. (at child.c.1295)
2013-12-25 16:22:04 - Error bptm (pid=8323386) unable to perform read from client socket, connection may have been broken
2013-12-25 16:22:04 - Critical bpbrm (pid=8061202) from client hzcmbdfs: FTL - socket write failed
2013-12-25 16:22:46 - Info bptm (pid=6422646) EXITING with status 42 <----------
2013-12-25 16:22:46 - Error bpbrm (pid=8061202) could not send server status message
2013-12-25 16:22:48 - Info bpbkar (pid=4520) done. status: 42: network read failed
2013-12-25 16:22:48 - end writing; write time: 0:11:10
network read failed  (42)



******

******
2013-12-25 15:02:50 - Info nbjm (pid=7733264) starting backup job (jobid=59993) for client hzcmbdfs, policy hzcmbdfs, schedule hzcmbdfs-auto
2013-12-25 15:02:50 - Info nbjm (pid=7733264) requesting STANDARD_RESOURCE resources from RB for backup job (jobid=59993, request id:{91600EBC-6D32-11E3-9069-61546DD60000})
2013-12-25 15:02:50 - requesting resource hz_nbu-hcart2-robot-tld-0
2013-12-25 15:02:50 - requesting resource hz_nbu.NBU_CLIENT.MAXJOBS.hzcmbdfs
2013-12-25 15:02:50 - requesting resource hz_nbu.NBU_POLICY.MAXJOBS.hzcmbdfs
2013-12-25 15:02:50 - granted resource  hz_nbu.NBU_CLIENT.MAXJOBS.hzcmbdfs
2013-12-25 15:02:50 - granted resource  hz_nbu.NBU_POLICY.MAXJOBS.hzcmbdfs
2013-12-25 15:02:50 - granted resource  HZ0019
2013-12-25 15:02:50 - granted resource  HP.ULTRIUM5-SCSI.003
2013-12-25 15:02:50 - granted resource  hz_nbu-hcart2-robot-tld-0
2013-12-25 15:02:50 - estimated 505568104 kbytes needed
2013-12-25 15:02:50 - Info nbjm (pid=7733264) started backup job for client hzcmbdfs, policy hzcmbdfs, schedule hzcmbdfs-auto on storage unit hz_nbu-hcart2-robot-tld-0
2013-12-25 15:02:50 - started process bpbrm (pid=9044320)
2013-12-25 15:02:55 - Info bpbrm (pid=9044320) hzcmbdfs is the host to backup data from
2013-12-25 15:02:55 - Info bpbrm (pid=9044320) reading file list from client
2013-12-25 15:02:55 - connecting
2013-12-25 15:03:05 - Info bpbrm (pid=9044320) starting bpbkar on client
2013-12-25 15:03:05 - connected; connect time: 0:00:00
2013-12-25 15:03:07 - Info bpbkar (pid=2656) Backup started
2013-12-25 15:03:07 - Info bpbrm (pid=9044320) bptm pid: 9175096
2013-12-25 15:03:08 - Info bptm (pid=9175096) start
2013-12-25 15:03:08 - Info bptm (pid=9175096) using 65536 data buffer size
2013-12-25 15:03:08 - Info bptm (pid=9175096) using 30 data buffers
2013-12-25 15:03:08 - Info bptm (pid=9175096) start backup
2013-12-25 15:03:08 - Info bptm (pid=9175096) backup child process is pid 8978612
2013-12-25 15:03:08 - Info bptm (pid=9175096) Waiting for mount of media id HZ0019 (copy 1) on server hz_nbu.
2013-12-25 15:03:08 - mounting HZ0019
2013-12-25 15:04:10 - Info bptm (pid=9175096) media id HZ0019 mounted on drive index 4, drivepath /dev/rmt3.1, drivename HP.ULTRIUM5-SCSI.003, copy 1
2013-12-25 15:04:10 - mounted HZ0019; mount time: 0:01:02
2013-12-25 15:04:10 - positioning HZ0019 to file 31
2013-12-25 15:05:50 - positioned HZ0019; position time: 0:01:40
2013-12-25 15:05:50 - begin writing
2013-12-25 15:21:04 - Error bptm (pid=8978612) system call failed - A connection with a remote socket was reset by that socket. (at child.c.1295)
2013-12-25 15:21:04 - Critical bpbrm (pid=9044320) from client hzcmbdfs: FTL - socket write failed
2013-12-25 15:21:04 - Error bptm (pid=8978612) unable to perform read from client socket, connection may have been broken
2013-12-25 15:21:04 - Error bptm (pid=9175096) media manager terminated by parent process
2013-12-25 15:22:03 - Error bpbrm (pid=9044320) could not send server status message
2013-12-25 15:22:05 - Info bpbkar (pid=2656) done. status: 24: socket write failed
2013-12-25 15:22:05 - end writing; write time: 0:16:15
socket write failed  (24)

請教�。�！

rand1985

這個是一個比較大的文件備份，在將此備份策略進行拆分以后，數(shù)據(jù)量小的文件都可以備份完成，但是數(shù)據(jù)量大的文件無法成功，報錯13、24、42還有58

做過如下測試：
1、拆分備份策略
2、使用多數(shù)據(jù)流備份
3、使用flashbackup-windows方式備份

備份時間在18分鐘左右，備份速度在15MB（千兆網卡）


相關調整：

1、timeout值設為7200 （client read timeout ，client connect timeout ）
2、communications buffer szie=128 kilo（原值為16）
3、FW上做一對一轉換


請教！

maoj2008

基本上看應該還是網絡連接的問題�？赡苁蔷W絡負荷太高。
檢查一下“Problems report”看里面有沒有什么提示信息？ 然后再具體看一下NBU的log了

rand1985

回復 3# maoj2008


    謝謝maoj2008
網絡備份速度：
  使用多數(shù)據(jù)流備份的速度可以達到15*4 MB/s；無論是ms-windows 還是flashbackup-windows  速度都在18MB/s ,只是在最后報錯的時候備份速度有時會下降到8MB/s
而且備份時段也是放在單獨的空閑時間。

netdaddy

回復 2# rand1985


調小keep ailve interval看看:
http://www.symantec.com/business ... t&id=TECH188129

rand1985

回復 5# netdaddy

謝謝netdaddy

這些都調整過，效果不明顯。備份同樣報錯！

rand1985

針對報錯做過以下的調整：

在master 和client上創(chuàng)建分別調試日志


打開master server 和 client端的日志級別，確認legacy log VERBOSE = 5
Master server 上，確認添加VERBOSE = 5 到 /usr/openv/netbackup/bp.conf 文件，
可以執(zhí)行命令/usr/openv/netbackup/bin/admincmd/ bprdreq  –rereadconfig
也可以重啟NBU服務。
在master server上創(chuàng)建的調試日志目錄有：
/usr/openv/netbackup/logs/bptm
/usr/openv/netbackup/logs/bpcd
/usr/openv/netbackup/logs/vnetd

在使用flashbackup-windows備份類型測試的時候，創(chuàng)建bpfis文件


client server上，點擊“開始 >所有程序>Symantec NetBackup>Backup Archive & Restore“ ，
在BAR console界面， File >  Netbackup Client Properties > Troubleshooting, 設置General level為2， Verbose level為5 。
重啟NBU服務
創(chuàng)建的日志目錄有:
<install_path>\netbackup\logs\bpbkar
<install_path>\netbackup\logs\bpbrm
<install_path>\netbackup\logs\bpcd
<install_path>\netbackup\logs\vnetd

就NBU給出的報錯信息，初步判斷NBU備份報錯是因為client與master server的聯(lián)接上有問題

1、檢查當前NBU master  server和client的hosts解析；
2、咨詢客戶最近一段時間的環(huán)境變化，主要是client ，F(xiàn)irewall和 網絡上的變更，確認后，最近無相關變更；
3、檢查當前報錯信息，觀察其特點

******

1、修改hosts文件，使得NBU的解析更明確，和優(yōu)先
2、調整timeout值【當前的timeout值默認為300，在上次已經將master server的timeout值修改為7200，client端的timeout未做修改】
在master server上timeout值
Console-master servers-雙擊master server-在打開窗口點擊timeout-client read timeout及client connect timeout，由300調整到7200
在client上timeout值
Console-Clients-雙擊對應clients-在打開窗口點擊timeout-client read timeout（只有一個參數(shù)）由300調整到7200
3、/usr/openv/netbackup/bp.conf
在這個文件中添加一行信息（請一定注意大小寫）
REQUIRED_INTERFACE = 10.60.7.66  
【master server和media server上都有相同的參數(shù)，在master server，7.1版本上有bp.conf 文件下的REQUIRED_NETWORK參數(shù)，
在media server上有REQUIRED_INTERFACE = host_name參數(shù)】

******
1、在master server上修改tcp_keepidle值
/usr/sbin/no -o tcp_keepidle=600 （NBU要求改成5分鐘）
備注：此種類型的修改不是永久修改，aix 系統(tǒng)重啟后，會自動失效
2、修改聯(lián)接緩沖區(qū)的值【默認是16 kb，修改為128 】
修改Console- Host Properties-Clients- Client Properties-Windows Client - ClientSettings -
Communication buffer size = 128
修改完成后重啟NBU服務
3、修改客戶端注冊表
HKEY_LOCAL_MACHINE\SOFTWARE\VERITAS\NetBackup\CurrentVersion\Config, specify
a registry value (of type "String") called "REQUIRED_INTERFACE" 值為99.60.4.92
【此地址是目前群集的活動節(jié)點的管理IP address】   

******
1、在Windows 平臺上， 利用regedit來修改系統(tǒng)注冊表，
修改HKEY_LOCAL_MACHINE\\SYSTEM\CurrentControlSet\Services\Tcpip\Parameters下的以下三個參數(shù)：
（默認都沒有，需要新建，重啟操作系統(tǒng)）
KeepAliveTime,設置其值為300000(單位為毫秒，300000代表5分鐘) （Type: REG_DWORD)
KeepAliveInterval,設置其值為1000 （Type: REG_DWORD)
TcpMaxDataRetransmissions,設置其值為5（Type: REG_DWORD)
2、 HKEY_LOCAL_MACHINE\Software\VERITAS\NetBackup\CurrentVersion\Config

In the Config registry key, create a new key called NTIO

In the NTIO registry key, create a REG_DWORD value, give it the name UseNTIO, and the value 0 (zero)

Note: Fast I/O is enabled by default.  Setting the UseNTIO registry key set to zero (0) disables Fast I/O.

To enable NTIO set the registry key to one (1) or remove the key.
3、在備份策略上增加checkpoint 為10min
4、netsh int tcp global autotuning = disabled
    netsh int tcp global chimney = disabled
5、master server（unix）上調整：
   /usr/sbin/no -o tcp_keepinit=50
   /usr/sbin/no -o tcp_keepintvl=50
   
*******
1、更改被備份策略的備份方式，將現(xiàn)有策略拆分為多個策略 備份類型為 MS-windows；
2、更改被備份策略的備份方式，使用Flashbackup-windows 方式備份；
3、更改被備份策略的備份方式，使用多數(shù)據(jù)流方式備份
4、對備份網絡做優(yōu)化：/usr/openv/netbackup/NET_BUFFER_SZ    ----131072  ---262144


******
1、更改防火墻參數(shù)：延遲參數(shù)，設置為7200
2、設置防火墻的的訪問控制地址轉換為長鏈接
3、將firewall的ＯＳ管理系統(tǒng)的快速長鏈接重用設置為：開

*******
1、升級NIC驅動程序和firmware
2、將網卡配置為全雙工，是服務器和交換機相匹配

以上的調整，備份仍然報錯，備份時長從原來的20min左右，可以備份到3個小時左右，部分小的文件目錄可以備份完成，大的文件目錄備份仍然備份報錯。


解決方法：
在外網增加media server，使用這臺media server備份文件服務器。

rand1985

因為是備份大量小文件，在開始的一年多里都能備份成功，但是不知道在問題發(fā)生時是什么原因。據(jù)了解文件數(shù)量和文集容量變化不大。
高手有好的方法，還希望不吝賜教！

netdaddy

回復 8# rand1985


    建議：

1. 升級NBU版本到最新
2. 在Master Server同網段找一臺Client備份同樣的目錄進行測試。

liuxiaozhe

防火墻的參數(shù)看看是不是有time_out的參數(shù)設置