網(wǎng)絡(luò)管理中流量采集技術(shù)的應(yīng)用

zonyonq

摘  要  對(duì)于網(wǎng)絡(luò)
管理
員來(lái)說(shuō)，理解網(wǎng)絡(luò)流量的特性，了解用戶(hù)的網(wǎng)絡(luò)行為是網(wǎng)絡(luò)管理的重要內(nèi)容，這可以通過(guò)網(wǎng)絡(luò)流量采集與分析來(lái)實(shí)現(xiàn)。本文介紹了幾種流量采集技術(shù)以及各自的優(yōu)缺點(diǎn)，并重點(diǎn)介紹了網(wǎng)絡(luò)管理中的NetFlow技術(shù)的應(yīng)用。    關(guān)鍵字  網(wǎng)絡(luò)流量  流量采集   NetFlow     對(duì)于一個(gè)有效的網(wǎng)絡(luò)管理系統(tǒng)來(lái)說(shuō)，管理功能的實(shí)現(xiàn)都或多或少的依賴(lài)于網(wǎng)絡(luò)流量信息的獲取。因此網(wǎng)絡(luò)流量信息采集可以說(shuō)是網(wǎng)絡(luò)管理系統(tǒng)得以實(shí)現(xiàn)的核心。無(wú)論是流量費(fèi)用統(tǒng)計(jì)還是用來(lái)分析、預(yù)測(cè)網(wǎng)絡(luò)運(yùn)行狀況，對(duì)于原始數(shù)據(jù)的可靠性和完整性的要求都是比較高的。使用一種較為合理的網(wǎng)絡(luò)流量采集技術(shù)，不僅使所采集的原始數(shù)據(jù)較為準(zhǔn)確、完整，而且對(duì)網(wǎng)絡(luò)上相關(guān)設(shè)備的影響較小。目前有4種常用的方法用于網(wǎng)絡(luò)流量數(shù)據(jù)的采集分析：
    (1)基于偵聽(tīng)網(wǎng)絡(luò)數(shù)據(jù)包的包分析模式；    (2)基于路由器MIB庫(kù)的SNMP代理模式；    (3)基于安插網(wǎng)絡(luò)探針（PROBE）技術(shù)的IP流量數(shù)據(jù)捕獲形式；    (4)基于網(wǎng)絡(luò)數(shù)據(jù)流(NETFLOW)技術(shù)的數(shù)據(jù)流捕獲形式。
    前兩種是比較傳統(tǒng)的方法�；�于偵聽(tīng)網(wǎng)絡(luò)數(shù)據(jù)包的包分析模式的優(yōu)點(diǎn)是：容易實(shí)現(xiàn)。缺點(diǎn)是：a.工作站設(shè)備的浪費(fèi)；b增加網(wǎng)絡(luò)的故障點(diǎn),c.只能得到有關(guān)網(wǎng)絡(luò)流量大小的信息，但是無(wú)法提供流量中有關(guān)應(yīng)用類(lèi)型的信息�；�于SNMP的網(wǎng)絡(luò)信息采集系統(tǒng)的優(yōu)點(diǎn)是：可以有效地解決包監(jiān)聽(tīng)模式的缺點(diǎn)。缺點(diǎn)：a.采集的網(wǎng)絡(luò)流量數(shù)據(jù)沒(méi)有經(jīng)過(guò)任何處理，因此對(duì)數(shù)據(jù)采集數(shù)據(jù)庫(kù)的性能要求很高，相應(yīng)的對(duì)機(jī)器硬盤(pán)空間的要求也很高；b.對(duì)網(wǎng)絡(luò)帶寬造成一定的損耗;c.對(duì)路由器的CPU和內(nèi)存資源占用較大；d.由于記錄很多，因此選擇一個(gè)好的采集間隔就比較困難，而且隨著網(wǎng)絡(luò)使用情況的變化，該間隔可能會(huì)不適用，從而導(dǎo)致數(shù)據(jù)的丟失。第三種技術(shù)出現(xiàn)較晚，雖然技術(shù)先進(jìn)，但由于其實(shí)現(xiàn)依賴(lài)于固定廠家的專(zhuān)有設(shè)備，故具有一定的限制性。
    下面介紹一種新的網(wǎng)絡(luò)流量數(shù)據(jù)采集方法，也就是基于網(wǎng)絡(luò)數(shù)據(jù)流技術(shù)的數(shù)據(jù)流捕獲形式。它可以有效地解決傳統(tǒng)采集方式中存在的缺點(diǎn)，并且提高網(wǎng)絡(luò)使用的效率，減輕路由器的負(fù)載情況，也就是在路由器上配置NetFlow，通過(guò)配置的NetFlow數(shù)據(jù)輸出UDP來(lái)進(jìn)行網(wǎng)絡(luò)信息采集。
1  NetFlow技術(shù)簡(jiǎn)介
1.1  NetFlow交換    NetFlow交換是Cisco公司為網(wǎng)絡(luò)管理員提供的可以獲得數(shù)據(jù)網(wǎng)中IP flow信息的一種新的交換技術(shù)。NetFlow交換是在網(wǎng)絡(luò)層實(shí)現(xiàn)高性能的交換，它提供了一種高效的機(jī)制，可以用來(lái)處理安全訪問(wèn)列表，從而不必像其它交換方式那樣，為完成同樣的任務(wù)而付出很高的性能代價(jià)。NetFlow交換識(shí)別主機(jī)之間的網(wǎng)絡(luò)流量，并在提供服務(wù)的同時(shí)，對(duì)網(wǎng)絡(luò)流量中的分組進(jìn)行交換。NetFlow交換對(duì)現(xiàn)有的網(wǎng)絡(luò)是完全透明的，可以在單個(gè)網(wǎng)絡(luò)設(shè)備中獨(dú)立地進(jìn)行，而不必在網(wǎng)絡(luò)中的每個(gè)路由器中都操作它，網(wǎng)絡(luò)規(guī)劃人員可以有選擇地激活NetFlow交換，這樣可以在特定的網(wǎng)絡(luò)位置上進(jìn)行數(shù)據(jù)流交換、控制和記賬。
1.2  NetFlow數(shù)據(jù)報(bào)文    從配置了NetFlow交換的Cisco路由器上，就可以收集流量統(tǒng)計(jì)的NetFlow流量數(shù)據(jù)信息，NetFlow以UDP數(shù)據(jù)報(bào)文的形式來(lái)輸出信息，可以通過(guò)Cisco路由器上的配置指定NetFlow流量信息的接收者。目前NetFlow輸出的數(shù)據(jù)報(bào)文有V1、V5、V7、V8等不同的版本，取決于Cisco路由器的型號(hào)及其IOS的版本。但無(wú)論哪個(gè)版本，NetFlow報(bào)文都是由兩部分構(gòu)成，即報(bào)文頭（Header）和一個(gè)或多個(gè)流信息記錄（Flow Record），如圖1所示：

圖1  NetFlow數(shù)據(jù)報(bào)文    報(bào)文頭中的版本信息（Version number）來(lái)決定如何理解這些數(shù)據(jù)報(bào)文；記錄個(gè)數(shù)（Record count）字段表明該數(shù)據(jù)報(bào)文中包含的流信息記錄的個(gè)數(shù)，可以用它來(lái)對(duì)記錄進(jìn)行索引；序列號(hào)（Sequence number）字段可用來(lái)判斷NetFlow報(bào)文是否有丟失的情況發(fā)生。
2  具體配置    以下內(nèi)容描述了在路由器上NetFlow的配置和維護(hù)。
2.1 配置NetFlow交換    NetFlow交換是可用的交換模式之一。當(dāng)在一個(gè)接口上配置NetFlow時(shí)，這個(gè)接口就不能使用其它的交換模式了。還有，利用NetFlow交換，可以把數(shù)據(jù)輸出到一個(gè)遠(yuǎn)端工作站，以便進(jìn)一步處理它們。在一個(gè)路由器中，NetFlow交換涉及到標(biāo)識(shí)數(shù)據(jù)包信息流、執(zhí)行交換和處理訪問(wèn)列表。它不涉及路由器之間的任何連接設(shè)置協(xié)議，也不涉及對(duì)其它任何網(wǎng)絡(luò)設(shè)備或端點(diǎn)工作站的連接設(shè)置協(xié)議。它也不要求對(duì)數(shù)據(jù)包本身或其它任何網(wǎng)絡(luò)設(shè)備進(jìn)行任何外部修改。所以，NetFlow交換對(duì)現(xiàn)有的網(wǎng)絡(luò)，包括端點(diǎn)工作站、應(yīng)用軟件以及諸如局域網(wǎng)交換機(jī)是完全透明的。并且，由于NetFlow交換是在每一個(gè)互聯(lián)網(wǎng)設(shè)備上獨(dú)立運(yùn)行的，不需要在網(wǎng)絡(luò)中的每個(gè)路由器中都操作它，網(wǎng)絡(luò)規(guī)劃人員可以在路由器/接口的基礎(chǔ)上有選擇地激活 NetFlow交換，從而就可以在特定的網(wǎng)絡(luò)位置上進(jìn)行數(shù)據(jù)流交換、控制和記賬。
    完成IP路由器配置后，可以進(jìn)行以下的配置：任務(wù)命令第一步，指定接口，進(jìn)入接口配置模式Interface type slot/port- adapter（Cisco 7500系列路由器）第二步，指定信息流交換Ip route_cache flow 
               
               
               
                一般，NetFlow高速緩存的默認(rèn)大小可以滿(mǎn)足需要。然而還可以增加或減少高速緩存中保留的條數(shù)目，來(lái)滿(mǎn)足信息流比率的需要。默認(rèn)只是64K流動(dòng)高速緩存條目，每個(gè)高速緩存條目大約占用64bytes的存儲(chǔ)空間。假定高速緩存中的條目數(shù)為默認(rèn)值，那么大概就需要4MB的DRAM。每次從自由流隊(duì)列中取走一個(gè)新的信息流，就會(huì)檢查自由流的個(gè)數(shù)，如果只剩下幾個(gè)自由信息流，那么NetFlow就試圖用一個(gè)縮短的失效時(shí)間將30個(gè)信息流“老化”。如果只剩下一個(gè)自由信息流，那么NetFlow就自動(dòng)老化30個(gè)信息流，而不考慮這些信息流的以實(shí)際存在的時(shí)間是多少。這樣做是為了保證總可以得到自由的信息流條目。
    在全局配置的模式下，進(jìn)行以下操作定制NetFlow緩存的條目數(shù)量：
任務(wù)命令改變NetFlow高速緩存中保留的條目的個(gè)數(shù)。該條目數(shù)可以是1024到524288。默認(rèn)值是65536。Ip flow-cache entries number    Cisco建議不要修改NetFlow高速緩存條目，對(duì)這個(gè)功能不正確的應(yīng)用會(huì)引發(fā)網(wǎng)絡(luò)問(wèn)題�？梢栽谌�局配置模式下利用no ip flow-cache entries返回默認(rèn)的NetFlow高速緩存條目。
2.2  配置NetFlow數(shù)據(jù)輸出    Netflow交換信息可以輸出到網(wǎng)絡(luò)
管理
應(yīng)用程序中，為了在信息流到期時(shí)，將NetFlow高速緩存中的保留的NetFlow交換的統(tǒng)計(jì)信息輸出到一個(gè)工作站。在輸出數(shù)據(jù)時(shí)，可以指定發(fā)送的信息的格式版本。    將一個(gè)NetFlow流的交換統(tǒng)計(jì)數(shù)據(jù)從NetFlow緩存的維護(hù)中輸出，應(yīng)該在配置模式下使用如下的操作：任務(wù)命令第一步，把NetFlow高速緩存條目輸出到工作站Ip flow-export ip-address udp-port[version 1] 第二步，配置NetFlow發(fā)送信息的版本(1/5),如果你使用接收軟件采用版本5。ipflow-export version{1|5[origin-as|peer-as]}第三步，配置NetFlow所使用的源接口以指定輸出NetFlow數(shù)據(jù)的源ip flow-export source interface
2.3 管理NetFlow交換統(tǒng)計(jì)數(shù)據(jù)    用于顯示或者清除NetFlow交換的統(tǒng)計(jì)數(shù)據(jù)。NetFlow的統(tǒng)計(jì)數(shù)據(jù)包括IP包的大小、IP流的交換緩存信息、以及諸如協(xié)議、總的流量、每秒的流量等的流信息。這些信息可以用來(lái)查找路由器的交通信息.下表列出了這些命令：任務(wù)命令顯示NetFlow交換統(tǒng)計(jì)數(shù)據(jù)show ip cache flow顯示NetFlow交換統(tǒng)計(jì)數(shù)據(jù)clear ip flow stats
3  結(jié)果    通過(guò)實(shí)驗(yàn)與傳統(tǒng)的網(wǎng)絡(luò)流量采集模式所能夠獲得的資料對(duì)比，很明顯的知道，NetFlow所取得的信息并沒(méi)有對(duì)每一個(gè)網(wǎng)絡(luò)包都做一條記錄，而是對(duì)共用一條NetFlow記錄的包做了統(tǒng)一的歸類(lèi)總結(jié)。這樣NetFlow所能夠提供給用戶(hù)的信息就是已經(jīng)經(jīng)過(guò)了合理的處理，十分方便用戶(hù)的進(jìn)一步提取，分析。而且在一條流記錄中，一般使用了該記錄的各種包（WWW包、FTP包、SMTP包等）的數(shù)目都不止一個(gè)。因此配置了NetFlow后對(duì)整個(gè)網(wǎng)絡(luò)管理突出的優(yōu)點(diǎn)如下：
    *可以獲得比較詳細(xì)的信息，利于計(jì)費(fèi)，分析等用途；    *可以節(jié)省網(wǎng)絡(luò)帶寬和路由器CPU資源；    *便于集中的統(tǒng)一管理，尤其是適于類(lèi)似網(wǎng)絡(luò)中心的單位使用；    *配置簡(jiǎn)單     但也有一定的缺點(diǎn)：    *只能使用在沒(méi)有配置虛網(wǎng)的接口上；    *對(duì)硬件平臺(tái)的配置要求比較高；    *不便與分布式的管理。
4  結(jié)束語(yǔ)    總的來(lái)說(shuō)，在路由器上配置NetFlow，好處還是顯而易見(jiàn)的。特別是對(duì)于網(wǎng)絡(luò)流量負(fù)荷比較大的網(wǎng)絡(luò)，可以有效的節(jié)省網(wǎng)絡(luò)帶寬和處理資源，從而減少用戶(hù)從網(wǎng)絡(luò)上取得信息的延遲時(shí)間。通過(guò)配置NetFlow，網(wǎng)絡(luò)管理者還可以方便有效的對(duì)網(wǎng)絡(luò)流量進(jìn)行分析、處理以便作為計(jì)費(fèi)或者流量控制或者網(wǎng)絡(luò)規(guī)劃的參考。
參考文獻(xiàn)：    [1]謝希仁. 
計(jì)算機(jī)
網(wǎng)絡(luò). 大連理工大學(xué)出版社    [2]譚思亮. 監(jiān)聽(tīng)與隱藏—網(wǎng)絡(luò)偵聽(tīng)揭秘與數(shù)據(jù)保護(hù)技術(shù). 求是科技. 人民郵電出版社    [3]何海濤，羅笑南，郭清順.  NetFlow在邊界網(wǎng)流量采集中的應(yīng)用.計(jì)算機(jī)工程與應(yīng)用    [4]李文印，周?chē)?guó)治，張福春. 網(wǎng)絡(luò)計(jì)費(fèi)系統(tǒng)數(shù)據(jù)采集技術(shù)研究.計(jì)算機(jī)應(yīng)用    [5]http://www.cisco.com


本文來(lái)自ChinaUnix博客，如果查看原文請(qǐng)點(diǎn)：http://blog.chinaunix.net/u/20223/showart_1896328.html