關(guān)于流量特性分析的一點想法

cheeryanhua

很長時間沒來CU了,最近做了點關(guān)于流量分析相關(guān)的工作.跟大家交流下
1.在城域網(wǎng)出口,做流量的實時監(jiān)控,在大數(shù)據(jù)量的情況下,如何進行流量的采樣
  現(xiàn)在一般的采樣算法是:1,基于抽樣理論進行,隨機采樣
                      2,固定時間周期采樣
                      3固定包數(shù)采樣
                      4,基于HASH的采樣

我現(xiàn)在想達(dá)到這種目的,基于業(yè)務(wù)應(yīng)用的自適應(yīng)采樣,能夠基于業(yè)務(wù)應(yīng)用的特點進行采樣,不知道誰做過這方面的研究沒有??主要的想法是能夠通過動態(tài)調(diào)整這個HASH樹的大小，并且能保證原來的HASH樹調(diào)整變化最小.這個就需要對HASH散列值進行仔細(xì)的分析,這樣能夠動態(tài)采樣到我們需要的包,并且這個包能夠在任何地點都能夠采樣到.

2.快速會聚算法,如何進行快速的流量會聚,在10G流量下,在基于采樣的條件下,的高速會聚算法,現(xiàn)在經(jīng)常使用的是基于五元組的HASH會聚,但是應(yīng)該如何選擇HASH函數(shù),是一個比較重要的選擇因素,HASH函數(shù)需要散列比較均允,隨即性比較好，這樣才能HASH桶才比較好，最合理的桶的調(diào)整因素是什么??還有的就是這種關(guān)于HASH的便里問題，如何按照順序進行便里,如何對100萬以上的HASH表進行便例,是一個比較重要的考慮因素,現(xiàn)在考慮的是HASH紅黑樹,或者HASH AVL樹,大家是否有更好的方法.

以上談的是關(guān)于流量的監(jiān)控問題,得到這些信息后，我們就能夠根據(jù)自己的需要進行相關(guān)的分析,TOPN等等分析.
而后就是需要將流量的會聚信息能夠快速入庫,關(guān)于快速入庫,以后可以做為一個專題進行分析，但是有一條就是直接通過數(shù)據(jù)庫的SQL語句進庫,目前看來速度是不足的，但是通過文件方式入庫速度是可行的，但是如何進行入庫,就需要根據(jù)數(shù)據(jù)庫的特點進行,這個是比較的一塊.但是最近看了這個RRD,其中對這個基于時間序列的記錄入庫進行了優(yōu)化,是否有朋友對其設(shè)計進行研究,如果有,能否談下自己的看法??

快速入庫以后就是這個流量的分析與檢模了,我們對業(yè)務(wù)進行測量,不同的測量單位可以得到不同的信息，對流量的測量單位可以按照分,小時,天,周,月,年等單位進行分析,不同的單位可以得到不同的規(guī)律信息，這些規(guī)律信息就需要根據(jù)需要信息的不同進行應(yīng)用了，但是基本的是,單位長精度不足,但是可以得到長期規(guī)律性的東西，精度高,消耗資源多，準(zhǔn)確性高,并且容易受到噪音的干擾，長期的由于可以將相關(guān)噪音淹沒在數(shù)據(jù)中.

今天就談到這里了，大家如果感興趣可以接著發(fā)表自己的意見