高(gāo)速骨幹網流量采集與分(fēn)流實現(xiàn)方案
所謂流量采集,就(jiù)是(shì)将網絡流量通(tōng)過物(wù)理層、數據鏈路(lù)層的信号解析和解幀,實現(xiàn)IP原始報文的獲取。骨幹網流量采集系統是(shì)一種對骨幹網進行(xíng)流量獲取并分(fēn)析的系統,主要(yào)應用于運行(xíng)商廣告推送、運行(xíng)商計費(fèi)取證服務、運行(xíng)商信令監控服務、園區網審計、大(dà)數據分(fēn)析等領域。
2、高(gāo)速網絡流量采集系統随着以太網技術和光纖通(tōng)信技術的應用,骨幹網帶寬的增長及規模的擴大(dà),大(dà)規模的網絡流量采集面臨着數據規模龐大(dà)和流量日益複雜的挑戰,傳統的基于軟件(jiàn)的流量采集技術的性能已然無法滿足要(yào)求。現(xiàn)有的高(gāo)速骨幹網流量采集方案主要(yào)分(fēn)爲三類:基于多(duō)核處理器的流量采集方案,基于交換芯片的流量采集方案,和基于FPGA的網絡流量采集方案。
每種方案各有特色,下文将一一進行(xíng)說明。
a)基于多(duō)核處理器的高(gāo)速網絡流量采集系統多(duō)核處理器能夠提供強大(dà)的并行(xíng)計算能力,應用于流量采集系統的主要(yào)型号有Broadcom的XLP、XLR、XLS,Cavium的CN6880、CN5880,以及Tilera的TILE-GX36等。采用此方案的系統可(kě)編程實現(xiàn)流量采集,還可(kě)對報文進行(xíng)修改,具有較高(gāo)的靈活性。但(dàn)系統CPU的處理能力有限,無法真正實現(xiàn)線速處理,整體(tǐ)性能不(bù)會(huì)很(hěn)高(gāo),但(dàn)是(shì)由于有處理器的參與,比較複雜的處理,如流表的管理、應用層協議識别、Radius上線與報文綁定等功能比較容易實現(xiàn)。
交換芯片的價格較便宜,且有成熟的套片解決方案可(kě)供參考。但(dàn)其過濾功能非常弱,隻支持非常簡單的精确多(duō)元組過濾,無法做深度報文檢測(DPI: Deep Package Inspection),且無法支持POS和WAN等以太網接口,這(zhè)也使得基于交換芯片的流量采集方案在實際使用的範圍受到限制(zhì)。
c)基于FPGA的高(gāo)速網絡流量采集系統基于FPGA的解決方案目前較少,主要(yào)原因是(shì)FPGA芯片價格較貴,且需自(zì)行(xíng)設計所有高(gāo)速電(diàn)路(lù)和過濾算法,技術門檻較高(gāo),需要(yào)深厚的研發能力。但(dàn)其兼有多(duō)核系統的高(gāo)靈活性和交換系統的高(gāo)性能,優勢也是(shì)非常明顯的。
基于多(duō)核處理器 |
基于多(duō)核處理器 | 基于多(duō)核處理器 | |
芯片價格 |
一般 | 較低(dī) | 較高(gāo) |
硬件(jiàn)設計難易度 |
一般 | 較容易 | 較難 |
軟件(jiàn)開(kāi)發難易度 |
一般 | 較容易 | 較難 |
常見(jiàn)網絡接口的兼容性 |
中 | 低(dī) | 高(gāo) |
流量采集的靈活性 |
高(gāo) | 低(dī) | 一般 |
是(shì)否實現(xiàn)線速處理 |
否 | 否 | 是(shì) |
基于多(duō)核處理器+交換芯片的流量采集方案是(shì)目前應用最爲普遍的方案,雖然系統整體(tǐ)價格略貴,但(dàn)軟硬件(jiàn)發開(kāi)難度不(bù)大(dà),入門門檻較低(dī)。
但(dàn)随着FPGA的發展,其內(nèi)部資源日益豐富,特别是(shì)內(nèi)部嵌入了大(dà)量IP核,在處理速率、邏輯容量等方面不(bù)斷提升,基于FPGA的方案受到了越來(lái)越多(duō)的關注,國(guó)內(nèi)外(wài)許多(duō)研究機構及公司先後推出了基于FPGA的網絡流量采集系統。
圖2所示是(shì)常見(jiàn)基于FPGA的流量采集系統的結構圖,流量采集及預處理平台獲取網絡端口送來(lái)的網絡數據包,并對數據包進行(xíng)流量統計和分(fēn)析,最終根據流量分(fēn)析的結果将網絡數據包進行(xíng)分(fēn)流重新轉發回網絡中。系統采用硬件(jiàn)和軟件(jiàn)協同實現(xiàn)設計思路(lù),對于數據包的協議解析、數據預處理都由硬件(jiàn)電(diàn)路(lù)實現(xiàn);後端服務器進行(xíng)流量的具體(tǐ)分(fēn)析處理。通(tōng)過預處理平台對流量進行(xíng)分(fēn)類歸并和低(dī)負載數據傳輸,有效減少了後端服務器的工(gōng)作量;服務器對預處理後的數據進行(xíng)處理,可(kě)以有效降低(dī)流量處理過程的負載開(kāi)銷。
3、小(xiǎo)結戎騰網絡科(kē)技有限公司推出的100G采集設備(采用ATCA-NTW6401機箱和HFC602業(yè)務處理闆卡)是(shì)目前市面上大(dà)量部署并實網驗證的設備,10G獨立機箱設備(PET160/320)是(shì)目前大(dà)量部署實網長期穩定運行(xíng)的高(gāo)密度協轉設備,3G/LTE産品(ATCA-NTW6402)由于采用軟硬結合方案(FPGA+NPU),單闆處理能力達到40G bps 3G GRE/ 160G LTE,具有較高(gāo)的性價比。