10G分(fēn)流器:傳統産品與新的挑戰

網絡分(fēn)流器(Network Distributor)是(shì)一種網絡流量過濾采集設備,工(gōng)作在第三、四層,專門用于互聯網流量分(fēn)析領域,是(shì)一種爲降低(dī)後端分(fēn)析而進行(xíng)流量過濾、衰減、交換和分(fēn)流的設備。目前已有的分(fēn)流器包括千兆、10G(POS、WAN、LAN)、40G(POS、LAN)、100G以太網、PON(EPON、GPON)、WIFI、3G和LTE等。

分(fēn)流器有時候又稱爲流量采集器(Traffic Collector)或者網絡探針(Network Probe)。

1、引言

10G骨幹鏈路(lù)從(cóng)2003年開(kāi)始在運營商部署應用,到現(xiàn)在已經有十多(duō)年了。10G鏈路(lù)又分(fēn)爲10G LAN(以太網)、10G POS和10G WAN。十年以前,在這(zhè)類鏈路(lù)上執行(xíng)網絡審計、信令分(fēn)析、大(dà)數據分(fēn)析、IDC防護和內(nèi)容審計對各個廠商而言都是(shì)比較大(dà)的挑戰,這(zhè)主要(yào)是(shì)因爲:

(1)當時,10G骨幹鏈路(lù)技術隻掌握在路(lù)由器廠商手中,而路(lù)由器廠商相(xiàng)對比較強勢。分(fēn)流器需要(yào)大(dà)容量規則、分(fēn)組分(fēn)流、特征模式、DNS規則、兩級表過濾、輸出QoS、動态IP監控等特殊功能,要(yào)求硬件(jiàn)生産廠家(jiā)必須深入創新,開(kāi)發新的産品。但(dàn)是(shì)路(lù)由器廠商認爲這(zhè)是(shì)一個小(xiǎo)衆市場(chǎng),不(bù)願意投入人(rén)員(yuán)來(lái)研發,而是(shì)使用路(lù)由器(或者是(shì)經過局部修改的路(lù)由器線卡)充當分(fēn)流器,而流量分(fēn)析領域的廠商不(bù)具備議價和協商的能力。

(2)分(fēn)析領域廠商本身對業(yè)務和加速能力缺乏完整理解,分(fēn)析領域廠商擅長于從(cóng)普通(tōng)以太網網卡捕獲報文,然後用軟件(jiàn)方式進行(xíng)流重組和協議分(fēn)析,其所有的技術沉澱都在X86平台上。這(zhè)類解決方案需要(yào)大(dà)量的服務器以集群方式堆積來(lái)形成完整的10G鏈路(lù)分(fēn)析系統,性能通(tōng)常不(bù)會(huì)很(hěn)高(gāo)。

(3)以前的服務器的處理能力有限,因爲核比較少,內(nèi)存訪問(wèn)的延遲無法隐藏,即使經過反複的優化(huà),也無法達到Gbps以上的處理性能。

當前的形勢已經完全不(bù)一樣,分(fēn)流器領域競争激烈,形成了戎騰網絡(www.rtnetworks.com.cn)等幾家(jiā)具有競争力的廠家(jiā),且分(fēn)析領域廠商經過十年的積累已經對業(yè)務有了較好的沉澱,敢于提出自(zì)己的需求,也深刻了解了計算負載如何在硬件(jiàn)和軟件(jiàn)之間(jiān)分(fēn)配。另外(wài),服務器的流量處理能力也從(cóng)300-400Mbps提高(gāo)了2Gbps左右。

因此,10G分(fēn)流器當前面臨着要(yào)增加新的功能、增加密度并進一步降低(dī)成本的問(wèn)題。

2、挑戰

估計目前在全國(guó)範圍三大(dà)運營商中,骨幹鏈路(lù)和骨幹鏈路(lù)邊緣的10G光纖(包括10G LAN、10G WAN和10G POS)達到了萬條左右的規模。在如此多(duō)的鏈路(lù)上部署審計和信令分(fēn)析系統,面臨一些新的挑戰:

(1)如何保護用戶投資并擴展單機箱對不(bù)同鏈路(lù)的支持能力:運營商的網絡是(shì)逐步建設起來(lái)的,這(zhè)決定了在一個城市,鏈路(lù)種類比較多(duō),包括2.5G、10G、40G和100G等多(duō)種。即使在10G鏈路(lù)上,又分(fēn)爲10G以太網LAN、10G以太網WAN和10G POS等形态。很(hěn)多(duō)時候,分(fēn)析廠商可(kě)能直到上線才知道(dào)鏈路(lù)層的協議類型。

(2)如何增加産品的密度:由于鏈路(lù)多(duō)、種類複雜,設備的密度最好比較高(gāo),體(tǐ)系比較小(xiǎo),功耗比較低(dī)。

(3)精細分(fēn)流能力:能夠在流一級基于DPI(深度報文檢測)過濾掉絕大(dà)部分(fēn)的流量,這(zhè)樣才能有效降低(dī)後端分(fēn)析服務器的負載。

(4)性價比:十年以前,分(fēn)流器占到整體(tǐ)解決方案成本的50%,目前雖然降到了20%左右,但(dàn)是(shì)成本仍然是(shì)廠家(jiā)重要(yào)的考慮因素。

3、解決方案

傳統10G分(fēn)流器一般隻有簡單的協議轉換、萬條級的多(duō)元組過濾、分(fēn)組分(fēn)流等功能,随着技術的發展,支持串規則、流管理、DNS規則、千萬條以上多(duō)元組規則等應用需求被挖掘出來(lái),需要(yào)硬件(jiàn)廠商具備更強的研發實力和技術沉澱。

新型分(fēn)流設備一般采用圖1所示的處理流程。



圖1 新型10G分(fēn)流設備處理流程


在整個處理流程中,數據提取針對不(bù)同的鏈路(lù)執行(xíng)不(bù)同的功能,如普通(tōng)以太網采用PHY芯片完成此功能,而POS和WAN則需要(yào)Framer。多(duō)元組過濾和內(nèi)容過濾有軟件(jiàn)和硬件(jiàn)兩種處理方式。

其中內(nèi)容過濾的處理能力十分(fēn)關鍵,在2.5G/s POS鏈路(lù)上最大(dà)報文吞吐率爲6Mpacket/s,每一個報文的最短(duǎn)處理時間(jiān)爲167ns。10G/s POS鏈路(lù)的最大(dà)報文吞吐率爲26Mpacket/s,每一個報文的最短(duǎn)處理時間(jiān)爲37ns。當前,在高(gāo)速關鍵字匹配方面,有FPGA+SRAM、TCAM以及純軟件(jiàn)幾種方式,分(fēn)别有其相(xiàng)應的優缺點。使用TCAM(Ternary Content Addressable Memory)進行(xíng)關鍵字過濾具有速度快(kuài)、規則動态性好等特點,但(dàn)是(shì)由于TCAM是(shì)基于最先匹配的,即隻能報告最先匹配的地(dì)址。而內(nèi)容審計和應用行(xíng)爲分(fēn)析是(shì)基于多(duō)匹配的,即同一個報文可(kě)能匹配多(duō)個關鍵字,且TCAM具有長度受限的特點。TCAM用于解決內(nèi)容模式多(duō)匹配,要(yào)解決長規則和規則存儲順序兩個問(wèn)題。鏈接共享多(duō)匹配(Linking Shared Multi-Match,LSMM)是(shì)一種較好的解決方案。其基本思想是(shì):TCAM每個表項由前段号和段內(nèi)容組成。若TCAM中存儲有n個表項,則需要(yào)在每個表項中擴展位用于存儲前段規則的地(dì)址(前鏈域)。每次進行(xíng)匹配前,将要(yào)匹配的內(nèi)容前面加上前鏈域,送入TCAM器件(jiàn)進行(xíng)匹配。命中規則的前綴段時,需要(yào)将其記錄到存儲器中,稱之爲部分(fēn)命中表,記錄命中的報文位置和段索引。通(tōng)過TCAM良序的規則分(fēn)配方法,将規則長度任意的規則集分(fēn)配存儲到TCAM中之後,則對任何匹配規則集中多(duō)個規則的報文,不(bù)會(huì)遺漏任何一次匹配。

大(dà)規模流管理是(shì)另一項關鍵技術,好的散列方式,并在DDR的多(duō)個通(tōng)道(dào)和Bank之間(jiān)并行(xíng)訪問(wèn)存儲器,可(kě)以提高(gāo)部分(fēn)性能。另外(wài),可(kě)以通(tōng)過智能流表分(fēn)配、無鎖定超時、多(duō)通(tōng)道(dào)虛拟隊列等配套技術來(lái)提高(gāo)流管理的性能。

綜合考慮設備的密度、體(tǐ)積、功耗和成本,戎騰網絡(www.rtnetworks.com.cn)的10G分(fēn)流器(包括PET160A、PET160B、PET320A和PET320B)通(tōng)過多(duō)元組過濾、流管理和DNS規則對報文進行(xíng)過濾,能夠執行(xíng)更精細的流量分(fēn)類。PET設備采用模塊化(huà)結構,可(kě)以擴展子卡來(lái)增加對接口的支持能力。獨有的多(duō)鏈路(lù)協議封裝(MPE)使得數據提取模塊組件(jiàn)化(huà),可(kě)以在1U機箱內(nèi)支持32個網口,每個網口可(kě)以是(shì)千兆以太網、2.5G POS、10G LAN、10G POS、10G WAN、40G以太網等不(bù)同類型,且每個接口的輸入和輸出可(kě)以完全不(bù)同,用戶可(kě)以自(zì)由配置,除40G以太網需要(yào)配置不(bù)同的子卡之外(wài),其他接口都可(kě)以采用一種子卡(隻需要(yào)進行(xíng)軟件(jiàn)配置)。



圖2 PET160




圖3 PET320


這(zhè)讓用戶的選擇餘地(dì)更多(duō),如果隻有1-2對鏈路(lù),可(kě)以使用PET160配置一塊子卡。如果鏈路(lù)比較多(duō),可(kě)以選擇PET320滿配。超過PET320鏈路(lù)容量時,可(kě)以使用PET設備串接。如圖4所示,3台PET320B可(kě)以實現(xiàn)92個接口流量的輸入,最大(dà)容量達到920Gbps。如果繼續擴展,可(kě)以增加更多(duō)的輸入接口,且其輸入鏈路(lù)類型可(kě)以各不(bù)相(xiàng)同。這(zhè)顯著地(dì)增加了系統的可(kě)擴展性,保護了用戶的投資。


圖4 PET320串接部署
4、結論

在高(gāo)速網絡環境下,随着主幹網絡帶寬和流量的急劇增加,複雜網絡應用的層出不(bù)窮,傳統網絡IDS、內(nèi)容審計系統、信令分(fēn)析系統在數據捕獲和數據處理方面面臨很(hěn)大(dà)的挑戰。10G分(fēn)流器是(shì)一個複雜的系統,設計和實現(xiàn)這(zhè)樣的系統需要(yào)綜合考慮成本、體(tǐ)積、功耗、密度,以及所需要(yào)的精細分(fēn)流功能。