1、應用背景

骨幹網流量采集主要(yào)應用于運行(xíng)商廣告推送、運行(xíng)商計費(fèi)取證服務、運行(xíng)商信令監控服務、園區網審計、大(dà)數據分(fēn)析等應用領域。

我們在骨幹網流量采集領域，經常會(huì)遇到采集、負載均衡、分(fēn)流、彙聚等各種術語，這(zhè)些術語之間(jiān)是(shì)什麽關系呢(ne)？

所謂流量采集，就(jiù)是(shì)将網絡流量通(tōng)過物(wù)理層、數據鏈路(lù)層的信号解析和解幀，實現(xiàn)IP原始報文的獲取。由于以通(tōng)用CPU爲核心的傳統分(fēn)析平台的處理能力總是(shì)有限的，所以一定方式的過濾（或稱爲流量衰減），不(bù)僅可(kě)以降低(dī)後端服務器的負載，而且可(kě)以降低(dī)整個系統的功耗和成本。另外(wài)，要(yào)實現(xiàn)流量采集，必須實現(xiàn)鏈路(lù)層的轉換，如對POS、WAN進行(xíng)轉換，或者高(gāo)速率鏈路(lù)如40G POS到10GE的轉換，100GE到10GE的轉換。采集之後的輸出有通(tōng)過以太網報文輸出（PET采集設備：www.rtnetworks.com.cn/pet320flq.html）或者PCI總線直接到服務器內(nèi)存（智能網卡：www.rtnetworks.com.cn/pcap2.html）兩種。

而負載均衡與分(fēn)流基本上屬于同一個術語，就(jiù)是(shì)在輸出流量超過後端處理能力的情況下，以服務器集群方式處理流量的一種方式，流量分(fēn)發一般基于流保持方式，即同源同宿同MAC。傳統的Hash方式雖然能夠将報文散列到不(bù)同的後端處理端，但(dàn)是(shì)由于存在巨流，分(fēn)流效果一般不(bù)會(huì)很(hěn)好，自(zì)适應分(fēn)流方式具有更好的均衡性。負載均衡與分(fēn)流稍微(wēi)有一點區别，一般說負載均衡時，會(huì)強調采集設備對後端處理能力的感知性，能夠動态調整；而分(fēn)流則一般由采集設備自(zì)主分(fēn)配流量（受後端控制(zhì)）。

彙聚（www.rtnetworks.com.cn/tc2402.html）是(shì)負載均衡或者分(fēn)流的逆過程，當前的彙聚，一般用于千兆到萬兆，主要(yào)用于需要(yào)長途傳輸流量，或者後端分(fēn)離(lí)服務器基于萬兆網卡而采集流量基于千兆兩種場(chǎng)合。

2、用戶需求

（1）如何實現(xiàn)高(gāo)密度，低(dī)功耗的采集設備：在選擇廠家(jiā)時要(yào)特别注意其設備的密度，交換容量、輸入接口密度，輸出接口密度，輸入輸出是(shì)否能夠複用等。通(tōng)常情況下，高(gāo)密度的設備其單位流量的平均功耗要(yào)小(xiǎo)，而非ATCA獨立設備比ATCA設備功耗要(yào)小(xiǎo)。

（2）如何降低(dī)用戶成本：輸入輸出接口複用是(shì)降低(dī)成本的有效方式，如一個萬兆接口，如果其輸入接口可(kě)以爲WAN，而輸出接口可(kě)以是(shì)10GE，則可(kě)以有效降低(dī)用戶的成本。用戶接口是(shì)否可(kě)以更換，平台是(shì)否能夠平滑升級也是(shì)要(yào)考慮的問(wèn)題。另外(wài)，非ATCA獨立設備一般比ATCA設備價格更便宜。

（4）分(fēn)流均衡性：Hash算法的選擇是(shì)分(fēn)流均衡性的關鍵，例如，CRC32比CRC16的均衡性要(yào)好，而CRC16又比異或的均衡性要(yào)好。好的均衡性依賴于采集設備的智能，當存在巨流時，要(yào)能夠自(zì)動将同一個MAC上新産生的流量調整到其他的服務器。另外(wài)，當後端分(fēn)析服務器出現(xiàn)故障時，要(yào)能夠自(zì)動切換。

3、關鍵技術

3.1 100G成幀關鍵技術

随着多(duō)核處理、虛拟化(huà)、網絡存儲等技術的發展，企業(yè)計算環境和骨幹鏈路(lù)對鏈路(lù)帶寬的要(yào)求越來(lái)越高(gāo)。對當前數據中心中的10G以太網計算機設備和将來(lái)40G以太網需要(yào)交換機到交換機之間(jiān)的連接采用100G接口。同樣的要(yào)求，在ISP處也有。100G是(shì)現(xiàn)在将來(lái)一段時間(jiān)內(nèi)Internt互聯及新服務和消費(fèi)者及企業(yè)用戶的完美解決方案。

由于IPTV、視(shì)頻點播等業(yè)務，遠程存儲、移動寬帶業(yè)務、VPN服務等廣泛應用，運營商骨幹網的流量在持續增加，Internet服務提供商（ISP）和網絡服務提供商（NSP）對高(gāo)帶寬的需求不(bù)斷增加。目前，客戶到運營商的連接已經在快(kuài)速擴展到10GE，典型情況下，骨幹網絡的連接需要(yào)客戶連接的4到10倍，才能保證足夠的性能。

按照(zhào)IEEE 802.3ba标準，100G Base-R PCS Cores包括100G擾碼處理，64b/66b編碼和解碼，多(duō)Lane分(fēn)發，邊界對其插入、塊同步以及時鐘(zhōng)解耦等技術。

MLD（Multi-Lane Distribution）模塊将數據分(fēn)發到20個虛拟的Lane上。實現(xiàn)了CGMII（100G介質介質獨立接口）。當前沒有一種媒體(tǐ)（光纖或電(diàn)信号）能夠單流直接傳輸100Gb/s以太網信号，2010年IEEE802.3ba标準正式發布，在光傳輸接口上針對不(bù)同傳輸距離(lí)定義了100GBASE-SR10、100GBASE-LR4和100GBASE-ER4三種接口規範。100GBASE-SR10采用10對OM3 MMF/OM4 MMF光纖，每路(lù)光纖傳輸速率爲10Gb/s，傳輸距離(lí)分(fēn)别是(shì)100m/150m，100GBASE-LR4和100GBASE-ER4都采用SMF，采用LAN WDM技術用4個不(bù)同波長的光來(lái)傳輸，每個波長傳輸25Gb/s數據，傳輸距離(lí)分(fēn)别是(shì)10km和40km。

同樣的電(diàn)氣接口也采用并行(xíng)Lane來(lái)傳輸數據，IEEE802.3ba标準定義的CAUI接口，使用10 Lane電(diàn)氣接口，每個Lane傳輸10Gb/s數據。爲了有效利用10 Lane來(lái)傳輸100GE數據必須解決多(duō)通(tōng)道(dào)的數據封裝映射、對齊等問(wèn)題，這(zhè)是(shì)本成果中解決的關鍵技術，IEEE802.3ba标準中這(zhè)個功能是(shì)在PCS中實現(xiàn)的。

戎騰的解決方案是(shì)：光接口采用的是(shì)商用的100GE的CFP或者CFP2光模塊，實現(xiàn)100GE光信号到CAUI電(diàn)接口的轉換，通(tōng)過使用不(bù)同光模塊可(kě)以支持100GBASE-SR10、100GBASE-LR4和100GBASE-ER4等應用場(chǎng)合，光模塊輸出的是(shì)10路(lù)10Gbps的數據，再進行(xíng)後續的處理。

3.2 軟過濾技術

流量過濾本質上是(shì)一種報文分(fēn)類技術，雖然本文僅闡述骨幹網流量采集的關鍵技術，實際上，報文分(fēn)類是(shì)防火(huǒ)牆、QoS、區分(fēn)服務（DiffServ）、入侵檢測系統、網絡取證系統的基礎，雖然有EGT-PC、RFC、Efficuts等較爲經典的軟件(jiàn)算法，目前應用普遍的仍然是(shì)基于硬件(jiàn)搜索引擎TCAM（Ternary Content Addressing Memory）的方式，主要(yào)原因是(shì)高(gāo)速骨幹網絡對報文分(fēn)類性能的要(yào)求非常高(gāo)，已有的軟件(jiàn)算法或者規則增加的可(kě)擴展性不(bù)好，或者進行(xíng)規則更新的靈活性不(bù)強。通(tōng)常，評估一種報文分(fēn)類方法是(shì)否可(kě)行(xíng)，有下面一些指标：

比較已有的方法和算法，目前尚無一種相(xiàng)對完備的解決方案，如表1所示。

在大(dà)規模流量采集體(tǐ)系結構中，由于計算結點的處理能力不(bù)可(kě)能覆蓋所有的流量，對于已通(tōng)過其他手段證實其合法的流量，可(kě)以直接過濾而不(bù)需送到計算單元中進行(xíng)大(dà)規模的還原、存儲與數據挖掘，因此高(gāo)性能、存儲空間(jiān)要(yào)求不(bù)高(gāo)、靈活性、經濟性和适用性好的方法是(shì)其必然要(yào)求。

在整個數據處理流程中，報文提取可(kě)以通(tōng)過MPE技術實現(xiàn)10G POS和10G以太網的報文獲取，流管理由于涉及複雜的超時、存儲空間(jiān)申請、鏈表查找等操作，一般不(bù)适合于硬件(jiàn)處理。而多(duō)元組匹配傳統上使用TCAM實現(xiàn)，特征匹配使用專用加速搜索引擎。

考慮TCAM的經濟性、适用性，采購(gòu)周期等綜合因素，戎騰網絡創造性的提出了一種基于FPGA的CMT（Common Mask Tree）算法，算法在研制(zhì)的PET平台上，實現(xiàn)了320G的性能。

其基本方法爲将規則集中的每一條規則轉換爲相(xiàng)應的多(duō)維前綴，并利用這(zhè)些前綴的公共掩碼将傳統前綴匹配問(wèn)題轉化(huà)爲多(duō)級精确匹配問(wèn)題，後者可(kě)用哈希表達到O(1)的查找速率。同時利用原子操作實現(xiàn)了一套FPGA環境下的快(kuài)速規則更新算法。

3.3 軟硬協同的3G/LTE監控技術

3G和LTE的廣泛部署，爲移動終端的普及提供了基礎。截止2014年6月，中國(guó)網民(mín)規模達到6.32億，其中使用手機上網的用戶比例達到83.4%，已經超過使用PC上網的用戶比例（80.9%）。

移動網絡的發展也産生了新的網絡安全問(wèn)題，利用移動通(tōng)信互聯網逃避監管的網絡行(xíng)爲也在不(bù)斷增加。犯罪人(rén)員(yuán)利用互聯網的高(gāo)科(kē)技性和虛拟性，使其犯罪行(xíng)爲時常無法對其進行(xíng)懲罰或是(shì)有效的預防。主要(yào)的安全挑戰包括：

（1）用戶從(cóng)傳統固網遷移到移動網絡後，對網絡攻擊行(xíng)爲和網絡犯罪如何快(kuài)速反應、定位和溯源；

（2）新業(yè)務管控難度大(dà)：微(wēi)博、社交網站(zhàn)等新業(yè)務具有兩面性，安全管控的難度大(dà)；

（3）如何通(tōng)過數據挖掘，提取有價值的情報和攻擊信息。

面對錯綜複雜的移動網絡業(yè)務和多(duō)樣的終端類型，原有的網絡安全管控手段已顯得力不(bù)從(cóng)心。如果缺乏針對3G/LTE網絡的細粒度安全管控措施，相(xiàng)關監管機構将難以掌控不(bù)同客戶及終端的網絡行(xíng)爲；更爲嚴重的是(shì)，傳統互聯網中一些不(bù)良信息，如非法宣傳、網絡病毒、網絡攻擊、垃圾郵件(jiàn)等，借助LTE網絡這(zhè)一平台可(kě)能在更大(dà)範圍內(nèi)傳播泛濫，對網絡安全和可(kě)信造成嚴重威脅。

爲解決移動無線網絡的數據取證問(wèn)題，有兩種可(kě)能的技術途徑：一是(shì)從(cóng)空口上抓取數據包并進行(xíng)分(fēn)析，這(zhè)種方式一方面需要(yào)部署的設備特别多(duō)，另外(wài)空口數據解密有其固有的困難；另一種方式是(shì)數據落地(dì)後進行(xíng)流量獲取，又有在基站(zhàn)後端、移動核心網和互聯網三種不(bù)同的采集位置。分(fēn)析比較三種不(bù)同的采集位置，基站(zhàn)後端部署點具有鏈路(lù)多(duō)，安裝困難的特點；而互聯網采集則無法溯源；移動核心網鏈路(lù)較少（一般一個省8條到64條），具有完整的上網認證信息、用戶通(tōng)信流量和信令流量，是(shì)比較可(kě)靠的數據采集點，但(dàn)是(shì)移動核心網的流量不(bù)同于傳統的固網流量。3G/LTE核心網絡審計的複雜性，主要(yào)表現(xiàn)在封裝方式複雜。 這(zhè)種複雜性爲網絡取證帶來(lái)了以下挑戰：

（1）取證前端設備是(shì)一種輔助設備，而非實際産生經濟效益的設備，不(bù)可(kě)能如GGSN、PDSN那麽昂貴，即必須在整體(tǐ)成本控制(zhì)的前提下，提高(gāo)前端設備的性價比；

（2）由于在某些制(zhì)式中，一個以太網幀中可(kě)能封裝上百個終端分(fēn)片，這(zhè)些分(fēn)片是(shì)以特殊字符分(fēn)割的。因此，必須進行(xíng)全包掃描以定位終端分(fēn)片，而留給每個報文的處理時間(jiān)并不(bù)長。在當前核心網普遍采用10G以太網鏈路(lù)的情況下，每個報文的處理時間(jiān)隻有37ns。要(yào)在37ns的時間(jiān)內(nèi)進行(xíng)全包掃描，并定位每個終端的報文分(fēn)片，必須采用非常規的手段。單就(jiù)整個處理流程的中全包掃描一個環節，目前實際上尚沒有能夠掃到20Gbps的商用掃描技術。

（3）必須将登錄認證信息與IP地(dì)址關聯：網絡取證的最終目的是(shì)定位有非法網絡行(xíng)爲的用戶，由于目前在移動網絡中普遍采用動态IP地(dì)址分(fēn)配技術，單純定位違法IP已經無法解決真正的溯源問(wèn)題，必須将IMSI号與用戶報文關聯，使得一旦非常行(xíng)爲被發現(xiàn)，即可(kě)通(tōng)過IMSI号找到現(xiàn)實世界的真實用戶。 爲解決無線移動網絡數據取證面臨的挑戰，并充分(fēn)考慮移動網絡的特點，戎騰網絡設計實現(xiàn)了軟硬結合的3G/LTE系統結構。通(tōng)過普通(tōng)固網線卡收集流量，識别3G/LTE報文，并定位終端分(fēn)片的位置；然後分(fēn)流到綜合業(yè)務處理卡（CDP1000），并在CDP1000上采用定制(zhì)硬件(jiàn)完成流量聚合和報文提取，通(tōng)過多(duō)核NPU完成三層分(fēn)片重組、VJ解壓縮；完整的的報文獲取後，實現(xiàn)高(gāo)速流管理和內(nèi)容搜索。

4、小(xiǎo)結

網絡技術的發展日新月益，當前三網融合已經成爲大(dà)的趨勢，3G已經鋪開(kāi)應用，LTE已經試點運行(xíng)，由于光進銅退帶動了PON技術的迅猛發展及廣泛應用，這(zhè)些都是(shì)傳統取證平台不(bù)具備的功能，留下了監管和信令分(fēn)析的空白(bái)，必須适時研制(zhì)新的設備，幫助運營商優化(huà)網絡，并使互聯網社會(huì)與現(xiàn)實社會(huì)一樣處于良序運行(xíng)狀态中。 而在傳統的固網領域，全國(guó)10G POS等骨幹鏈路(lù)已經達到上萬條，必須采用通(tōng)過新的技術創新降低(dī)原有取證系統的成本。

同時，由于大(dà)數據時代的來(lái)臨，廣告商開(kāi)始日益關注網絡廣告、ISP服務商不(bù)僅關注網絡運營情況（ISP流量分(fēn)析領域），也需要(yào)給用戶一個計費(fèi)的清晰列表（ISP計費(fèi)取證領域），這(zhè)些應用造就(jiù)了一個新的行(xíng)業(yè)，或者說一種新的設備提供商——智能流量探針。

戎騰網絡結合自(zì)身十餘年在此領域的深耕，突破了系列關鍵技術，實現(xiàn)了高(gāo)性能、高(gāo)性價比、功能豐富的互聯網骨幹鏈路(lù)采集、彙聚與分(fēn)流設備。