打電銷(xiāo)辦理什么卡不會(huì)被封號(hào)

2.2 網(wǎng)絡(luò)流量分析邏輯架構(gòu) NetFlow流量分析及異常流量監(jiān)控系統(tǒng)分采集和分析兩 部分，使用通用x86服務(wù)器架構(gòu)，支持物理機(jī)和虛擬機(jī)部署。 采集部分使用主備機(jī)工作模式，符合電信級(jí)運(yùn)營(yíng)服務(wù) 標(biāo)準(zhǔn)，負(fù)責(zé)采集NetFlow數(shù)據(jù)流量、動(dòng)態(tài)路由更新等多種信 息，并具有靈活的擴(kuò)容架構(gòu)。 分析部分使用分布式計(jì)算的模式，對(duì)可組建服務(wù)器群進(jìn) 行并行計(jì)算，平滑提升分析能力，可靈活調(diào)度計(jì)算能力，實(shí) 現(xiàn)不同運(yùn)算速度的主機(jī)并行工作。主機(jī)故障時(shí)計(jì)算任務(wù)自動(dòng) 分配到其他計(jì)算單元進(jìn)行處理。 2.3 流量分析系統(tǒng)軟件架構(gòu) 基于DNS和NetFlow流量分析系統(tǒng)的軟件架構(gòu)分為：數(shù) 據(jù)采集層、大數(shù)據(jù)分析層和分析結(jié)果輸出展示層。 (1)數(shù)據(jù)采集層：采集NetFlow信息、動(dòng)態(tài)路由數(shù)據(jù)、 DNS日志數(shù)據(jù)。 NetFlow信息：網(wǎng)絡(luò)設(shè)備按照約定的采樣比3000:1，周 期性地向采集系統(tǒng)發(fā)送的NetFlow信息，NetFlow的流信息 包含在UDP報(bào)文中輸出。以V5輸出報(bào)文為例，每個(gè)UDP報(bào) 文包含一個(gè)NetFlow報(bào)文和最多30條流記錄，每條流記錄 包括以下主要字段信息：數(shù)據(jù)報(bào)文的源IP、目的IP、下一 跳地址、源端口、目的端口、TOS、協(xié)議類(lèi)型、TCP標(biāo)志 位，以及流中的數(shù)據(jù)包數(shù)、流中的總字節(jié)數(shù)、流記錄的起 始和結(jié)束時(shí)間等關(guān)鍵包頭信息。采集系統(tǒng)支持NetFlowV5、 NetFlowV9等常用的多種Flow格式。采集設(shè)備接收網(wǎng)絡(luò)設(shè)備 發(fā)送的NetFlow流數(shù)據(jù)，每一個(gè)流數(shù)據(jù)保存一行，每行數(shù)據(jù) 包括：源IP、目的IP、下一跳地址、源端口、目的端口、 TOS、協(xié)議類(lèi)型、TCP標(biāo)志位，以及流中的數(shù)據(jù)包數(shù)、流中 的總字節(jié)數(shù)、流記錄的起始和結(jié)束時(shí)間。 動(dòng)態(tài)路由數(shù)據(jù)：采集系統(tǒng)通過(guò)與網(wǎng)絡(luò)設(shè)備啟動(dòng)BGP動(dòng)態(tài) 路由協(xié)議學(xué)習(xí)網(wǎng)絡(luò)中的動(dòng)態(tài)路由，采集系統(tǒng)的工作模式為單 向模式，只通過(guò)網(wǎng)絡(luò)實(shí)時(shí)輸入路由表，不對(duì)外發(fā)布數(shù)據(jù)。每 采集一條路由保存一行，每行數(shù)據(jù)包括：目的網(wǎng)段、下一跳 地址、metric、locprf、weight和Path。BGP動(dòng)態(tài)路由數(shù)據(jù)的 好處在于，網(wǎng)絡(luò)運(yùn)營(yíng)商IP地址的范圍是變化的，此外有些沒(méi) 有自己網(wǎng)絡(luò)的小ISP，會(huì)自帶IP接入到某個(gè)運(yùn)營(yíng)商網(wǎng)絡(luò)下， 僅從IP地址有時(shí)很難準(zhǔn)確判斷IP所歸屬的運(yùn)營(yíng)商，而B(niǎo)GP路 由表會(huì)根據(jù)IP地址路由情況動(dòng)態(tài)變化，可以準(zhǔn)確反映運(yùn)營(yíng)商 IP地址的范圍。通過(guò)BGP動(dòng)態(tài)路由數(shù)據(jù)關(guān)聯(lián)IP地址歸屬，可 以保證IP歸屬結(jié)果的準(zhǔn)確性。 DNS日志數(shù)據(jù)：采集系統(tǒng)可以實(shí)時(shí)接收DNS系統(tǒng)的日 志文件，通過(guò)與DNS數(shù)據(jù)關(guān)聯(lián)可以將NetFlow數(shù)據(jù)匹配到網(wǎng) 站域名。每采集一條域名解析日志保存一行，每行數(shù)據(jù)包 括：源地址、目的地址、源端口、目的端口，以及請(qǐng)求或解 析的內(nèi)容和解析時(shí)間。 (2)數(shù)據(jù)分析層：NetFlow流量分析系統(tǒng)通過(guò)數(shù)據(jù)分析層 對(duì)采集數(shù)據(jù)進(jìn)行大數(shù)據(jù)分析。 分布式文件系統(tǒng)采用的HDFS文件系統(tǒng)。HDFS有高容錯(cuò) 性的特點(diǎn)，并且設(shè)計(jì)用來(lái)部署在低廉的硬件上；而且其提供高 吞吐量來(lái)訪問(wèn)應(yīng)用程序的數(shù)據(jù)，適合NetFlow流數(shù)據(jù)、DNS日 志信息這些有著超大數(shù)據(jù)集的應(yīng)用程序。HDFS放寬了POSIX 的要求，可以以流的形式訪問(wèn)文件系統(tǒng)中的數(shù)據(jù)。將BGP路由 表、NetFlow流數(shù)據(jù)、DNS日志信息保存至HDFS文件系統(tǒng)中。 實(shí)時(shí)分析系統(tǒng)采用MapReduce和Spark，MapReduce用 于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運(yùn)算。概念“Map（映 射）”和“Reduce（歸納）”，及其主要思想，都是從函數(shù) 式編程語(yǔ)言借來(lái)的，還有從矢量編程語(yǔ)言借來(lái)的特性。當(dāng)前 的軟件實(shí)現(xiàn)是定一個(gè)Map函數(shù)，用來(lái)把一組鍵值對(duì)映射成一 組新的鍵值對(duì)，指定并發(fā)的Reduce函數(shù)，用來(lái)保證所有映射 的鍵值對(duì)中的每一個(gè)共享相同的鍵組。Spark適用于數(shù)據(jù)挖掘 與機(jī)器學(xué)習(xí)等需要迭代的MapReduce的算法。Spark是為了支 持分布式數(shù)據(jù)集上的迭代作業(yè)，但是實(shí)際上是對(duì)Hadoop的補(bǔ) 充，可以在Hadoop文件系統(tǒng)中并行運(yùn)行，構(gòu)建大型低延遲的 數(shù)據(jù)分析應(yīng)用程序。 決策分析數(shù)據(jù)庫(kù)用來(lái)存儲(chǔ)MapReduce和Spark大數(shù)據(jù)挖 掘的數(shù)據(jù)結(jié)果，不同于以往的數(shù)據(jù)庫(kù)，決策數(shù)據(jù)庫(kù)不僅保存 Spark分析的結(jié)果，而且可以Spark的輸出數(shù)據(jù)進(jìn)行迭代分析。 (3)分析展示層：NetFlow流量分析系統(tǒng)分析展示對(duì)大數(shù) 據(jù)分析的結(jié)果，并以直觀的圖形表格形式展現(xiàn)給客戶(hù)。 針對(duì)河南聯(lián)通網(wǎng)絡(luò)中重點(diǎn)內(nèi)容資源及重點(diǎn)CP/SP/CDN 服務(wù)商，分析其特定區(qū)域的服務(wù)器流量流向分布或特定區(qū)域 的客戶(hù)至指定CP/SP/CDN的流量流向分布，評(píng)估流量本地 化效果，或者作為CP/SP/CDN流量調(diào)度優(yōu)化的依據(jù)。 如圖1所示，以運(yùn)營(yíng)商A和某大型CDN服務(wù)商為例，通過(guò) 分析訪問(wèn)該CDN服務(wù)商在運(yùn)營(yíng)商A城域網(wǎng)B的服務(wù)器的用戶(hù)流量 在國(guó)內(nèi)/國(guó)際、國(guó)內(nèi)各運(yùn)營(yíng)商及在運(yùn)營(yíng)商A內(nèi)部各省的分布，評(píng) 估該CDN服務(wù)商放置在該城域網(wǎng)的服務(wù)器流量本地化效果。 例如分析百度網(wǎng)站域名時(shí)，以該網(wǎng)站二、三級(jí)域名為輸 入，對(duì)河南聯(lián)通DNS日志進(jìn)行后域名匹配數(shù)據(jù)挖掘，找出包 含該域名的全部下級(jí)域名的服務(wù)器IP地址，并可以同時(shí)錄入 該資源的多個(gè)域名。 通過(guò)后域名匹配，可以發(fā)現(xiàn)該網(wǎng)站資源共匹配解析IP地 址136個(gè)。 然后將這些IP地址作為輸入，與BGP路由數(shù)據(jù)進(jìn)行迭代 分析，得到這些IP地址落地，可以看到這些IP地址的落地歸 屬情況。