詳細介紹:
然后將這些IP地址作為輸入,與NetFlow數(shù)據(jù)進行迭代
分析。如圖2所示,可得到用戶訪問百度網(wǎng)站的流量曲線。
將輸出的NetFlow數(shù)據(jù)作為輸入
,
與BGP進行二次迭代
分析,可得到百度網(wǎng)站流量在各運營商及具體歸屬落地的明
細統(tǒng)計。
通過多次數(shù)據(jù)迭代的深度數(shù)據(jù)分析,可以發(fā)現(xiàn)河南聯(lián)通
用戶訪問某個網(wǎng)站的流量落地分布,從而找到需要引入本地
CDN業(yè)務的網(wǎng)站資源。以前新到電銷卡電銷卡,新到電銷卡不封號電銷卡,新到電銷卡防封電銷卡這些分析只能通過端口鏡像或
分光的方式才能獲得。
2.4 建設方案
2.4.1 大數(shù)據(jù)分析系統(tǒng)
本期工程在鄭州聯(lián)通和洛陽聯(lián)通部署大數(shù)據(jù)分析系統(tǒng)
服務器,每個節(jié)點9臺服務器,通過千兆上聯(lián)到本地匯聚交
換機并收集系統(tǒng)兩地DNS日志,另外根據(jù)區(qū)域?qū)⒕W(wǎng)絡設備的
NetFlow信息以3000:1的采樣比就近發(fā)送到兩個數(shù)據(jù)核心機房。
2.4.2 系統(tǒng)構(gòu)成
基于BGP路由表、DNS和NetFlow的數(shù)據(jù)分析系統(tǒng)由數(shù)
據(jù)采集、數(shù)據(jù)分析、數(shù)據(jù)匯總展示三大部分構(gòu)成。
(1)數(shù)據(jù)采集分為三部分。一部分NetFlow流數(shù)據(jù)采
集,網(wǎng)絡設備主動以3000:1的采樣比將Flow流數(shù)據(jù)發(fā)送到
Ne新到電銷卡電銷卡,新到電銷卡不封號電銷卡,新到電銷卡防封電銷卡tFlow流數(shù)據(jù)采集服務器;第二部分DNS日志采集,通過在
FTP方式,DNS系統(tǒng)將雙向DNS日志信息發(fā)送到DNS日志采
集服務器;第三部分BGP路由表,通過與河南聯(lián)通城域網(wǎng)RR
路由建立BGP鄰居,收取BGP路由器,生成明細路由數(shù)據(jù)。
(2)數(shù)據(jù)分析,基于Hadoop大數(shù)據(jù)分析架構(gòu),結(jié)合分布式
文件系統(tǒng)和分布式計算的優(yōu)勢,對海量日志進行數(shù)據(jù)分析。
(3)數(shù)據(jù)匯總展示,通過將BGP路由表、DNS日志和
NetFlow流數(shù)據(jù)混合計算,再經(jīng)多次數(shù)據(jù)迭代分析出用戶流
量流向數(shù)據(jù),并通過B/S架構(gòu)展示給管理員,方便用戶了解
網(wǎng)絡的工作情況和網(wǎng)絡中用戶正常和異常的行為。