1. 序言

隨著互聯(lián)網(wǎng)高速發(fā)展，網(wǎng)絡(luò)視頻直播和點(diǎn)播也大放異彩，咪咕視頻、斗魚直播等視頻直播和點(diǎn)播平臺(tái)被網(wǎng)民熟知并大量使用。根據(jù)中國(guó)互聯(lián)網(wǎng)信息中心發(fā)布的統(tǒng)計(jì)報(bào)告，2018年6月，我國(guó)網(wǎng)絡(luò)視頻的用戶量為60906萬(wàn)，網(wǎng)民使用率高達(dá)76.0%，較上半年增長(zhǎng)了5.2%， 手機(jī)網(wǎng)絡(luò)視頻的用戶量為57786，網(wǎng)民使用率高達(dá)73.4%，較上半年增長(zhǎng)5.3%。

伴隨著視頻直播、點(diǎn)播、短視頻的興盛，用戶量的持續(xù)大量增長(zhǎng)，內(nèi)容分發(fā)網(wǎng)絡(luò)CDN作為通用基礎(chǔ)網(wǎng)絡(luò)能力，通過(guò)無(wú)線和固定寬帶接入網(wǎng)絡(luò)，能夠?qū)τ脩艚K端訪問(wèn)的網(wǎng)頁(yè)、圖像、視頻、文件等內(nèi)容實(shí)現(xiàn)訪問(wèn)加速。當(dāng)前使用內(nèi)容分發(fā)網(wǎng)絡(luò)CDN為網(wǎng)絡(luò)視頻業(yè)務(wù)加速成為支撐網(wǎng)絡(luò)視頻業(yè)務(wù)高速發(fā)展的關(guān)鍵支點(diǎn)。

圖1  中國(guó)互聯(lián)網(wǎng)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)（網(wǎng)絡(luò)直播使用率）

本文將從CDN網(wǎng)絡(luò)架構(gòu)與功能、CDN訪問(wèn)日志、CDN服務(wù)質(zhì)量指標(biāo)等方面多維度進(jìn)行介紹，并從日志挖掘的角度對(duì)CDN服務(wù)質(zhì)量?jī)?yōu)化提供建議。

2. CDN介紹

CDN（內(nèi)容分發(fā)網(wǎng)絡(luò)）是構(gòu)建在基礎(chǔ)IP 承載網(wǎng)絡(luò)之上，面向流媒體、Web 及應(yīng)用的內(nèi)容傳送，具備內(nèi)容自動(dòng)化分布及流量集中化調(diào)度控制能力的疊加網(wǎng)絡(luò)。最初的CDN主要承載靜態(tài)WEB頁(yè)面內(nèi)容，隨后又出現(xiàn)了針對(duì)網(wǎng)頁(yè)動(dòng)態(tài)內(nèi)容的CDN加速。隨著數(shù)字視頻技術(shù)的發(fā)展和互聯(lián)網(wǎng)帶寬的飛速增加，互聯(lián)網(wǎng)上的視頻內(nèi)容也逐漸豐富起來(lái)，第二代CDN主要針對(duì)VOD、流媒體視頻和音頻的分發(fā)服務(wù)。隨著流媒體技術(shù)的發(fā)展，直播流媒體也成為了CDN內(nèi)容分發(fā)的服務(wù)內(nèi)容。

2.1  CDN網(wǎng)絡(luò)架構(gòu)

CDN 網(wǎng)絡(luò)由分布在不同區(qū)域的CDN 節(jié)點(diǎn)組成，通過(guò)GSLB（全局負(fù)載均衡）的調(diào)度機(jī)制和內(nèi)容中心的分發(fā)機(jī)制實(shí)現(xiàn)簽約內(nèi)容源的請(qǐng)求調(diào)度和內(nèi)容緩存。CDN 按照指定策略將簽約內(nèi)容分發(fā)至網(wǎng)絡(luò)邊緣，并自動(dòng)調(diào)度用戶內(nèi)容訪問(wèn)請(qǐng)求指向全局最優(yōu)的邊緣節(jié)點(diǎn)，由該邊緣節(jié)點(diǎn)就近為用戶提供內(nèi)容服務(wù)，使用戶可以通過(guò)訪問(wèn)就近的CDN節(jié)點(diǎn)獲取內(nèi)容源。

CDN 不但能加快內(nèi)網(wǎng)用戶訪問(wèn)外網(wǎng)資源的速度，也可以加速外網(wǎng)用戶訪問(wèn)內(nèi)網(wǎng)資源的速度，有效提升用戶內(nèi)容訪問(wèn)速度和業(yè)務(wù)體驗(yàn)；大大減輕骨干網(wǎng)絡(luò)承載負(fù)荷和減少網(wǎng)絡(luò)鏈路擁塞，優(yōu)化網(wǎng)絡(luò)流量，降低網(wǎng)絡(luò)成本； 有力保障運(yùn)營(yíng)商自營(yíng)業(yè)務(wù)服務(wù)質(zhì)量和競(jìng)爭(zhēng)力， 并能夠?yàn)榈谌娇蛻籼峁〤DN分發(fā)加速增值服務(wù)。

2.2  CDN網(wǎng)絡(luò)功能模塊

CDN 網(wǎng)絡(luò)從邏輯架構(gòu)上可劃分為調(diào)度控制層、內(nèi)容中心層和服務(wù)節(jié)點(diǎn)層3 個(gè)層面，其中調(diào)度控制層負(fù)責(zé)用戶請(qǐng)求的統(tǒng)一調(diào)度、CDN 網(wǎng)絡(luò)管理及業(yè)務(wù)運(yùn)營(yíng)管理，主要包含運(yùn)營(yíng)管理中心和調(diào)度控制中心；內(nèi)容中心層通過(guò)內(nèi)容中心實(shí)現(xiàn)對(duì)簽約CP / SP（內(nèi)容提供商/服務(wù)提供商）系統(tǒng)的對(duì)接和內(nèi)容注入，并為邊緣服務(wù)節(jié)點(diǎn)提供內(nèi)容分發(fā)與回源服務(wù)； 服務(wù)節(jié)點(diǎn)層由邊緣服務(wù)節(jié)點(diǎn)組成， 面向用戶終端提供內(nèi)容服務(wù)，具備內(nèi)容緩存和媒體服務(wù)功能，以分層架構(gòu)部署于網(wǎng)絡(luò)中不同層面。CDN網(wǎng)絡(luò)邏輯架構(gòu)如圖2所示：

圖2：CDN網(wǎng)絡(luò)邏輯架構(gòu)圖

3. CDN訪問(wèn)日志格式及系統(tǒng)

3.1 CDN日志格式

CDN訪問(wèn)日志中記錄了CDN運(yùn)行和用戶請(qǐng)求的關(guān)鍵信息，對(duì)CDN服務(wù)質(zhì)量分析極為關(guān)鍵，對(duì)其進(jìn)行數(shù)據(jù)挖掘分析也十分有意義。常見(jiàn)的CDN日志主要包含以下字段：時(shí)間、時(shí)長(zhǎng)、流量、請(qǐng)求URL、請(qǐng)求源IP地址、UA、狀態(tài)碼、命中狀態(tài)等。其中，時(shí)間字段存儲(chǔ)了用戶請(qǐng)求的時(shí)間，時(shí)長(zhǎng)字段存儲(chǔ)了請(qǐng)求的持續(xù)時(shí)長(zhǎng)，流量字段在拉流時(shí)，存儲(chǔ)下行流量值，在推流時(shí)，存儲(chǔ)上行流量值，請(qǐng)求URL字段存儲(chǔ)用戶請(qǐng)求的具體URL，請(qǐng)求源IP地址存儲(chǔ)發(fā)起請(qǐng)求的用戶的源IP地址，UA字段存儲(chǔ)用戶發(fā)起請(qǐng)求時(shí)使用的User-Agent類型，狀態(tài)碼字段存儲(chǔ)了請(qǐng)求的狀態(tài)碼，常見(jiàn)狀態(tài)有2XX、3XX、4XX、5XX，命中狀態(tài)字段存儲(chǔ)了CDN緩存是否命中的狀態(tài)，其值可以是HIT或MISS。

3.2  基于CDN日志的數(shù)據(jù)分析系統(tǒng)架構(gòu)

通過(guò)系統(tǒng)采集CDN服務(wù)日志，搭建CDN日志的大數(shù)據(jù)平臺(tái)進(jìn)行多維度展示、分析, 不僅能夠使CDN服務(wù)透明化，同時(shí)也可以利用大數(shù)據(jù)平臺(tái)整合全量數(shù)據(jù)，通過(guò)海量數(shù)據(jù)的高效挖掘及定制化應(yīng)用，為統(tǒng)計(jì)活動(dòng)數(shù)據(jù)、總結(jié)運(yùn)營(yíng)經(jīng)驗(yàn)，實(shí)現(xiàn)流量精細(xì)化經(jīng)營(yíng)提供支撐。數(shù)據(jù)分析系統(tǒng)可以包括數(shù)據(jù)采集、基礎(chǔ)數(shù)據(jù)管理、CDN日志統(tǒng)計(jì)分析、數(shù)據(jù)寬表管理、平臺(tái)管理、系統(tǒng)管理與監(jiān)控、用戶交互及數(shù)據(jù)呈現(xiàn)幾個(gè)模塊。

圖3 CDN數(shù)據(jù)分析系統(tǒng)架構(gòu)

4. 多維度評(píng)估CDN服務(wù)質(zhì)量

基于CDN日志數(shù)據(jù)分析平臺(tái)，我們可以很方便地計(jì)算各種CDN服務(wù)統(tǒng)計(jì)指標(biāo)，進(jìn)而對(duì)CDN服務(wù)質(zhì)量進(jìn)行多維度地展示和評(píng)價(jià)。根據(jù)CDN日志來(lái)計(jì)算常用CDN日志評(píng)價(jià)指標(biāo)的方法如下：

CDN訪問(wèn)日志及系統(tǒng)服務(wù)質(zhì)量淺析

通過(guò)從上述維度對(duì)比CDN服務(wù)質(zhì)量指標(biāo)，能夠更有效地發(fā)現(xiàn)和定位CDN中存在的問(wèn)題，并可以從域名、省份、終端、和運(yùn)營(yíng)商等維度進(jìn)行對(duì)比。

5. 日志對(duì)優(yōu)化CDN服務(wù)質(zhì)量的建議

通過(guò)對(duì)CDN日志進(jìn)行分析挖掘，能夠?qū)崿F(xiàn)多維度觀測(cè)CDN服務(wù)質(zhì)量，并對(duì)CDN的優(yōu)化配置提供參考建議。

①、實(shí)時(shí)分析：

對(duì)于CDN日志，日志的時(shí)效性十分重要。CDN實(shí)時(shí)日志可以從多個(gè)區(qū)域、多個(gè)節(jié)點(diǎn)實(shí)時(shí)采集日志，采集到的日志被流式分析處理，免去了傳統(tǒng)日志分析中復(fù)雜的流程，讓用戶能實(shí)時(shí)查看日志分析結(jié)果，對(duì)CDN服務(wù)進(jìn)行及時(shí)的優(yōu)化。

②、故障定位：

在海量的業(yè)務(wù)場(chǎng)景下，對(duì)CDN服務(wù)的可用性、魯棒性和性能要求十分苛刻，這需要對(duì)于各類異常進(jìn)行及時(shí)、精準(zhǔn)的告警，這種告警系統(tǒng)可以依賴于CDN日志實(shí)時(shí)分析來(lái)實(shí)現(xiàn)。CDN日志實(shí)時(shí)分析能夠?yàn)楸O(jiān)控、告警等系統(tǒng)提供準(zhǔn)確的決策依據(jù)，進(jìn)而提升CDN服務(wù)質(zhì)量。

③、調(diào)度建議：

通過(guò)對(duì)CDN日志進(jìn)行實(shí)時(shí)監(jiān)控分析，還能夠及時(shí)發(fā)現(xiàn)調(diào)度策略存在的缺陷，為資源調(diào)度提供建議，進(jìn)而提高命中率，提升用戶體驗(yàn)，節(jié)省流量開(kāi)銷。

④、可視化：

對(duì)CDN日志實(shí)時(shí)監(jiān)控分析的結(jié)果，可以使用多種直觀的數(shù)據(jù)可視化方式進(jìn)行展示，用戶可以通過(guò)觀看可視化圖表，直觀地監(jiān)控CDN運(yùn)行狀態(tài)。

河南億恩科技股份有限公司(mszdt.com)始創(chuàng)于2000年，專注服務(wù)器托管租用，是國(guó)家工信部認(rèn)定的綜合電信服務(wù)運(yùn)營(yíng)商。億恩為近五十萬(wàn)的用戶提供服務(wù)器托管、服務(wù)器租用、機(jī)柜租用、云服務(wù)器、網(wǎng)站建設(shè)、網(wǎng)站托管等網(wǎng)絡(luò)基礎(chǔ)服務(wù)，另有網(wǎng)總管、名片俠網(wǎng)絡(luò)推廣服務(wù)，使得客戶不斷的獲得更大的收益。
服務(wù)器/云主機(jī) 24小時(shí)售后服務(wù)電話：0371-60135900
虛擬主機(jī)/智能建站 24小時(shí)售后服務(wù)電話：0371-55621053
網(wǎng)絡(luò)版權(quán)侵權(quán)舉報(bào)電話：0371-60135995
服務(wù)熱線：0371-60135900