最近互聯(lián)網(wǎng)也是非常有意思，接二連三的發(fā)生故障，讓我們一起先回顧一下。

2015年5月11號晚上21點(diǎn)左右開始，網(wǎng)易的網(wǎng)易新聞、云音樂、易信、有道云筆記等移動應(yīng)用均無法正常刷新，網(wǎng)易名下的游戲也全線癱瘓。故障原因：骨干網(wǎng)絡(luò)遭受攻擊。

2015年5月27日下午，部分用戶反映其支付寶出現(xiàn)網(wǎng)絡(luò)故障，賬號無法登錄或支付。故障原因：光纖挖斷。影響時長：4個小時

2015年5月28日上午11:09，攜程官網(wǎng)及APP出現(xiàn)故障無法打開，到28日23:29全面恢復(fù)，整個過程耗費(fèi)12個多小時。故障原因：誤操作。影響時長：12個小時左右

2015年6月5日 今日頭條網(wǎng)首頁和APP都無法訪問，直接提示500錯誤。故障原因：不明 影響時長：30分鐘左右。

2015年6月15日12點(diǎn)30分 知乎網(wǎng)無法打開，直接提示【服務(wù)器提出了一個問題】錯誤，在13點(diǎn)45分左右的時候，知乎頁面恢復(fù)正常。故障原因：機(jī)房故障 影響時長：60分鐘左右



到底是怎么了，是什么讓我們的互聯(lián)網(wǎng)業(yè)務(wù)如此脆弱？真的是運(yùn)營商老是在后面干壞事？還是我們的系統(tǒng)架構(gòu)不給力？還是我們運(yùn)維能力真的很弱？如果廣義的去看這個，我還會把它歸結(jié)成運(yùn)維問題。不過對于以上的故障，從運(yùn)維的角度來說，我依然會說官方結(jié)論不夠?qū)I(yè)，希望內(nèi)部不是這樣的哈。

1、網(wǎng)易說骨干網(wǎng)收到網(wǎng)絡(luò)攻擊影響業(yè)務(wù)，貌似那天好像也就網(wǎng)易業(yè)務(wù)受到影響？

2、光纖挖斷影響四個小時，從這么核心的業(yè)務(wù)來說，第一原則一定是恢復(fù)業(yè)務(wù)，我想支付寶即使沒做雙活，肯定也會有一個可用的備份中心，為什么沒切過去了？一定是內(nèi)部出了亂子。不過阿里流弊的地方，負(fù)面的事情他可以變成正面，他們把"5.27"變成了技術(shù)保障日，大肆宣傳。

3、攜程事件，我之前寫過一篇文章【攜程事件：運(yùn)維債務(wù)的深度分析和解決方案】，不詳談了。

4、今日頭條，500內(nèi)部錯誤，這條新聞可以讓自己上頭條，但也沒有正式的給出解釋。從500錯誤的恢復(fù)時間來說，有點(diǎn)長，500錯誤是十分好定位，我的懷疑是數(shù)據(jù)庫的壓力不夠，導(dǎo)致后面的擴(kuò)容變更，也只有數(shù)據(jù)庫分庫分表擴(kuò)容時間需要這么長了。另外頭條君的首頁上直接給個500的錯誤，技術(shù)表述，十分的不友好，建議你服務(wù)降級啊，推個大眾版的新聞，不做個性化推薦，這個可以做一個緩存就可以解決的。

5、知乎故障，直接說是機(jī)房故障，太簡單了，但我覺得最大的可能應(yīng)該是Tengine后端服務(wù)超時導(dǎo)致的，而非簡單的一個機(jī)房故障引起。

在每一次故障發(fā)生的時候，其實(shí)都是傷害了我們的用戶，內(nèi)部的表述就是可用性或者質(zhì)量。因此我們必須要足夠的重視，更需要我們把它變成寶貴的經(jīng)驗(yàn)。那到底什么是可用性和可靠性？影響可用性的因素有哪些？運(yùn)維如何提高可用性？等等。

一、什么是可用性和可靠性

可靠性是在給定的時間間隔和給定條件下，系統(tǒng)能正確執(zhí)行其功能的概率。可用性是指系統(tǒng)在執(zhí)行任務(wù)的任意時刻能正常工作的概率。先來看一些指標(biāo)定義：

1. MTBF——全稱是Mean Time Between Failure，即平均無故障工作時間。就是從新的產(chǎn)品在規(guī)定的工作環(huán)境條件下開始工作到出現(xiàn)第一個故障的時間的平均值。MTBF越長表示可靠性越高正確工作能力越強(qiáng) 。

2. MTTR——全稱是Mean Time To Repair，即平均修復(fù)時間。是指可修復(fù)產(chǎn)品的平均修復(fù)時間，就是從出現(xiàn)故障到修復(fù)中間的這段時間。MTTR越短表示易恢復(fù)性越好。

3. MTTF——全稱是Mean Time To Failure，即平均失效時間。系統(tǒng)平均能夠正常運(yùn)行多長時間，才發(fā)生一次故障。系統(tǒng)的可靠性越高，平均無故障時間越長。

可用性Availability = MTBF / (MTBF + MTTR)，一般我們都是用N個9來表達(dá)系統(tǒng)可用性，用宕機(jī)時長來說更好理解，如果以全年為周期（24*365=8760個小時），3個9(99.9%)就意味著全年宕機(jī)時長是525.6分鐘，4個9(99.99%)是52.6分鐘，5個9（99.999%）是5分鐘。

從這些時間指標(biāo)上可以反向去推導(dǎo)IT能力不足的地方，比如說一個故障恢復(fù)時間很長，一定是自動恢復(fù)、運(yùn)維意識、處理過程、系統(tǒng)架構(gòu)等地方不對，導(dǎo)致了這個宕機(jī)時間過長；平均失效時間短，一定是系統(tǒng)的可靠性出了問題，找技術(shù)設(shè)計的問題，找依賴的硬件環(huán)境問題等等

二、影響可用性的因素

影響可用性的因素非常的多，但是可以從幾個維度去看，人與組織、流程、技術(shù)和業(yè)務(wù)管理等四個維度。

1、人與組織

其實(shí)這個地方可以談?wù)勀愕娜撕徒M織類型了，領(lǐng)導(dǎo)是否重視IT？是否重視運(yùn)維？組織是否已經(jīng)認(rèn)識IT帶來的價值，把IT當(dāng)作自己的一個核心能力來看待？是否把面向用戶的業(yè)務(wù)能力和IT能力很好的對接？是否建立起用戶質(zhì)量的組織文化？等等。

2、流程

流程是梳理多個角色自己的關(guān)系和職責(zé)。我們第一個要去看這個流程在面對故障的是否起到了積極的作用，比如說能夠確保故障信息的準(zhǔn)確送達(dá)，同時保證處理人的角色和職責(zé)是清晰的。其次不斷去檢查流程是否可以自動化驅(qū)動，而非人為驅(qū)動。人是不可靠之源！我們最終希望形成是一個自動化、標(biāo)準(zhǔn)化的流程，這樣的流程不容易被異化，且能保證預(yù)期執(zhí)行結(jié)果一致。

3、技術(shù)

很多時候大家看到的技術(shù)是運(yùn)維技術(shù)，其實(shí)恰恰相反對于互聯(lián)網(wǎng)業(yè)務(wù)來說，對其高可用的影響，必然是業(yè)務(wù)IT技術(shù)架構(gòu)，因此在其中需要遵循很多原則，有一些原則需要有普適的參考價值。比如說服務(wù)降級、灰度發(fā)布、過載保護(hù)、服務(wù)公共化等等。這些方法論是否已經(jīng)融入到研發(fā)和運(yùn)維的架構(gòu)設(shè)計哲學(xué)之中？現(xiàn)實(shí)是產(chǎn)品功能需求優(yōu)先，而非可運(yùn)維性優(yōu)先，可運(yùn)維性最終就是業(yè)務(wù)的質(zhì)量。

4、業(yè)務(wù)管理

把你的IT能力最終都業(yè)務(wù)能力看板化，你可以轉(zhuǎn)換成我們多個業(yè)務(wù)指標(biāo)，比如說質(zhì)量、可用性、用戶體驗(yàn)、用戶滿意度、成本等等，有了這些業(yè)務(wù)導(dǎo)向性指標(biāo)，才能把IT能力和業(yè)務(wù)更好的對接起來。否則很容易在組織內(nèi)，形成“IT是支撐部門”認(rèn)識，而非創(chuàng)造價值部門。這一點(diǎn)還有一個重要性，就是讓IT部門也要足夠的認(rèn)識到，他們的能力直接和業(yè)務(wù)相關(guān)，需要增強(qiáng)業(yè)務(wù)敏感度。

三、如何提高系統(tǒng)的可用性

剛剛上面講到了影響可用性的因素，分成了四個方面，但我想提高系統(tǒng)的可用性從另外一個角度來描述，能把握一些核心準(zhǔn)則（其實(shí)還有更多）。

1、故障發(fā)生前，建立運(yùn)維質(zhì)量儀表盤

我們一定要建立運(yùn)維數(shù)據(jù)看板，這個看板的數(shù)據(jù)并且要在業(yè)務(wù)、研發(fā)、測試和運(yùn)維達(dá)成一致，讓大家足夠重視這份數(shù)據(jù)，這樣數(shù)據(jù)便有了推動力。建議這個地方的核心數(shù)據(jù)指標(biāo)不要太多，因?yàn)樯婕暗蕉鄠€團(tuán)隊(duì)，大家不能夠一致理解，特別是傳達(dá)到管理層，太多的指標(biāo)，容易失去關(guān)注的焦點(diǎn)。

通行的做法，就是用可用性來做運(yùn)維的數(shù)據(jù)看板?？捎眯缘挠嬎惴椒ㄓ泻唵蔚姆椒ǎ灿袕?fù)雜的方法。簡單的方法就是在監(jiān)控系統(tǒng)中搞一些探針來模擬用戶監(jiān)控，最后我們能得出故障的時長和可用性的時間，這樣我們可以建立每天、每周、每月、每Q的可用性，可以做到分業(yè)務(wù)、分服務(wù)（更細(xì)粒度）等等；復(fù)雜的方法在模擬數(shù)據(jù)的基礎(chǔ)上，可以把事件系統(tǒng)記錄的時間數(shù)據(jù)拿過來作為評估的標(biāo)準(zhǔn)。另外可以把可用性上升到質(zhì)量層面，這個里面涉及到的評估維度（成本、用戶體驗(yàn)、滿意度）就更多了，數(shù)據(jù)獲取的來源也變得更多，有些是來自于客服系統(tǒng)，有些是來自于輿情監(jiān)控，有些是來自于運(yùn)維容量系統(tǒng)，有些是來自于事件系統(tǒng)等等，不過最終呈現(xiàn)的指標(biāo)就是一個---質(zhì)量。

運(yùn)維的數(shù)據(jù)看板，最好能變成產(chǎn)研側(cè)KPI的一部分，同時在運(yùn)維和研發(fā)側(cè)，需要周期性的把這份數(shù)據(jù)推送到他們面前。有了KPI，同時有了持續(xù)滾動機(jī)制，一定能建立起很好的業(yè)務(wù)質(zhì)量意識。

一直覺得，數(shù)據(jù)文化，是運(yùn)維能夠建立影響力的重要一步，否則你就是一個支撐的支撐部門！

2、故障發(fā)生前，設(shè)定技術(shù)準(zhǔn)則和要求

運(yùn)維需要和研發(fā)建立整體的技術(shù)標(biāo)準(zhǔn)和規(guī)范要求，這塊是騰訊做得非常好的地方，把海量服務(wù)提煉成多個關(guān)鍵詞【海量服務(wù)運(yùn)營之道】，網(wǎng)上可以搜索到。當(dāng)然這些關(guān)鍵詞對于很多企業(yè)來說，想理解準(zhǔn)確，也會非常的困難。因此從運(yùn)維的角度來說，我們需要設(shè)定一個路線圖，最終服務(wù)于這個技術(shù)目標(biāo)。比如說之前我提到的【運(yùn)維三部曲】里面講到了先做標(biāo)準(zhǔn)化（修煉運(yùn)維內(nèi)功），然后做公共服務(wù)化（修煉架構(gòu)內(nèi)功）、最終服務(wù)無狀態(tài)化（修煉業(yè)務(wù)內(nèi)功）。

運(yùn)維一定要把標(biāo)準(zhǔn)化作為核心要務(wù)來推進(jìn)，建立標(biāo)準(zhǔn)化的運(yùn)維環(huán)境，建立標(biāo)準(zhǔn)化的技術(shù)棧（和研發(fā)確定），建立標(biāo)準(zhǔn)化的高可用方法論，最終這個業(yè)務(wù)的可用性一定是有保證的。

3、故障發(fā)生時，恢復(fù)是第一要務(wù)

故障發(fā)生的時候，“恢復(fù)、恢復(fù)、恢復(fù)”必須是運(yùn)維人腦子里面要時刻記住的。

在故障的當(dāng)下，定位故障原因是大忌，這往往讓故障時長變得不可控，因?yàn)闀苯佑绊慚TTR（平均修復(fù)時間），影響用戶的業(yè)務(wù)使用。不過有人會有疑問，不知道故障原因怎么知道如何解決？從經(jīng)驗(yàn)來看，你一定有一些簡單粗暴的原則去隔離故障，比如說服務(wù)器重啟，鏈路禁用，DNS切換等等。

4、故障發(fā)生后，仔細(xì)的復(fù)盤

每一次故障發(fā)生后，運(yùn)維人需要牽頭去復(fù)盤故障，剛剛說了我們恢復(fù)是第一要務(wù)，所以故障的根本原因我們可能還不知道，此時就需要運(yùn)維、測試和研發(fā)一起仔細(xì)的去看整個的故障過程，看看到底哪兒有什么問題？基本上也是從剛才說的四個方面來評估。不斷的審視我們運(yùn)維的能力和IT的能力，說“故障是運(yùn)維最好的老師”的原因也在于此，它能夠不斷驅(qū)使我們走向更高的成熟度。

運(yùn)維是復(fù)盤的首要負(fù)責(zé)人，復(fù)盤是為了找到根因（Root Cause），根因和故障現(xiàn)象不同，舉個例子，故障現(xiàn)象是交換機(jī)故障，根因是因?yàn)榧夹g(shù)架構(gòu)沒有對交換機(jī)故障做到容錯，根因是運(yùn)維對這種故障缺乏有效的臨時應(yīng)對機(jī)制。

復(fù)盤是為了讓我們走向更好的運(yùn)維階段！

5、故障發(fā)生后，復(fù)盤措施有講究

故障復(fù)盤后，我們一定會寫改進(jìn)措施，對于這些改進(jìn)措施，還是有些講究的，看過一些故障報告，非常的不合要求。我個人的經(jīng)驗(yàn)如下：

故障的措施必須是可落實(shí)，且具體的，要落實(shí)到具體的負(fù)責(zé)人，具體的時間

故障的措施優(yōu)先是必須技術(shù)的，然后是流程，最后是人的

故障的措施可以分為長期措施和臨時措施

故障的措施一定要僅僅扣住故障的根因，避免流于形式和表面

故障的措施切忌“亡羊補(bǔ)牢”式的，需要全面細(xì)致的分析

故障的措施一定要保證后續(xù)的持續(xù)跟進(jìn)

一葉可以障目，但也可以一葉知秋，就看我們是否真的去認(rèn)真對待。你們真的重視故障了么？你們真的重視運(yùn)維了么？故障不能帶來運(yùn)維人的春天，從根本上去意識到運(yùn)維的重要性，那才是運(yùn)維人真正的春天。