隨著互聯(lián)網(wǎng)業(yè)務(wù)的快速發(fā)展，其數(shù)據(jù)中心除了自身數(shù)量、規(guī)模體量在快速增長(zhǎng)外，其承載的業(yè)務(wù)也是海量增長(zhǎng)。面對(duì)如此海量的設(shè)備和需求，開發(fā)者應(yīng)如何保障數(shù)據(jù)中心的安全、高效、穩(wěn)定的運(yùn)營(yíng)呢?

道法之一，做好計(jì)劃性運(yùn)營(yíng)。

如前所說(shuō)，互聯(lián)網(wǎng)業(yè)務(wù)發(fā)展快、變化快、需求多樣，一味的保姆式服務(wù)是無(wú)法滿足海量業(yè)務(wù)的需求的。這樣就要求：一方面，運(yùn)營(yíng)團(tuán)隊(duì)需要梳理清楚自身的工作目錄和量化自身的服務(wù)能力，形成標(biāo)準(zhǔn)清晰的服務(wù)目錄。

主動(dòng)管理用戶和老板的預(yù)期，建立服務(wù)支撐模型和基線。另一方面，需要主動(dòng)地和用戶溝通，了解用戶的真實(shí)需求和業(yè)務(wù)發(fā)展計(jì)劃，匹配自身的服務(wù)目錄和能力基線，與用戶就需求進(jìn)行明確、清晰的定義和分級(jí)。對(duì)于海量通用的一般級(jí)別需求，就提供簡(jiǎn)單的周期性、計(jì)劃性的標(biāo)準(zhǔn)化運(yùn)維服務(wù)(如一個(gè)數(shù)據(jù)中心的硬盤，只在每周固定時(shí)間進(jìn)行批量更換)，只是針對(duì)個(gè)別重要需求才提供高效可靠的個(gè)性化實(shí)時(shí)保障服務(wù)。這樣一方面可以推動(dòng)業(yè)務(wù)在架構(gòu)層面做好冗余優(yōu)化，盡可能的選擇通過(guò)一般級(jí)別的通用標(biāo)準(zhǔn)服務(wù)來(lái)滿足需求。

另一方面，也可以有效的減少一味高效可靠服務(wù)所帶來(lái)的高運(yùn)營(yíng)成本。有效的做好SO運(yùn)營(yíng)模式，一方面能夠讓運(yùn)營(yíng)團(tuán)隊(duì)提前了解數(shù)據(jù)中心面臨的業(yè)務(wù)需求和壓力，推動(dòng)在業(yè)務(wù)層面就做好風(fēng)險(xiǎn)管理，另一方面，只有做好SO運(yùn)營(yíng)，才能讓運(yùn)營(yíng)團(tuán)隊(duì)在海量運(yùn)營(yíng)中輕松應(yīng)對(duì)，保障平穩(wěn)運(yùn)行。

道法之二，做好自動(dòng)化運(yùn)營(yíng)。

在我們把運(yùn)營(yíng)的操作、流程規(guī)范化、標(biāo)準(zhǔn)化以后，是否操作人員只要嚴(yán)格按照規(guī)范、流程操作就可以把運(yùn)營(yíng)工作做好呢?在我們把一些設(shè)施設(shè)備的運(yùn)行情況做了監(jiān)控，能夠上報(bào)報(bào)警信息就可以確保及時(shí)、準(zhǔn)確的發(fā)現(xiàn)問(wèn)題了嗎?當(dāng)然不是，面對(duì)海量的運(yùn)營(yíng)需求和事件，單靠人工去按規(guī)范、標(biāo)準(zhǔn)是肯定無(wú)法有效支撐和保障海量運(yùn)營(yíng)的。同樣，如果我們的報(bào)警信息不做精細(xì)化的梳理和收斂，海量的故障信息報(bào)上來(lái)，運(yùn)營(yíng)人員是無(wú)法快速、準(zhǔn)確定位的。所以說(shuō)，首先，需要有一支懂得數(shù)據(jù)中心一線運(yùn)營(yíng)流程和基本操作的開發(fā)團(tuán)隊(duì)。

其次，由這支開發(fā)團(tuán)隊(duì)，開發(fā)出相對(duì)強(qiáng)大的自動(dòng)化運(yùn)營(yíng)管理平臺(tái)，通過(guò)平臺(tái)與各個(gè)自動(dòng)化系統(tǒng)和工具進(jìn)行關(guān)聯(lián)，把運(yùn)營(yíng)管理的流程、標(biāo)準(zhǔn)、規(guī)范都自然、順暢的融合到自動(dòng)化系統(tǒng)中。通過(guò)自動(dòng)化平臺(tái)，除了幫助數(shù)據(jù)中心運(yùn)營(yíng)管理人員快速、高效的發(fā)現(xiàn)和解決問(wèn)題，還要讓運(yùn)營(yíng)人員通過(guò)自動(dòng)化平臺(tái)去快速、準(zhǔn)確、高效的做好容量管理、資產(chǎn)管理、風(fēng)險(xiǎn)管理，外包管理等等一系列的數(shù)據(jù)中心運(yùn)營(yíng)管理工作。

我們的監(jiān)控系統(tǒng)，除了精確發(fā)現(xiàn)故障、上報(bào)故障外，還可以考慮結(jié)合業(yè)務(wù)特性和布局，通過(guò)系統(tǒng)工具實(shí)現(xiàn)故障的自動(dòng)修復(fù)，提高設(shè)備系統(tǒng)的自愈能力。把一線的運(yùn)營(yíng)人員，從簡(jiǎn)單、重復(fù)性、例行化的工作中解放出來(lái)，讓他們能夠有更多的精力專注在對(duì)數(shù)據(jù)中心屬地的整體運(yùn)營(yíng)優(yōu)化管理工作中，提升數(shù)據(jù)中心的整體可靠性、運(yùn)營(yíng)服務(wù)的質(zhì)量和效率、有效控制能耗和運(yùn)營(yíng)成本。

道法之三，做好外包管理和人員培養(yǎng)。

在國(guó)內(nèi)，數(shù)據(jù)中心行業(yè)正在蓬勃發(fā)展，但其中專業(yè)的數(shù)據(jù)中心運(yùn)營(yíng)人才匱乏，如何培養(yǎng)和留住數(shù)據(jù)中心專業(yè)運(yùn)營(yíng)人員，是非常重要的一項(xiàng)工作?？陀^的說(shuō)，運(yùn)營(yíng)團(tuán)隊(duì)一般都會(huì)面臨壓力大、成就感不強(qiáng)、穩(wěn)定性不好等幾個(gè)問(wèn)題，而造成這種局面的主要因素來(lái)源于數(shù)據(jù)中心運(yùn)營(yíng)的工作特性——7*24的工作強(qiáng)度、工作內(nèi)容的重復(fù)性、隨時(shí)可能出現(xiàn)的風(fēng)險(xiǎn)故障，以及如何快速應(yīng)急的壓力。對(duì)于運(yùn)營(yíng)團(tuán)隊(duì)面臨的挑戰(zhàn)和問(wèn)題，其中做好技能識(shí)別，引入外包資源，平臺(tái)搭建是一個(gè)解決方案。

通過(guò)對(duì)運(yùn)營(yíng)工作及運(yùn)營(yíng)人員知識(shí)結(jié)構(gòu)的分析，可以考慮引入外包資源，參與一線運(yùn)營(yíng)工作。外包的管理工作分兩塊：一塊是，設(shè)施設(shè)備外包給專業(yè)的維保單位來(lái)執(zhí)行。對(duì)于專業(yè)的數(shù)據(jù)中心設(shè)施設(shè)備，用戶不太可能完全通過(guò)自身的技術(shù)人力來(lái)做好設(shè)施設(shè)備的維護(hù)保養(yǎng)工作，必須通過(guò)專業(yè)廠家來(lái)執(zhí)行。用戶聚焦在這部分外包維護(hù)的計(jì)劃、執(zhí)行監(jiān)管和優(yōu)化方面。

另一塊是，把重復(fù)性、例行化的標(biāo)準(zhǔn)操作層面的工作，外包給專業(yè)的服務(wù)提供商來(lái)完成，如：巡檢、直配、上架、硬件更換等等基礎(chǔ)性的操作工作。用戶主要聚焦在做好例行工作的標(biāo)準(zhǔn)化制定、外包工作計(jì)劃、運(yùn)營(yíng)任務(wù)管理、執(zhí)行過(guò)程監(jiān)管，以及外包人員的技能培養(yǎng)和外包商/人員評(píng)估考核方面。而另一部分，技術(shù)要求高且需要充分經(jīng)驗(yàn)支持的優(yōu)化和風(fēng)險(xiǎn)控制的工作由自有團(tuán)隊(duì)中有一定經(jīng)驗(yàn)的人員來(lái)完成。通過(guò)技能識(shí)別和外包引入，員工的技能和職責(zé)匹配度更高，更有利于管理好崗位預(yù)期，一定程度上可以緩解運(yùn)營(yíng)團(tuán)隊(duì)的壓力。

除此之外，為運(yùn)營(yíng)團(tuán)隊(duì)搭建一個(gè)知識(shí)學(xué)習(xí)和分享提升的平臺(tái)也非常重要，為運(yùn)營(yíng)人員建立明確的職業(yè)發(fā)展通道和發(fā)展計(jì)劃，通過(guò)各種形式的對(duì)內(nèi)對(duì)外技術(shù)培訓(xùn)和分享交流等途徑來(lái)逐漸提升一線運(yùn)營(yíng)人員自身的競(jìng)爭(zhēng)力和行業(yè)影響力，幫助運(yùn)營(yíng)團(tuán)隊(duì)提高崗位認(rèn)同感和職業(yè)成就感。

道法之四，做好預(yù)防性維護(hù)和應(yīng)急演練。

對(duì)于數(shù)據(jù)中心預(yù)防性維護(hù)通?？紤]的一個(gè)重點(diǎn)就是基礎(chǔ)設(shè)施部分，基礎(chǔ)設(shè)施的故障往往對(duì)數(shù)據(jù)中心的穩(wěn)定運(yùn)營(yíng)帶來(lái)較為嚴(yán)重的影響。一般數(shù)據(jù)中心基礎(chǔ)設(shè)施的故障中，70%屬電力方面的原因，20%屬空調(diào)制冷的原因，10%屬于光纖銅纜等其他設(shè)施的原因。整體而言，前期的產(chǎn)品質(zhì)量、施工工藝和后期的設(shè)施維保工作不到位是造成數(shù)據(jù)中心出現(xiàn)問(wèn)題的主要原因。

那么如何應(yīng)對(duì)這些故障隱患呢?沒有他法，在交付階段一定要重視機(jī)房測(cè)試驗(yàn)收的過(guò)程。通過(guò)假負(fù)載測(cè)試，一方面幫助驗(yàn)證確保機(jī)房各設(shè)施、系統(tǒng)的施工質(zhì)量及系統(tǒng)功能符合要求。另一方面通過(guò)模擬可能的故障場(chǎng)景以驗(yàn)證相關(guān)系統(tǒng)群控邏輯符合要求，同時(shí)獲取更多一手?jǐn)?shù)據(jù)和驗(yàn)證應(yīng)急預(yù)案的基本可行性。在運(yùn)營(yíng)階段，除了嚴(yán)格做好廠家維護(hù)保養(yǎng)工作之外，運(yùn)營(yíng)團(tuán)隊(duì)日常對(duì)高危設(shè)施設(shè)備有效的預(yù)防性巡檢工作也非常關(guān)鍵，比如用熱成像儀對(duì)高危設(shè)施設(shè)備進(jìn)行檢查可以有效提前發(fā)現(xiàn)潛在的故障風(fēng)險(xiǎn)。

另外，每個(gè)月1-2次的應(yīng)急預(yù)案實(shí)操演練，包括多場(chǎng)景、多系統(tǒng)設(shè)施聯(lián)動(dòng)的應(yīng)急預(yù)案的處理是否被有效的理解和熟悉，這些都應(yīng)該在日常運(yùn)營(yíng)工作中被重視起來(lái)。因?yàn)?，?duì)于數(shù)據(jù)中心來(lái)說(shuō)，某個(gè)專業(yè)系統(tǒng)的設(shè)施故障，往往都會(huì)聯(lián)動(dòng)影響到其他領(lǐng)域的系統(tǒng)出現(xiàn)異常。如：配電系統(tǒng)故障斷電，往往也會(huì)影響空調(diào)系統(tǒng)運(yùn)行，影響末端制冷，形成高溫。那么此時(shí)，配電系統(tǒng)應(yīng)急預(yù)案和空調(diào)系統(tǒng)的應(yīng)急預(yù)案是需要聯(lián)動(dòng)起來(lái)同時(shí)執(zhí)行，如果平時(shí)的演練不到位，在這樣的突發(fā)情況下，很難有效從容應(yīng)對(duì)。

除此之外，在制定應(yīng)急預(yù)案和應(yīng)急演練中還有一塊是容易被忽視的，那就是與業(yè)務(wù)的聯(lián)動(dòng)。互聯(lián)網(wǎng)行業(yè)統(tǒng)一產(chǎn)品會(huì)提供不同的應(yīng)用，在基礎(chǔ)架構(gòu)側(cè)出現(xiàn)故障時(shí)，如何有效做到業(yè)務(wù)的“柔性可用”。這就要求數(shù)據(jù)中心的運(yùn)營(yíng)側(cè)要非常了解屬地承載的業(yè)務(wù)特性和重要性分級(jí)，明確突發(fā)情況下的優(yōu)先保障機(jī)制和不同應(yīng)用取舍。只有制定匹配業(yè)務(wù)特性的應(yīng)急預(yù)案，并通過(guò)定期的與業(yè)務(wù)聯(lián)動(dòng)的多場(chǎng)景應(yīng)急演練，確保在出現(xiàn)故障時(shí)能夠快速有效的確保重點(diǎn)業(yè)務(wù)或重要應(yīng)用的連續(xù)運(yùn)行，最終做到統(tǒng)一產(chǎn)品在不同應(yīng)用上的柔性可用，確保對(duì)用戶影響的最小化。

道法之五，做好精細(xì)化運(yùn)營(yíng)。

這一部分，我們重點(diǎn)從兩個(gè)方面來(lái)看，一個(gè)是能耗、成本，一個(gè)是業(yè)務(wù)可靠性。首先，我們看看下面的數(shù)據(jù)：

服務(wù)器小于1萬(wàn)臺(tái)，全年耗電約0.35億千瓦時(shí)——電是次要因素。

服務(wù)器小于10萬(wàn)臺(tái)，全年耗電約3.5億千瓦時(shí)——電是重要因素。

服務(wù)器達(dá)到50萬(wàn)臺(tái)，全年耗電約17.5億千瓦時(shí)——電是主要成本。

服務(wù)器跨越100萬(wàn)臺(tái)，全年耗電約35億千瓦時(shí)——電是Top1成本!

這個(gè)數(shù)據(jù)表明，當(dāng)運(yùn)營(yíng)一個(gè)海量數(shù)據(jù)中心時(shí)，你會(huì)發(fā)現(xiàn)將作為運(yùn)營(yíng)成本之一的電費(fèi)，將是一個(gè)非常龐大的數(shù)字，正是因?yàn)檫@個(gè)龐大的數(shù)字，你會(huì)被管理層給“盯上”。所以，精細(xì)化運(yùn)營(yíng)的一個(gè)重點(diǎn)就是要考慮在保證數(shù)據(jù)中心有效安全穩(wěn)定運(yùn)行的情況下，如何節(jié)能降耗，從而有效降低電費(fèi)，控制運(yùn)營(yíng)成本，就成了精細(xì)化運(yùn)營(yíng)的一個(gè)重點(diǎn)。

其次，基礎(chǔ)架構(gòu)建設(shè)可靠性級(jí)別再高的數(shù)據(jù)中心，也不能保證不出任何問(wèn)題。一方面產(chǎn)品量問(wèn)題、施工質(zhì)量問(wèn)題，甚至人為操作的問(wèn)題，都很可能影響數(shù)據(jù)中心的連續(xù)性。所以說(shuō)，如何做好業(yè)務(wù)可靠性、連續(xù)性保障，如何引導(dǎo)業(yè)務(wù)在自身架構(gòu)層面做好架構(gòu)冗余，而不是把安全可靠運(yùn)行的寶全部壓在數(shù)據(jù)中心基礎(chǔ)架構(gòu)的可靠性上。如何把一個(gè)低建設(shè)可靠性的數(shù)據(jù)中心，通過(guò)后期運(yùn)營(yíng)管理為一個(gè)高可靠性的數(shù)據(jù)中心，以實(shí)現(xiàn)業(yè)務(wù)的快速部署，快速騰挪，跨區(qū)冗余，快速調(diào)度，才是精細(xì)化運(yùn)營(yíng)的精彩所在。