百度云計(jì)算數(shù)據(jù)中心的節(jié)能和降耗 |
發(fā)布時(shí)間: 2012/9/8 14:25:44 |
百度發(fā)展到今天,已經(jīng)擁有5億的網(wǎng)民,每天接收來(lái)自全世界138個(gè)國(guó)家的,超過(guò)60億次的搜索請(qǐng)求。搜索引擎公司很大的一個(gè)特點(diǎn)就是,要處理互聯(lián)網(wǎng)上幾乎所有的數(shù)據(jù),只要你連接進(jìn)互聯(lián)網(wǎng),這些數(shù)據(jù)都要被百度這樣的搜索引擎公司索引,然后來(lái)供廣大網(wǎng)民來(lái)使用。
目前,已經(jīng)處理的數(shù)據(jù)量是百PB量級(jí),而且這個(gè)數(shù)量還在以更快的速度發(fā)展。如今,隨著帶寬的進(jìn)一步提高,以及移動(dòng)設(shè)備的進(jìn)一步發(fā)展和普及,需要處理的數(shù)據(jù)量增長(zhǎng)得越來(lái)越快,特別是近幾年來(lái),多媒體數(shù)據(jù)大量產(chǎn)生。占得空間要大很多,而且對(duì)上傳的頻率和速度要求也比以前高很多。一個(gè)工作就是對(duì)數(shù)據(jù)中心進(jìn)行節(jié)能減排,另一個(gè)工作就是數(shù)據(jù)中心的設(shè)計(jì)。
百度研究數(shù)據(jù)中心的設(shè)計(jì),實(shí)際是研究如何把這些分散的服務(wù)器資源集中管理起來(lái),然后將這些計(jì)算和存儲(chǔ)資源進(jìn)行統(tǒng)一的調(diào)度和分配。
從更高層面看,在云計(jì)算時(shí)代,或者說(shuō)互聯(lián)網(wǎng)發(fā)展得比較成熟的時(shí)候,整個(gè)的計(jì)算體系都在發(fā)生一些變化。
百度主要關(guān)注數(shù)據(jù)中心的幾個(gè)方面。
第一個(gè)就是容量,由于互聯(lián)網(wǎng)產(chǎn)業(yè)的快速發(fā)展,用戶和數(shù)據(jù)量隨之激增,百度的后臺(tái)在不斷擴(kuò)容。由最開(kāi)始的幾百臺(tái)服務(wù)器規(guī)模的單體數(shù)據(jù)中心,發(fā)展到現(xiàn)在的十萬(wàn)量級(jí)服務(wù)器規(guī)模的單體數(shù)據(jù)中心。
第二個(gè)是密度。如果密度問(wèn)題不解決的話,服務(wù)器所占用的空間、消耗的能源都是非常巨大的。過(guò)去是單立一個(gè)標(biāo)準(zhǔn)的服務(wù)器,發(fā)展到今天是幾十個(gè)服務(wù)器在一個(gè)機(jī)柜里面。
第三個(gè)是擴(kuò)展性。由于互聯(lián)網(wǎng)的快速發(fā)展,使得數(shù)據(jù)中心數(shù)量高速增長(zhǎng),由一開(kāi)始的單體建筑,發(fā)展到數(shù)據(jù)中心集群。
第四個(gè)是傳輸帶寬方面的要求。包括帶寬的穩(wěn)定性、傳輸速率等。
第五個(gè)是快速交付能力。交付能力主要指的是部署數(shù)據(jù)中心。哪怕是部署一個(gè)一萬(wàn)臺(tái)服務(wù)器規(guī)模的數(shù)據(jù)中心,都是一個(gè)極其復(fù)雜的事情,這里涉及每一個(gè)服務(wù)器的安裝、每一個(gè)服務(wù)器里面的操作系統(tǒng)和一些軟件的安裝。如果說(shuō)每一天能夠部署一千臺(tái),一萬(wàn)多臺(tái)服務(wù)器只要半個(gè)多月時(shí)間就可以部署完成。
在服務(wù)器很少的情況下,對(duì)服務(wù)器減排、提高能效,并不會(huì)顯得非常重要。但是,隨著互聯(lián)網(wǎng)的高速發(fā)展,特別數(shù)據(jù)的爆炸式正在,百度服務(wù)器的規(guī)模每年增長(zhǎng)速度超過(guò)了100%。這意味著,百度每一年買的服務(wù)器的數(shù)量比歷史上庫(kù)存下來(lái)服務(wù)器的總數(shù)還要多,比歷史總數(shù)還要多。
為什么要關(guān)注數(shù)據(jù)中心的節(jié)能問(wèn)題,最根本的因素是考慮成本。成本包括三個(gè)方面,第一個(gè)是購(gòu)置相關(guān)設(shè)備,包括服務(wù)、器網(wǎng)絡(luò)設(shè)備,以及其他的一些配件。第二塊成本是運(yùn)營(yíng)成本,第三塊是用電的成本。從這三塊成本來(lái)看,服務(wù)器的購(gòu)置成本約占其中的一半,也就是說(shuō)一臺(tái)服務(wù)器假如是三萬(wàn)元,在整個(gè)服務(wù)器的生命周期里面,要付出約六萬(wàn)元的總價(jià),這就是為什么要關(guān)心服務(wù)器,關(guān)心數(shù)據(jù)中心節(jié)能降耗,以及維護(hù)成本的問(wèn)題。
那么以單體10萬(wàn)臺(tái)服務(wù)器規(guī)模的數(shù)據(jù)中心來(lái)算,PUE每降0.1,百度每年節(jié)約一千萬(wàn)元的成本。通過(guò)多年的摸索和探索,百度自建了自己的數(shù)據(jù)中心,百度數(shù)據(jù)中心的PUE由傳統(tǒng)的2.5左右,降到了現(xiàn)在的1.3。
百度已成長(zhǎng)比較大型的企業(yè),國(guó)家各個(gè)部門對(duì)百度的期望也很高,百度的搜集引擎不僅僅是公司的盈利手段,更已經(jīng)成為一種非常重要的社會(huì)資源。在十多年的高速發(fā)展中,百度在各個(gè)方面所做出的各種努力,對(duì)社會(huì)起到了積極的示范效應(yīng),數(shù)據(jù)中心的節(jié)能建設(shè)就是其中一個(gè)方面。
傳統(tǒng)的數(shù)據(jù)中心是比較粗放型的,它表現(xiàn)在有很多的冗余設(shè)備以及設(shè)備的負(fù)載偏低,制冷設(shè)備的利用率比較低,這造成了資源浪費(fèi)。一個(gè)方面,是設(shè)備本身的浪費(fèi),通常采用的是標(biāo)準(zhǔn)化的服務(wù)器。標(biāo)準(zhǔn)的服務(wù)器里面有很多的設(shè)備是業(yè)務(wù)所不需要的;另一個(gè)方面,浪費(fèi)了大量的電能。
一般來(lái)講,在傳統(tǒng)的數(shù)據(jù)中心統(tǒng)計(jì)中,一個(gè)服務(wù)器利用率不到20%,而云計(jì)算時(shí)代的數(shù)據(jù)中心,就是要充分利用每一臺(tái)服務(wù)器的能力。
首先,在服務(wù)器方面,首先采用定制化的硬件。定制化就是把在標(biāo)準(zhǔn)服務(wù)器里,業(yè)務(wù)所用不到的那些設(shè)備去掉,同時(shí)利用一些高效的設(shè)備,以替代傳統(tǒng)的設(shè)備。其次,我們采用平衡設(shè)計(jì)方式。在服務(wù)器平衡設(shè)計(jì)方面,目前流行的一個(gè)趨勢(shì)就是多核高頻率服務(wù)器,但是如果僅是CPU的頻率很高,而磁盤、IO的能力還很低,這樣就會(huì)導(dǎo)致了CPU能力的浪費(fèi)。在設(shè)計(jì)服務(wù)器的時(shí)候,通常會(huì)針對(duì)不同業(yè)務(wù),對(duì)CPU、IO設(shè)備等進(jìn)行均衡設(shè)計(jì)。
第三,將多臺(tái)服務(wù)器集中放在一個(gè)機(jī)柜里面。原來(lái)每一個(gè)服務(wù)器都有自己的電源、風(fēng)扇。而把幾十臺(tái)服務(wù)器集中到一個(gè)ROK里頭,然后用一個(gè)大的風(fēng)扇、大的電源,對(duì)這些服務(wù)器進(jìn)行集中供電、集中散熱。這樣,作為一個(gè)單個(gè)服務(wù)器來(lái)講,平均能耗就降低很多。
第四,采用了直流高壓供電。這種供電方式省去了兩個(gè)轉(zhuǎn)換,第一個(gè)是在UPS階段的轉(zhuǎn)換,第二個(gè)就是在服務(wù)器環(huán)節(jié)的轉(zhuǎn)換。因?yàn)槊看无D(zhuǎn)換都是有這個(gè)電能損耗的,損失的電能是10%左右。而采用了高壓直流供電之后,就沒(méi)有了這10%的損耗。
第五,在輔助設(shè)備方面,輔助設(shè)備主要是制冷設(shè)備。前面兩個(gè)方法都是從硬件方面解決性能問(wèn)題,還從軟件架構(gòu)層面提高了服務(wù)器的使用效率。提高效率的手段主要是兩個(gè)方面:資源池化和單點(diǎn)多任務(wù)化。 本文出自:億恩科技【mszdt.com】 服務(wù)器租用/服務(wù)器托管中國(guó)五強(qiáng)!虛擬主機(jī)域名注冊(cè)頂級(jí)提供商!15年品質(zhì)保障!--億恩科技[ENKJ.COM] |