中國(guó)IDC圈12月13日?qǐng)?bào)道：提到云計(jì)算，我們通常能夠與Google、微軟、雅虎這樣的業(yè)界大腕相聯(lián)系，與中小企業(yè)無緣。而實(shí)際上，得益于諸如Hadoop這樣的開源軟件，廣大中小企業(yè)也可以搭建自己的私有云，并相當(dāng)程度的滿足自身需求。這篇文章會(huì)從實(shí)踐出發(fā)，談一談企業(yè)如何在基于英特爾的開放架構(gòu)上架設(shè)Hadoop私有云系統(tǒng)，以及測(cè)試實(shí)施的效果到底如何。

目前系統(tǒng)面臨的問題

從過去來看，企業(yè)系統(tǒng)當(dāng)中存在相當(dāng)數(shù)量的應(yīng)用，各自承載不同類型的大計(jì)算量任務(wù)，比如分詞、產(chǎn)品分析、新詞發(fā)現(xiàn)等等。

而目前的系統(tǒng)由于是基于單機(jī)的實(shí)現(xiàn)的，盡管單服務(wù)器性能也足夠強(qiáng)，但對(duì)于多任務(wù)的執(zhí)行，效率實(shí)在相當(dāng)?shù)拖�，某物流公司僅當(dāng)月的產(chǎn)品分析一項(xiàng)就花了近300個(gè)機(jī)時(shí)。

如果沿著現(xiàn)在的方式走下去的話，那么開發(fā)成本，維護(hù)成本，硬件投入，以及跨項(xiàng)目組的溝通協(xié)調(diào)成本都會(huì)持續(xù)提升；而硬件使用效率跟開發(fā)人員生產(chǎn)率卻會(huì)下降。從這點(diǎn)出發(fā)，需要構(gòu)造一個(gè)通用的分布式計(jì)算框架引擎作為新的基礎(chǔ)計(jì)算架構(gòu)，來滿足任務(wù)需求。

系統(tǒng)需求

1、通用性——系統(tǒng)需要實(shí)現(xiàn)任務(wù)分發(fā)，負(fù)載平衡，錯(cuò)誤恢復(fù)等分布式計(jì)算的基礎(chǔ)工作，一個(gè)計(jì)算密集型的任務(wù)可以通過簡(jiǎn)易的封裝，部署在系統(tǒng)執(zhí)行，在同一時(shí)間內(nèi)，系統(tǒng)可以執(zhí)行不同類型的任務(wù)，由此達(dá)到對(duì)服務(wù)器資源的最有效利用，從這一點(diǎn)上來看，系統(tǒng)需要的是一個(gè)開放式的基礎(chǔ)架構(gòu)。

2、穩(wěn)定性——系統(tǒng)本身的運(yùn)行穩(wěn)定；

3、可擴(kuò)展性——主要是指Scale Out的能力，需要新的服務(wù)器資源可以簡(jiǎn)易的集成進(jìn)集群，投入應(yīng)用；

4、靈活性，除去通過API或者通過擴(kuò)展框架來將任務(wù)部署在系統(tǒng)中外，也要支持利用Python等腳本語(yǔ)言進(jìn)行輕量級(jí)的開發(fā)，來應(yīng)對(duì)一些ad-hoc的任務(wù)；

5、支持對(duì)大規(guī)模數(shù)據(jù)量的處理，以及對(duì)最終結(jié)果的集中收集。

英特爾平臺(tái)的Hadoop私有云解決方案

從開放行、穩(wěn)定性和擴(kuò)展性等多方面角度考慮，基于Intel至強(qiáng)處理器平臺(tái)是新的系統(tǒng)架構(gòu)的選擇，整個(gè)系統(tǒng)建立在Intel至強(qiáng)5600架構(gòu)平臺(tái)之上，在開源的分布式計(jì)算框架Hadoop上定制開發(fā)。Hadoop是一套對(duì)Google著名MapReduce模式的實(shí)現(xiàn)，用最簡(jiǎn)單的話說，MapReduce就是把任務(wù)數(shù)據(jù)拆分成多塊，分別在不同的服務(wù)器上進(jìn)行處理，最后再把中間結(jié)果聚合起來，得到最終結(jié)果。

從應(yīng)用加載來看，所有的服務(wù)器資源根據(jù)應(yīng)用被劃分，運(yùn)行穩(wěn)定可靠，如果中間因?yàn)榫W(wǎng)絡(luò)或者小部分服務(wù)器本身故障，Hadoop的內(nèi)部機(jī)制可以自動(dòng)將任務(wù)分配到正常機(jī)器上運(yùn)行，以保證所有任務(wù)最終的順利完成。

另外，由于所有的計(jì)算任務(wù)會(huì)在單獨(dú)的線程中進(jìn)行，所以可以充分利用至強(qiáng)5600的多線程和超線程技術(shù)。此外，配合英特爾QPI總線設(shè)計(jì)，處理器間的連接帶寬提升至25.6GB/s，CPU與內(nèi)存的數(shù)據(jù)帶寬也達(dá)到了32GB/s，經(jīng)在四核的服務(wù)器上測(cè)試，由于應(yīng)用本身沒有對(duì)多核進(jìn)行優(yōu)化，因此在主程序執(zhí)行時(shí)，即便是單機(jī)性能也提高了近50%.

總結(jié)

基于Hadoop的開放平臺(tái)私有云架構(gòu)的戰(zhàn)略意義

1、大幅減少現(xiàn)有計(jì)算密集型任務(wù)的時(shí)間，大幅提高服務(wù)器利用效率；

2、使未來對(duì)計(jì)算要求更高的業(yè)務(wù)成為可能，這樣的架構(gòu)允許任意添加新的X86服務(wù)器就能擴(kuò)充計(jì)算資源，而不會(huì)增加額外的管理和維護(hù)成本。

3. 最后，系統(tǒng)除了支持Java，也支持Python和Bash Shell這樣輕量級(jí)的腳本語(yǔ)言，也使得開發(fā)人員能夠利用廉價(jià)而高性能的計(jì)算平臺(tái)進(jìn)行業(yè)務(wù)創(chuàng)新。