文章內(nèi)容

云關(guān)鍵技術(shù)及基于Hadoop的云計(jì)算模型研究

發(fā)布時(shí)間: 2012/8/6 14:06:49

云計(jì)算是由企業(yè)界開始發(fā)展，然后才進(jìn)入學(xué)術(shù)界引起重視的，這與網(wǎng)格計(jì)算相反。經(jīng)過對(duì)迄今為止的云計(jì)算相關(guān)學(xué)術(shù)論文進(jìn)行統(tǒng)計(jì)分析后，顯示學(xué)術(shù)界對(duì)于云計(jì)算的研究主要集中在云技術(shù)關(guān)鍵技術(shù)方面。云計(jì)算研究的關(guān)鍵技術(shù)包括虛擬機(jī)、安全管理、數(shù)據(jù)管理、云監(jiān)測(cè)、能耗管理和計(jì)算模型等。云計(jì)算的計(jì)算模型是研究如何針對(duì)某類應(yīng)用特點(diǎn)提出效率更高的編程方式，目前云計(jì)算模型眾多，而Hadoop是一個(gè)開源的分布式系統(tǒng)基本架構(gòu)，正日益成為具有較強(qiáng)實(shí)用性的開發(fā)平臺(tái)．淘寶就是國(guó)內(nèi)率先使用Hadoop的公司之一。

1 云計(jì)算關(guān)鍵技術(shù)

1．1 虛擬機(jī)

虛擬機(jī)是云計(jì)算的關(guān)鍵技術(shù)之一。目前在云計(jì)算中使用的主要虛擬機(jī)之一就是VMware Infrastructure。它是一個(gè)虛擬數(shù)據(jù)中心操作系統(tǒng)，可以將離散的硬件資源統(tǒng)一起來(lái)以創(chuàng)建共享平臺(tái)。其優(yōu)點(diǎn)有：①整合服務(wù)器以降低IT成本；②暗哨計(jì)劃內(nèi)和計(jì)劃外停機(jī)以改進(jìn)業(yè)務(wù)連續(xù)性；⑧運(yùn)行較少的服務(wù)器并且動(dòng)態(tài)關(guān)閉不使用的服務(wù)器。

1．2 安全管理

云計(jì)算是計(jì)算機(jī)資源的整合，通過云計(jì)算設(shè)施中的任何一臺(tái)計(jì)算機(jī)，任何隱私信息都能夠被找到。云計(jì)算安全問題已經(jīng)成為急需解決的重要問題。其中，Siani Persion等提出了在云計(jì)算服務(wù)設(shè)計(jì)過程中保護(hù)用戶隱私的一些設(shè)計(jì)原則：① 發(fā)送盡量少的個(gè)人信息到云中，或者對(duì)系統(tǒng)進(jìn)行分析后只對(duì)一小部分個(gè)人信息進(jìn)行必要的收集和采集；② 采用安全措施防止未授權(quán)的訪問、復(fù)制、使用或者修改個(gè)人信息來(lái)保護(hù)云中的個(gè)人信息：③最大限度地實(shí)現(xiàn)用戶控制。在云計(jì)算環(huán)境中，讓用戶完全控制個(gè)人信息是比較困難的。要加強(qiáng)對(duì)個(gè)人信息的控制：一可以允許用戶控制最重要的個(gè)人信息；二可以委托信任的第三方來(lái)管理：④允許用戶對(duì)個(gè)人信息的使用進(jìn)行選擇，即加入、退出機(jī)制；⑤明確以及限制數(shù)據(jù)使用的目的。個(gè)人信息必須被身份明確的人使用和處理；⑥有反饋機(jī)制。即設(shè)計(jì)人及界面清楚地表明云服務(wù)中采取的安全措施，用其向用戶提供安全提示。

1．3 數(shù)據(jù)管理

云計(jì)算具有計(jì)算能力可變、數(shù)據(jù)儲(chǔ)存在不信任的主機(jī)上、數(shù)據(jù)是遠(yuǎn)程復(fù)制等3個(gè)特點(diǎn)。從這3個(gè)特點(diǎn)分析而出，只有兩種數(shù)據(jù)管理應(yīng)用程序可能適合部署到云計(jì)算中：一是和事務(wù)處理相關(guān)的數(shù)據(jù)管理系統(tǒng)：另一種是和分析相關(guān)的數(shù)據(jù)管理系統(tǒng)。前者未采用共享的體系結(jié)構(gòu)，在進(jìn)行遠(yuǎn)程數(shù)據(jù)復(fù)制時(shí)很難滿足ACID的需求，同時(shí)在不信任的主機(jī)上存儲(chǔ)數(shù)據(jù)也有比較大的風(fēng)險(xiǎn)。ACID要求對(duì)于基于分析的數(shù)據(jù)管理系統(tǒng)來(lái)說不是必須的，同時(shí)可以保證敏感數(shù)據(jù)在分析之外，從而保證其安全。因此，基于分析的數(shù)據(jù)管理系統(tǒng)應(yīng)該很合適部署到云計(jì)算環(huán)境中去。

1.4 云監(jiān)測(cè)和能耗管理

云監(jiān)測(cè)是隨著云計(jì)算的推廣、云設(shè)施不斷增加、為了更好地體現(xiàn)云計(jì)算的強(qiáng)大計(jì)算處理能力而設(shè)置的對(duì)虛擬機(jī)監(jiān)控的能力：能耗管理是如何節(jié)省云設(shè)施中計(jì)算設(shè)施所需要的能源、有效整合資源、降低成本。

1．5 云計(jì)算的計(jì)算模型

現(xiàn)行的分布式計(jì)算系統(tǒng)可以提供強(qiáng)大的計(jì)算能力．但非專業(yè)用戶并不能有效地利用，一個(gè)龐大的任務(wù)很可能由于初學(xué)者的偶然操作導(dǎo)致性能的大幅下降。為了解決這些問題，應(yīng)該提供給用戶一個(gè)高度抽象的產(chǎn)品系統(tǒng)．這些就是云計(jì)算的計(jì)算模型。提到云計(jì)算模型，就不得不說一個(gè)開源框架，那就是Hadoop。

Hadoop是一個(gè)分布式系統(tǒng)基本架構(gòu)。由Apache開發(fā)，使用戶在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。簡(jiǎn)單點(diǎn)說。Hadoop是一個(gè)可以更容易開發(fā)和運(yùn)行處理大規(guī)模數(shù)據(jù)的軟件平臺(tái)。

Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)（Hadoop DistributedFile System），簡(jiǎn)稱HDFS。HDFS有著高容錯(cuò)性的特點(diǎn)，并且設(shè)計(jì)用來(lái)部署在低廉的硬件上。而且它提供高傳輸率來(lái)訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集的應(yīng)用程序。HDFS放寬了POSIX標(biāo)準(zhǔn)的要求。這樣可以流的形式訪問文件系統(tǒng)中的數(shù)據(jù)。

Hadoop采用Master／Slave結(jié)構(gòu)（如圖1），會(huì)有一臺(tái)Mas．ter，主要負(fù)責(zé)NameNode的工作以及JobTracker的工作，Job．Tracker的主要職責(zé)就是啟動(dòng)、跟蹤和調(diào)度各個(gè)Slave的任務(wù)執(zhí)行。還會(huì)有多臺(tái)Slave，每一臺(tái)Slave通常具有DataNode的功能并負(fù)責(zé)TaskTracker的工作。TaskTracker根據(jù)應(yīng)用要求來(lái)結(jié)合本地?cái)?shù)據(jù)執(zhí)行Map任務(wù)以及Reduce任務(wù)。