云計算的“大數(shù)據(jù)”之年 盤點PaaS發(fā)展?fàn)顩r

　　隨著企業(yè)越來越多地采用平臺即服務(wù)（PaaS）云計算模式作為企業(yè)的數(shù)據(jù)倉庫應(yīng)用解決方案，Apache Hadoop以及HDFS、MapReduce、Hive、Pig與其他的子組件正在成為大數(shù)據(jù)分析的主力軍，這一趨勢也變得逐漸明朗化。為了表明Hadoop已經(jīng)成熟并已可用于生產(chǎn)分析云計算環(huán)境的商用化應(yīng)用，Apache Foundation已升級至具有里程碑性質(zhì)的Hadoop v1.0版本。

　　在供應(yīng)商的數(shù)據(jù)中心為批處理托管MapReduce處理創(chuàng)建高擴(kuò)展性、即付即用Hadoop集群的能力可允許企業(yè)IT部門避免因內(nèi)部自有服務(wù)器的零星使用而造成的資本支出。其結(jié)果就是，Hadoop已成為財大氣粗PaaS供應(yīng)商們（Amazon、Google、IBM和微軟）的必需品，以打包Hadoop、MapReduce或這兩者作為其預(yù)建服務(wù)。

　　AWS的彈性MapReduce

　　2009年四月Amazon網(wǎng)絡(luò)服務(wù)（AWS）成為了彈性MapReduce（EMR）的始作俑者。EMR處理Hadoop集群配置、運行和終止任務(wù)以及在Amazon EC2和Amason S3（簡單存儲服務(wù)）之間實現(xiàn)數(shù)據(jù)傳輸。EMR還提供了Apache Hive，它可建立在Hadoop之上以用于數(shù)據(jù)倉庫服務(wù)。

圖1

　　Amazon網(wǎng)絡(luò)服務(wù)的彈性MapReduce功能，對CloudWatch工作的工作流指標(biāo)進(jìn)行采樣。(圖片由AWS提供)

　　對于從機(jī)故障，EMR是有故障容錯機(jī)制的；Amazon建議以Spot Instances只運行任務(wù)實例組，從而實現(xiàn)在利用更低成本優(yōu)勢的同時仍然保持可用性。但是，在2011年八月之前AWS并不支持Spot Instances。

　　Amazon為EMR定出了每小時0.015至0.05美元的附加費標(biāo)準(zhǔn)，并將其作為小型云主機(jī)至超強(qiáng)集群云主機(jī)EC2實例的額定值。根據(jù)AWS的官方說法：一旦你開始了工作流，Amazon彈性MapReduce就處理Amazon EC2的實例配置、安全設(shè)置、Hadoop配置以及設(shè)置、日志收集、健康監(jiān)控以及其他與硬件相關(guān)的復(fù)雜性，例如從你正在運行的工作流中自動移除故障實例。AWS于近期為EMR實例發(fā)布了免費CloudWatch指標(biāo)。(圖1)

服務(wù)器租用/服務(wù)器托管中國五強(qiáng)！虛擬主機(jī)域名注冊頂級提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]