云計算落地:研究分析云存儲系統(tǒng)應用 |
發(fā)布時間: 2012/7/31 10:12:46 |
現(xiàn)在云計算正方興未艾,它對存儲容量、存儲訪問性能和成本等提出了前所未有的挑戰(zhàn)。云計算的興起對于信息存儲會產生哪些重要影響呢?EMC公司中國研發(fā)中心首席架構師任宇翔認為云存儲的起點就應該是PB級。而IDC研究表明,從2006年到201O年,全球信息總量將增長6倍以上,從161EB增加到988EB(IEB=1024PB)。一些新推出的磁盤陣列中已經普遍采用了750GB或1TB的SATA硬盤。目前已知存儲密度最高的磁盤陣列可以在4U空間內提供高達42TB的存儲容量,這在以前是根本無法想象的。技術的不斷進步必將推動存儲向更高容量發(fā)展,而重復數據刪除、壓縮等技術的引入,可以進一步提升存儲空間的利用率。面對PB級的海量存儲需求。傳統(tǒng)的SAN或NAS在容量和性能的擴展上會存在瓶頸;云計算這種新型的服務模式必然要求存儲架構保持極低的成本。而現(xiàn)有的一些高端存儲設備顯然還不能滿足這種需求。
一、云存儲概述 1.1 云存儲的概念 云存儲的概念與云計算類似。它是指通過集群應用、網格技術或分布式文件系統(tǒng)等功能,將網絡中大量各種不同類型的存儲設備通過應用軟件集合起來協(xié)同工作,共同對外提供數據存儲和業(yè)務訪問功能的一個系統(tǒng)。云存儲不是存儲。而是服務。就如同云狀的廣域網和互聯(lián)網一樣,云存儲對使用者來講,不是指某一個具體的設備,而是指一個由許許多多個存儲設備和服務器所構成的集合體。使用者使用云存儲。并不是使用某一個存儲設備。而是使用整個云存儲系統(tǒng)帶來的一種數據訪問服務。所以嚴格來講,云存儲不是存儲,而是一種服務。云存儲的核心是應用軟件與存儲設備相結合,通過應用軟件來實現(xiàn)存儲設備向存儲服務的轉變。云存儲具有如下特點:超強地可擴展性、不受具體地理位置所限、基于商業(yè)組件、按照使用收費(如每G收15美分)、可跨不同應用等。 1.2 云計算和云存儲的關系 云計算是分布式處理(Distributed Computing)、并行處理(Parallel Computing)和網格計算(Grid Computing)的發(fā)展,是透過網絡將龐大的計算處理程序自動分拆成無數個較小的子程序,再交由多臺服務器所組成的龐大系統(tǒng)經計算分析之后將處理結果回傳給用戶。通過云計算技術,網絡服務提供者可以在數秒之內,處理數以千萬計甚至億計的信息,達到和“超級計算機”同樣強大的網絡服務。云計算系統(tǒng)的建設目標是將運行在PC上、或單個服務器上的獨立的、個人化的運算遷移到一個數量龐大服務器“云”中,由這個云系統(tǒng)來負責處理用戶的請求,并輸出結果,它是一個以數據運算和處理為核心的系統(tǒng)。云存儲是在云計算(Cloud computing)概念上延伸和發(fā)展出來的一個新的概念。當云計算系統(tǒng)運算和處理的核心是大量數據的存儲和管理時,云計算系統(tǒng)中就需要配置大量的存儲設備,那么云計算系統(tǒng)就轉變成為一個云存儲系統(tǒng),所以云存儲是一個以數據存儲和管理為核心的云計算系統(tǒng)。與云計算系統(tǒng)相比。云存儲可以認為是配置了大容量存儲空間的一個云計算系統(tǒng)。從架構模型來看,云存儲系統(tǒng)比云計算系統(tǒng)多了一個存儲層,同時,在基礎管理也多了很多與數據管理和數據安全有關的功能,在兩者在訪問層和應用接口層則是完全相同的。 二、云存儲系統(tǒng)分析 2.1 云存儲系統(tǒng)的結構模型 與傳統(tǒng)的存儲設備相比,云存儲不僅僅是一個硬件,而是一個網絡設備、存儲設備、服務器、應用軟件、公用訪問接口、接入網、和客戶端程序等多個部分組成的復雜系統(tǒng)。各部分以存儲設備為核心,通過應用軟件來對外提供數據存儲和業(yè)務訪問服務。云存儲系統(tǒng)的結構模型由4層組成,如圖1。 2.1.1 存儲層 存儲層是云存儲最基礎的部分。存儲設備可以是光纖通道存儲設備,也可以是其他的存儲設備。云存儲中的存儲設備往往數量龐大且分布多不同地域。彼此之間通過廣域網、互聯(lián)網或者光纖通道網絡連接在一起。存儲設備之上是一個統(tǒng)一存儲設備管理系統(tǒng).可以實現(xiàn)存儲設備的邏輯虛擬化管理、多鏈路冗余管理。以及硬件設備的狀態(tài)監(jiān)控和故障維護。 2.1.2 基礎管理層 基礎管理層是云存儲最核心的部分,也是云存儲中最難以實現(xiàn)的部分基礎管理層通過集群、分布式文件系統(tǒng)和網格計算等技術,實現(xiàn)云存儲中多個存儲設備之間的協(xié)同工作,使多個的存儲設備可以對外提供同一種服務,并提供更大更強更好的數據訪問性能。CDN內容分發(fā)系統(tǒng)、數據加密技術保證云存儲中的數據不會被未授權的用戶所訪問,同時,通過各種數據備份和容災技術和措施可以保證云存儲中的數據不會丟失,保證云存儲自身的安全和穩(wěn)定。 2.1.3 應用接口層 應用接口層是云存儲最靈活多變的部分。不同的云存儲運營單位可以根據實際業(yè)務類型,開發(fā)不同的應用服務接口,提供不同的應用服務。比如視頻監(jiān)控應用平臺、網絡硬盤引用平臺.遠程數據備份應用平臺等。 2.1.4 訪問層 任何一個授權用戶都可以通過標準的公用應用接口來登錄云存儲系統(tǒng),享受云存儲服務。云存儲運營單位不同,云存儲提供的訪問類型和訪問手段也不同。 2.2 云存儲系統(tǒng)實現(xiàn)的關鍵技術 從云存儲結構模型可知,云存儲系統(tǒng)是一個多設備、多應用、多服務協(xié)同工作的集合體,它的實現(xiàn)要以多種技術的發(fā)展為前提。 2.2.1 寬帶網絡的發(fā)展 真正的云存儲系統(tǒng)將會是一個多區(qū)域分布、遍布全國、甚至于遍布全球的龐大公用系統(tǒng)。只有寬帶網絡得到充足的發(fā)展,使用者才有可能獲得足夠大的數據傳輸帶寬,實現(xiàn)大量容量數據的傳輸,真正享受到云存儲服務。 2.2.2 Web2.0技術 Web2.O技術的核心是分享。只有通過Web2.0技術,云存儲的使用者才有可能通過PC、手機、移動多媒體等多種設備,實現(xiàn)數據、文檔、圖片和視、音頻等內容的集中存儲和資料共享。Web2.0技術的發(fā)展使得使用者的應用方式和可得服務更加靈活和多樣。 2.2.3 應用存儲的發(fā)展 應用存儲是一種在存儲設備中集成了應用軟件功能的存儲設備,它不僅具有數據存儲功能,還具有應用軟件功能,可以看作是服務器和存儲設備的集合體。應用存儲技術的發(fā)展可以大量減少云存儲中服務器的數量,從而降低系統(tǒng)建設成本,減少系統(tǒng)中由服務器造成單點故障和性能瓶頸.減少數據傳輸環(huán)節(jié)。提供系統(tǒng)性能和效率。保證整個系統(tǒng)的高效穩(wěn)定運行。 2.2.4 集群技術、網格技術和分布式文件系統(tǒng)云存儲系統(tǒng)是一個多存儲設備、多應用、多服務協(xié)同工作的集合體,它需要通過集群技術、分布式文件系統(tǒng)和網格計算等技術。實現(xiàn)多個存儲設備之間的協(xié)同工作。使多個的存儲設備可以對外提供同一種服務,并提供更大更強更好的數據訪問性能。 2.2.5 CDN內容分發(fā)、P2P技術、數據壓縮技術、重復數據刪除技術、數據加密技術CDN內容分發(fā)系統(tǒng)、數據加密技術保證云存儲中的數據不會被未授權的用戶所訪問,同時,通過各種數據備份和容災技術保證云存儲中的數據不會丟失,保證云存儲自身的安全和穩(wěn)定。 2.2.6 存儲虛擬化技術、存儲網絡化管理技術云存儲中的存儲設備數髦龐大且分布在多不同地域,如何實現(xiàn)不同廠商、不同型號甚至于不同類型(如FC存儲和IP存儲)的多臺設備之間的邏輯卷管理、存儲虛擬化管理和多鏈路冗余管理將會是一個巨大的難題,這個問題得不到解決,存儲設備就會是整個云存儲系統(tǒng)的性能瓶頸,結構上也無法形成一個整體,而且還會帶來后期容量和性能擴展難等問題。 三、云存儲應用 云存儲從結構模型可以看出,云存儲能提供什么樣的服務取決于云存儲架構的應用接口層中內嵌了什么類型的應用軟件和服務。不同類型的云存儲運營商對外提供的服務也不同。根據服務類型和面向的用戶不同,云存儲服務可以分為個人級應用和企業(yè)級應用。 3.1 個人級云存儲應用 3.1.1 網絡磁盤 網絡磁盤是一種在線存儲服務,使用者可通過web訪問方式來上傳和下載文件,實現(xiàn)個人重要數據的網絡化存儲和備份。高級的網絡磁盤可以提供web頁面和客戶端軟件等兩種訪問方式。網絡磁盤的容量空間一般取決于服務商的服務策略,或取決于使用者向服務商支付的費用多少。 3.1.2 在線文檔編輯 在線文檔編輯將使我們不再需要在個人PC上安裝office等軟件,只需要打開Google does網頁,通過Google does就可以進行文檔編輯和修改(使用云計算系統(tǒng)),并將編輯完成的文檔保存在Google docs服務所提供的個人存儲空間中(使用云存儲系統(tǒng))。無論我們走到哪兒,都可以再次登錄Google does,打開保存在云存儲系統(tǒng)中的文檔。通過云存儲系統(tǒng)的權限管理功能,還能輕松實現(xiàn)文檔的共享、傳送以及版權管理。 3.1.3 在線的網絡游戲 我們可以通過云計算和云存儲系統(tǒng)來構建一個龐大的、超能的游戲服務器群,這個服務器群系統(tǒng)對于游戲玩家來講,就如同是一臺服務器,所有玩家在一起進行競爭。云計算和云存儲的應用,可以代替現(xiàn)有的多服務器架構,使所有玩家都能集中在一個游戲服務器組的管理之下。同時,云計算和云存儲系統(tǒng)的使用可在最大限度上提升游戲服務器的性能,實現(xiàn)更多的功能。 3.2 企業(yè)級云存儲應用 從目前不同行業(yè)的存儲應用現(xiàn)狀來看,以下幾類系統(tǒng)將有可能很快進入云存儲時代。 3.2.1 企業(yè)空間租賃服務 信息化的不斷發(fā)展使得企業(yè)的信息數據量呈幾何級數增長。通過高性能、大容量云存儲系統(tǒng)。數據業(yè)務運營商和idc數據中心可以為無法單獨購買大容量存儲設備的企事業(yè)單位提供方便快捷的空間租賃服務,滿足企事業(yè)單位不斷增加的業(yè)務數據存儲需求。 3.2.2 企業(yè)級遠程數據備份和容災 通過高性能、大容量云存儲系統(tǒng)和遠程數據備份軟件,數據業(yè)務運營商和數據中心可以為所有需要遠程數據備份和容災的企事業(yè)單位提供空間租賃和備份業(yè)務租賃服務。普通的企事業(yè)單位、中小企業(yè)可租用數據中心提供的空問服務和遠程數據備份服務功能,建立自己的遠程備份和容災系統(tǒng),以保證當本地發(fā)生重大的災難時,可通過遠程備份或遠程容災系統(tǒng)進行快速恢復。 3.2.3 視頻監(jiān)控系統(tǒng) 建立一個遍布全國的云存儲系統(tǒng),在這個云存儲系統(tǒng)中可以內嵌視頻監(jiān)控平臺管理軟件,建設“全球眼”或“寬視界”系統(tǒng)。系統(tǒng)的建設者只需要安裝攝像頭和編碼器等前端設備,并為每一個編碼器、IP攝像頭分配一個帶寬足夠的接入網鏈路,通過接入網與云存儲系統(tǒng)連接,實時的視頻圖像就可以很方便地保存到云存儲中,并通過視頻監(jiān)控平臺管理軟件實現(xiàn)圖像的管理和調用。 四、總結 面對海量數據的增長。企業(yè)如何提供足夠的空間去存儲數據?對于資源有限的企業(yè)來說,云存儲看上去是一個很好的解決方案。云存儲不是存儲,而是服務。就如同云狀的廣域網和互聯(lián)網一樣。云存儲對使用者來講,不是指某一個具體的設備,而是指一個由許許多多個存儲設備和服務器所構成的集合體。使用者使用云存儲。并不是使用某一個存儲設備,而是使用整個云存儲系統(tǒng)帶來的一種數據訪問服務。云存儲的核心是應用軟件與存儲設備相結合,通過應用軟件來實現(xiàn)存儲設備向存儲服務的轉變。 本文出自:億恩科技【mszdt.com】 |