分布式對(duì)象存儲(chǔ)——“超級(jí)數(shù)據(jù)圖書館

QQ1355017510
 電話  0371-63322099
數(shù)據(jù)的產(chǎn)生及信息爆炸帶來(lái)的挑戰(zhàn)

　　為了更清晰的認(rèn)識(shí)我們所生存的環(huán)境，提高人際溝通效率，人們收集和創(chuàng)造了大量的數(shù)據(jù)，有些是對(duì)物理世界的客觀描述，如原子和分子的組成，或是DNA螺旋結(jié)構(gòu);也包括煙波浩渺的宇宙中的星系和星云;亦或是人類對(duì)自身歷史的記錄;還有一些數(shù)據(jù)被用于人們相互溝通，如Facebook上每天新增數(shù)十億條內(nèi)容，或每天被發(fā)送的數(shù)千億封郵件。

　　隨著人們對(duì)客觀世界的逐步認(rèn)知，人際溝通的效率越來(lái)越高，人們的溝通與生活也越來(lái)越豐富，人類收集和創(chuàng)造的數(shù)據(jù)也越來(lái)越多，這些數(shù)據(jù)飽含信息與知識(shí)，是人類智慧與勤勞的結(jié)晶，是人類寶貴的信息資產(chǎn)。一部《史記》，共52萬(wàn)6千500字，約1MB數(shù)據(jù);一組用于基因研究的染色體照片數(shù)據(jù)量超過(guò)2TB;歐洲核子研究中心(CERN)每年有超過(guò)20PB數(shù)據(jù)通過(guò)全球最大的大型強(qiáng)子對(duì)撞機(jī)(LHC)被收集起來(lái)用于微觀粒子研究。根據(jù)IDC的分析，2011年全球數(shù)據(jù)產(chǎn)生量達(dá)到1.8ZB，到2020年這個(gè)數(shù)字將增長(zhǎng)50倍(1ZB=1,000EB=1,000,000PB)，如此大規(guī)模的數(shù)據(jù)給存儲(chǔ)系統(tǒng)帶來(lái)了巨大的挑戰(zhàn)，人類將如何應(yīng)對(duì)咆哮而來(lái)的數(shù)據(jù)洪流？

　　存儲(chǔ)方案的演進(jìn)

　　在人類發(fā)明和使用電子計(jì)算機(jī)以前，數(shù)據(jù)處理由人類大腦完成，大腦中還同時(shí)存儲(chǔ)了大量信息用于支撐數(shù)據(jù)處理，人類大腦存儲(chǔ)的信息依然相對(duì)有限，仍有大量數(shù)據(jù)被存儲(chǔ)在圖書館。當(dāng)有需要的時(shí)候，人們便會(huì)到圖書館獲取更多的數(shù)據(jù)。以此我們可以總結(jié)出如下的一種數(shù)據(jù)存儲(chǔ)與數(shù)據(jù)處理模型：

　　該模型包括三個(gè)部分，計(jì)算單元、內(nèi)部存儲(chǔ)單元(低延遲，容量偏小)、外部存儲(chǔ)單元(延遲增加，容量超大)。如果按照對(duì)圖書的存儲(chǔ)(記憶)能力來(lái)估算，通常一個(gè)人大腦中能記憶的內(nèi)容不超過(guò)1000本書，圖書館中收藏的書籍大約是百萬(wàn)本為單位。兩種存儲(chǔ)的存儲(chǔ)容量差距大概是1000倍，而且圖書館中的數(shù)據(jù)可以被很多人共享。

　　20世紀(jì)電子與信息技術(shù)迅速發(fā)展，機(jī)器計(jì)算迅速普及，馮·諾依曼在1945年6月30日，提出了存儲(chǔ)程序邏輯架構(gòu)，即現(xiàn)有的計(jì)算機(jī)都遵循的“馮·諾依曼體系架構(gòu)”，具體如下圖：

　　我們可以看出，馮諾依曼體系結(jié)構(gòu)與人腦(生物)計(jì)算模型匹配度相當(dāng)準(zhǔn)確。我們通常把運(yùn)算器和控制器合并成中央處理器(CPU)，內(nèi)部小容量的存儲(chǔ)提供快速的訪問(wèn)，外部存儲(chǔ)器提供大容量的存儲(chǔ)空間。在不同的計(jì)算機(jī)時(shí)代，我們可以按照不同的角度來(lái)理解馮諾依曼體系結(jié)構(gòu)。在單機(jī)計(jì)算時(shí)代(包括大型機(jī)、小型機(jī)、微機(jī))內(nèi)部存儲(chǔ)器可理解為內(nèi)存(即Memory)，外部存儲(chǔ)器可理解為物理硬盤(包括本地硬盤和通過(guò)網(wǎng)絡(luò)映射的邏輯卷)。在本地硬盤空間不足，可靠性無(wú)法滿足業(yè)務(wù)需求的情況下，SAN存儲(chǔ)出現(xiàn)了，通過(guò)網(wǎng)絡(luò)映射的邏輯卷(即SAN存儲(chǔ)提供的LUN)成為增強(qiáng)版的硬盤。為了解決數(shù)據(jù)共享的問(wèn)題，NAS存儲(chǔ)隨之誕生。

　　但馮諾依曼體系架構(gòu)沒有考慮并行計(jì)算和數(shù)據(jù)共享情形，在如今的網(wǎng)絡(luò)時(shí)代，大量計(jì)算設(shè)備通過(guò)網(wǎng)絡(luò)形成一個(gè)龐大、相互獨(dú)立但又邏輯統(tǒng)一的計(jì)算系統(tǒng)，因此我們可以總結(jié)出一個(gè)數(shù)據(jù)存儲(chǔ)的通用模型，這個(gè)模型包括兩級(jí)存儲(chǔ)，其存儲(chǔ)容量差距約1000倍：

　　如果將上圖中每一個(gè)計(jì)算模塊理解為一個(gè)計(jì)算內(nèi)核，那么高速存儲(chǔ)單元?jiǎng)t是CPU內(nèi)的緩存(單位為KB~MB)，海量存儲(chǔ)單元?jiǎng)t是內(nèi)存(單位為GB);如果把每一個(gè)計(jì)算模塊理解為一個(gè)CPU，那么高速存儲(chǔ)單元?jiǎng)t是內(nèi)存(單位為GB~TB)，海量存儲(chǔ)是物理硬盤或通過(guò)網(wǎng)絡(luò)映射給服務(wù)器的邏輯卷(或網(wǎng)絡(luò)文件系統(tǒng)，單位為TB~PB);如果把計(jì)算模塊理解為針對(duì)某一項(xiàng)任務(wù)或某一組任務(wù)提供計(jì)算能力的服務(wù)器集群，把SAN或NAS等擁有TB~PB級(jí)存儲(chǔ)規(guī)模的網(wǎng)絡(luò)存儲(chǔ)設(shè)備理解為高速存儲(chǔ)單元，那么具備PB~EB級(jí)存儲(chǔ)容量的海量存儲(chǔ)單元將基于什么技術(shù)和產(chǎn)品構(gòu)建呢？

　　SAN和NAS技術(shù)已經(jīng)出現(xiàn)了數(shù)十年，目前單臺(tái)SAN或NAS設(shè)備最大容量已經(jīng)達(dá)到PB級(jí)別，但在應(yīng)對(duì)EB級(jí)數(shù)據(jù)挑戰(zhàn)時(shí)，還是顯得有些力不從心。這主要由于其架構(gòu)和服務(wù)接口決定的。

　　SAN使用SCSI協(xié)議作為底層協(xié)議，SCSI協(xié)議管理的粒度非常小，通常以字節(jié)(byte)或千字節(jié)(KB)為單位;同時(shí)SCSI協(xié)議沒有提供讀寫鎖機(jī)制以確保不同應(yīng)用并發(fā)讀寫時(shí)的數(shù)據(jù)一致性，因此難以實(shí)現(xiàn)EB級(jí)存儲(chǔ)資源管理和多個(gè)服務(wù)器/服務(wù)器集群之間數(shù)據(jù)共享。

　　NAS使用文件協(xié)議訪問(wèn)數(shù)據(jù)，通過(guò)文件協(xié)議存儲(chǔ)設(shè)備能夠準(zhǔn)確識(shí)別數(shù)據(jù)內(nèi)容，并提供了非常豐富的文件訪問(wèn)接口，包括復(fù)雜的目錄/文件的讀寫鎖。文件和目錄采用樹形結(jié)構(gòu)管理，每個(gè)節(jié)點(diǎn)使用一種叫做inode的結(jié)構(gòu)進(jìn)行管理，每一個(gè)目錄和文件都對(duì)應(yīng)一個(gè)iNode。目錄深度或同一目錄下的子節(jié)點(diǎn)數(shù)隨著整體文件數(shù)量的增加而快速增加，通常文件數(shù)量超過(guò)億級(jí)時(shí)，文件系統(tǒng)復(fù)雜的鎖機(jī)制及頻繁的元數(shù)據(jù)訪問(wèn)將極大降低系統(tǒng)的整體性能。

　　傳統(tǒng)的RAID技術(shù)和Scale-up架構(gòu)也阻止了傳統(tǒng)的SAN和NAS成為EB級(jí)高可用，高性能的海量存儲(chǔ)單元。傳統(tǒng)的RAID基于硬盤，通常一個(gè)RAID組最多包含20+塊硬盤，即使PB級(jí)規(guī)模的SAN或NAS也將被分割成多個(gè)存儲(chǔ)孤島，增加了EB級(jí)規(guī)模應(yīng)用場(chǎng)景下的管理復(fù)雜度;同時(shí)Scale-up架構(gòu)決定了即使SAN和NAS存儲(chǔ)容量達(dá)到EB級(jí)，性能也將成為木桶的短板。

　　那么如何才能應(yīng)對(duì)信息爆炸時(shí)代的數(shù)據(jù)洪流呢？我們?cè)O(shè)想能否有一種“超級(jí)數(shù)據(jù)圖書館”，它提供海量的、可共享的存儲(chǔ)空間給很多用戶(服務(wù)器/服務(wù)器集群)使用，提供超大的存儲(chǔ)容量，其存儲(chǔ)容量規(guī)模千倍于當(dāng)前的高速存儲(chǔ)單元(SAN和NAS)，用戶或應(yīng)用訪問(wèn)數(shù)據(jù)時(shí)無(wú)需知道圖書館對(duì)這些書如何擺放和管理(布局管理)，只需要提供唯一編號(hào)(ID)就可以獲取到這本書的內(nèi)容(數(shù)據(jù))。如果某一本書變得老舊殘破，系統(tǒng)自動(dòng)地將即將失效或已經(jīng)失效的書頁(yè)(存儲(chǔ)介質(zhì))上的數(shù)據(jù)抄寫(恢復(fù)/重構(gòu))到新的紙張(存儲(chǔ)介質(zhì))上，并重新裝訂這本書，數(shù)據(jù)使用者無(wú)需關(guān)注這一過(guò)程，只是根據(jù)需要去獲取數(shù)據(jù)資源。這種“超級(jí)數(shù)據(jù)圖書館”是否真的存在呢？

　　分布式對(duì)象存儲(chǔ)的誕生

　　對(duì)象存儲(chǔ)技術(shù)的出現(xiàn)和大量自動(dòng)化管理技術(shù)的產(chǎn)生，使得“超級(jí)數(shù)據(jù)圖書館”不再是人類遙不可及的夢(mèng)想。對(duì)象存儲(chǔ)系統(tǒng)(Object-Based Storage System)改進(jìn)了SAN和NAS存儲(chǔ)的劣勢(shì)，保留了NAS的數(shù)據(jù)共享等優(yōu)勢(shì)，通過(guò)高級(jí)的抽象接口替代了SCSI存儲(chǔ)塊和文件訪問(wèn)接口，屏蔽了存儲(chǔ)底層的實(shí)現(xiàn)細(xì)節(jié)，將NAS垂直的樹形結(jié)構(gòu)改變成平等的扁平結(jié)構(gòu)，從而提高了擴(kuò)展性、增強(qiáng)了可靠性、具備了平臺(tái)無(wú)關(guān)性等重要存儲(chǔ)特性。

　　SNIA(網(wǎng)絡(luò)存儲(chǔ)工業(yè)協(xié)會(huì))定義的對(duì)象存儲(chǔ)設(shè)備是這樣的：

　　Ø 對(duì)象是自完備的，包含元數(shù)據(jù)、數(shù)據(jù)和屬性

　　n 存儲(chǔ)設(shè)備可以自行決定對(duì)象的具體存儲(chǔ)位置和數(shù)據(jù)的分布

　　n 存儲(chǔ)設(shè)備可以對(duì)不同的對(duì)象提供不同的QoS

　　Ø 對(duì)象存儲(chǔ)設(shè)備相對(duì)于塊設(shè)備有更高的“智能”，上層通過(guò)對(duì)象ID來(lái)訪問(wèn)對(duì)象，而無(wú)需了解對(duì)象的具體空間分布情況

　　換句話說(shuō)對(duì)象存儲(chǔ)是智能化、封裝得更好的塊，是“文件”或其他應(yīng)用級(jí)邏輯結(jié)構(gòu)的組成部分，文件與對(duì)象的對(duì)應(yīng)關(guān)系由上層直接控制，對(duì)象存儲(chǔ)設(shè)備本身也可能是個(gè)分布式的系統(tǒng)——這就是分布式對(duì)象存儲(chǔ)系統(tǒng)了。

　　用對(duì)象替代傳統(tǒng)的塊的好處在于對(duì)象的內(nèi)容本身來(lái)自應(yīng)用，其具有內(nèi)在的聯(lián)系，具有“原子性”，因此可以做到：

　　Ø 在存儲(chǔ)層進(jìn)行更智能的空間管理

　　Ø 內(nèi)容相關(guān)的數(shù)據(jù)預(yù)取和緩存

　　Ø 可靠的多用戶共享訪問(wèn)

　　Ø 對(duì)象級(jí)別的安全性

　　同時(shí)，對(duì)象存儲(chǔ)架構(gòu)還具有更好的可伸縮性。一個(gè)對(duì)象除了ID和用戶數(shù)據(jù)外，還包含了屬主、時(shí)間、大小、位置等源數(shù)據(jù)信息，權(quán)限等預(yù)定義屬性，乃至很多自定義屬性。

　　具備EB級(jí)規(guī)模擴(kuò)展性的分布式對(duì)象存儲(chǔ)，通過(guò)對(duì)應(yīng)用提供統(tǒng)一的命名空間，構(gòu)建EB級(jí)統(tǒng)一、可共享數(shù)據(jù)的存儲(chǔ)資源池，有效地填補(bǔ)上述通用計(jì)算模型中“網(wǎng)絡(luò)計(jì)算”場(chǎng)景海量存儲(chǔ)單元空白，通過(guò)高層次的數(shù)據(jù)模型抽象，可以簡(jiǎn)化應(yīng)用對(duì)數(shù)據(jù)訪問(wèn)，同時(shí)使得海量存儲(chǔ)更加智能。

　　華為公司基于對(duì)電信運(yùn)營(yíng)商、大型企業(yè)、互聯(lián)網(wǎng)、科學(xué)研究等領(lǐng)域的深刻理解，憑借深厚的ICT技術(shù)積累，秉承存無(wú)止境，安全可信理念，通過(guò)不斷技術(shù)創(chuàng)新，推出新一代UDS海量存儲(chǔ)系統(tǒng)。

　　對(duì)象是數(shù)據(jù)和自描述信息的集合，是在磁盤上存儲(chǔ)的基本單元。對(duì)象存儲(chǔ)通過(guò)簡(jiǎn)化數(shù)據(jù)的組織形式(如將樹形的“目錄”和“文件”替換為扁平化的“ID”與“對(duì)象”)、降低協(xié)議與接口的復(fù)雜度(如簡(jiǎn)化復(fù)雜的鎖機(jī)制，確保最終一致性)，從而提高系統(tǒng)的擴(kuò)展性以應(yīng)對(duì)信息爆炸時(shí)代海量數(shù)據(jù)的挑戰(zhàn)。同時(shí)對(duì)象的智能自管理功能也能有效降低系統(tǒng)維護(hù)復(fù)雜度，幫助用戶降低整體擁有成本(TCO)。

　　華為UDS開創(chuàng)性地采用基于ARM芯片的高密度硬件架構(gòu)，降低單位容量功耗、提高單位體積存儲(chǔ)容量，有效降低能源消耗;通過(guò)對(duì)象、P2P分布式存儲(chǔ)引擎、集群應(yīng)用等技術(shù)構(gòu)建海量對(duì)象存儲(chǔ)基礎(chǔ)架構(gòu)平臺(tái);對(duì)外提供多種訪問(wèn)接口，以滿足不同業(yè)務(wù)的適配需求。以UDS為基礎(chǔ)可構(gòu)建多種解決方案，如海量資源池，網(wǎng)盤，云備份，集中備份等方案將幫助用戶構(gòu)建強(qiáng)擴(kuò)展，易管理，高可靠的“超級(jí)數(shù)據(jù)圖書館”，使得人類可以輕松應(yīng)對(duì)海量存儲(chǔ)環(huán)境下的各種挑戰(zhàn)。

　　華為UDS(Universal Distributed Storage)海量存儲(chǔ)系統(tǒng)以對(duì)象作為基本存儲(chǔ)形式，通過(guò)分布式技術(shù)將本地或異地海量存儲(chǔ)節(jié)點(diǎn)的存儲(chǔ)資源進(jìn)行有機(jī)的整合，形成一個(gè)跨地域、跨設(shè)備、可橫向擴(kuò)展的EB級(jí)容量的大型分布式對(duì)象存儲(chǔ)系統(tǒng);該系統(tǒng)通過(guò)多種安全、可靠的存儲(chǔ)技術(shù)確保數(shù)據(jù)私密性及數(shù)據(jù)高可用;通過(guò)自動(dòng)化部署、自動(dòng)負(fù)載均衡、自動(dòng)數(shù)據(jù)遷移、故障自愈等技術(shù)豐富自動(dòng)化管理特性，同時(shí)結(jié)合豐富的生命周期管理策略及高效節(jié)能技術(shù)，提高運(yùn)維效率。華為UDS海量存儲(chǔ)系統(tǒng)為客戶構(gòu)建數(shù)字洪流時(shí)代的“超級(jí)數(shù)據(jù)圖書館”，幫助客戶化挑戰(zhàn)為機(jī)遇，并在信息化社會(huì)發(fā)展中持續(xù)受益。

原文出自【比特網(wǎng)】，轉(zhuǎn)載請(qǐng)保留原文鏈接：http://storage.chinabyte.com/40/12421040.shtml

服務(wù)器租用/服務(wù)器托管中國(guó)五強(qiáng)！虛擬主機(jī)域名注冊(cè)頂級(jí)提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]