王宇光:如何在構(gòu)建下一代數(shù)據(jù)中心中提升存儲效率 |
發(fā)布時(shí)間: 2012/5/20 20:40:33 |
關(guān)于如何在構(gòu)建下一代數(shù)據(jù)中心的時(shí)候有效提升存儲效率這個(gè)話題。分為三個(gè)方面,第一個(gè)方面,我們簡要地回顧一下,在構(gòu)建下一代數(shù)據(jù)中心的時(shí)候我們會面臨什么挑戰(zhàn)?第二個(gè)方面如何提升效率,我們怎么來做,我們?nèi)绾蝸碜,最后看?shí)際效果。 在云計(jì)算初級的時(shí)代,我們在構(gòu)建一個(gè)數(shù)據(jù)中心的時(shí)候,我們的思路和以前都會發(fā)生很大的變化,那在以前呢,我們的系統(tǒng)都是那種基于豎井式的架構(gòu),每個(gè)系統(tǒng)都有自己獨(dú)立的IP架構(gòu)來支撐。在下一代數(shù)據(jù)中心里面會變成虛擬的公開層,每一個(gè)業(yè)務(wù)應(yīng)用需要使用資源的話,需要從后面虛擬的層里面做到IT架構(gòu)的使用。那就要求我們的基礎(chǔ)架構(gòu)提供高效的、動(dòng)態(tài)的,靈活的架構(gòu)來適應(yīng)前面的變化。 可以稍微仔細(xì)地看一下,在這樣一個(gè)下一代數(shù)據(jù)中心里面,要實(shí)現(xiàn)這樣的云計(jì)算的始終可用、及時(shí)交付、數(shù)據(jù)安全、按需服務(wù)這樣一些性能的時(shí)候,我們在基礎(chǔ)架構(gòu)的底層需求上也會帶來相應(yīng)的挑戰(zhàn),比如說我們的安全的管理體系,服務(wù)的自動(dòng)化管理,數(shù)據(jù)的可移動(dòng)性等等有,很多的話題。我們今天時(shí)間有限,之集中在如何提升效率這方面。這個(gè)也很簡單。 在IT成本的統(tǒng)計(jì)中,在整個(gè)開支里面IT支出占主要的比例,在不增加成本的前提下如何去存儲數(shù)據(jù)成為最大的問題,我們不再去講我們用更大的硬盤,硬盤的成本降低了,怎么樣,這是一種物理的手段,我們希望通過更多軟件的手段去提升你的存儲效率。 從三個(gè)方面來講,我們應(yīng)該如何幫助你提升你的空間效率,提升你的管理效率,包括提升你的綜合的經(jīng)濟(jì)效率三個(gè)方面。我講到提升空間效率的時(shí)候非常容易理解,我們用有限的物理容量去存儲更多的容積數(shù)據(jù)。也就是說不只是你買了一個(gè)T的硬盤,我就只能放一個(gè)T的內(nèi)存,但是我可以存放兩個(gè)T,甚至更多的T,通過一系列手段去擴(kuò)大這個(gè)比例。 我們接下來介紹一些簡單的事例來理解這個(gè)是怎么做到的。我們通過一系列的手段幫助你提升你的存儲效率,最常規(guī)的數(shù)據(jù)手段就是刪除的技術(shù),這個(gè)技術(shù)在業(yè)界已經(jīng)很普及了。在存儲系統(tǒng)里面他們?nèi)呙,在硬盤上存儲的數(shù)據(jù)有哪些數(shù)據(jù)刪存的,把相同的數(shù)據(jù)塊刪除掉,只保存不相同的部分,從而極大的節(jié)省存儲空間。這個(gè)也要看所用的場景,在不同的場景底下節(jié)省的效率是不一樣的,比如說在數(shù)據(jù)備份領(lǐng)域,那我們可以做到90%以上的同類數(shù)據(jù)的刪除率。NetApp包括高低端的所有的系統(tǒng)里面,后臺處理而且這是一個(gè)免費(fèi)的,也就是只要,對應(yīng)一個(gè)自己的操作系統(tǒng),包括自己安裝的程序。我們其實(shí)知道,很多操作的進(jìn)項(xiàng)99%以上都是重復(fù)的,因?yàn)橹虚g只有一些配置信息是不一樣的,大部分?jǐn)?shù)據(jù)是完全一樣的。在這種情況下,我們通過使用我們的刪除的數(shù)據(jù),只在硬盤上保存一份數(shù)據(jù),剛才有很多份,現(xiàn)在只有保存一份。但是在前端的業(yè)務(wù)系統(tǒng)看起來還是一個(gè)一個(gè)完整的項(xiàng)目,每個(gè)服務(wù)器都可以讀寫自己的文件,沒有任何影響,也就是對前端的業(yè)務(wù)的影響是完全不感知的,是透明的。這是一個(gè)大概有超過1000臺虛擬桌面的環(huán)境,每個(gè)虛擬桌面都需要有自己的定位信息、有自己的用戶信息等等,Dedupe可以節(jié)省90%的存儲空間,在大部分條件里面,通過重復(fù)刪除可以刪除50%的數(shù)據(jù)空間。在物理硬盤上有小的空間,但是有很多的空間可以來使用。 同時(shí)在一個(gè)大的數(shù)據(jù)中心里面,我們可能還要做到數(shù)據(jù)備份和數(shù)據(jù)容災(zāi),這個(gè)手段也可以很好地和剛才講到的重復(fù)刪除技術(shù)結(jié)合在一起。當(dāng)我想把數(shù)據(jù)從一個(gè)主數(shù)據(jù)中心、主站點(diǎn)備份到備份站點(diǎn)上去,把重復(fù)刪除的技術(shù)和復(fù)制的技術(shù)很好地結(jié)合在一起,把數(shù)據(jù)從一個(gè)數(shù)據(jù)中心傳輸?shù)搅硗庖粋(gè)數(shù)據(jù)中心之前,備份或者容災(zāi)之前,我會對系統(tǒng)的數(shù)據(jù)線做一個(gè)重復(fù)數(shù)據(jù)刪除,我會做一個(gè)重復(fù)數(shù)據(jù)刪除,刪除的數(shù)據(jù)就會變少,我再去傳輸這些變少的數(shù)據(jù)。在傳輸?shù)倪^程中,我們的復(fù)制的軟件內(nèi)置壓縮的功能,進(jìn)一步節(jié)省你需要傳出的數(shù)據(jù)量,先做刪除,再做壓縮,這樣同時(shí)加快你的帶寬,加快備份的速度。備份窗口或者說恢復(fù)窗口非常關(guān)鍵,通過這樣兩個(gè)手段集成在一起,極大地提升恢復(fù)的數(shù)據(jù)量,這些數(shù)據(jù)都是完全集成在這里面的,你幾乎不用做其他的使用的。 這是經(jīng)過壓縮以后把壓縮的數(shù)據(jù)傳輸?shù)膶?shí)例。當(dāng)你又寫入很多新的數(shù)據(jù),比如隔了一個(gè)小時(shí)之后,把新的數(shù)據(jù)復(fù)制過去之后,對新的數(shù)據(jù)線做刪除,發(fā)現(xiàn)新增是藍(lán)色的數(shù)據(jù)框,然后再壓縮,再傳輸過去。 在講物理存儲,如何用更少的物理空間存儲的時(shí)候,最后舉的例子FlexClone克隆的技術(shù),這個(gè)技術(shù)簡單來講它可以在一幅原始的數(shù)據(jù)基礎(chǔ)之上在瞬間產(chǎn)生奪得數(shù)據(jù)副本。它沒有在硬盤上更多的空間,它是用原始的數(shù)據(jù)。但是我們知道在很多業(yè)務(wù)場景里面,在很多業(yè)務(wù)場景里面,每個(gè)數(shù)據(jù)副本其實(shí)查詢自己的數(shù)據(jù)量是比較少的,你可以看上去通過這樣一個(gè)副本的產(chǎn)生,原始數(shù)據(jù)是100個(gè)G,五個(gè)完整的副本需要500個(gè)G的空間,當(dāng)你要寫入副本的時(shí)候,每個(gè)副本寫入10個(gè)G,這個(gè)3個(gè)G。要?jiǎng)h除的時(shí)候非?。在后面的案例里面大家可以看到實(shí)際的效果。剛才也講到如何通過一系列的軟件手段,來把更少的物理空間變成更大的邏輯空間。 第二個(gè)在空間效率里面,我們合理地去布局?jǐn)?shù)據(jù),因?yàn)樵诖蟮脑朴?jì)算的平臺里面,一個(gè)存儲平臺里面你會用到不同檔次的設(shè)備。比如最高端的硬盤、低端的硬盤等等,我們需要去考慮的是如何有效地去使用存儲空間,把我要求最高的,安全性能最高的數(shù)據(jù)放在性能最高的設(shè)備上,把不常使用的數(shù)據(jù)放在廉價(jià)的數(shù)據(jù)上去。在這個(gè)問題上我分三個(gè)方面跟大家做一個(gè)溝通 第一個(gè)方面,在一個(gè)大的存儲體內(nèi),你可以用到高性能的硬盤,這個(gè)數(shù)據(jù)是極其敏感的。第二個(gè)是容量更大、使用成本更低的SATA硬盤。我們本來設(shè)想在高性能聚合體里面放高性能的數(shù)據(jù),通過一段時(shí)間以后你會發(fā)現(xiàn),這兩天密集訪問的數(shù)據(jù)過些天就沒有人訪問了。比如說上網(wǎng),你看到了現(xiàn)在流行的微博,這些數(shù)據(jù)過了七天或者一個(gè)月以后幾乎沒有人看,你是不是還要把它放在高性能的里面,通過后臺把一些數(shù)據(jù)從一個(gè)聚合體,一個(gè)存儲體,一個(gè)物理位置上去,這個(gè)物理的移動(dòng)的數(shù)據(jù)在物理位置上的移動(dòng),并不會改變前端業(yè)務(wù)系統(tǒng)的路徑。也就是說最一開始應(yīng)用系統(tǒng)訪問一個(gè)高性能的存儲體,這個(gè)是熱點(diǎn)。過了一周以后,管理員到后臺把高性能的存儲遷移到后面去,但是你的客戶感覺不到這個(gè)過程。這是第一個(gè)方面,這是在一個(gè)存儲體內(nèi)。 你同樣會面臨一個(gè)問題,在一個(gè)大的數(shù)據(jù)中心里面可能會有很多的存儲設(shè)備,那你能不能還能做到在不同的設(shè)備中間移動(dòng)你的數(shù)據(jù)呢?這是我們要談的第二個(gè)問題,提高你的存儲的使用效率。這是一個(gè)示意,一臺臺的設(shè)備上面存放了三部分的業(yè)務(wù)數(shù)據(jù),用了一段時(shí)間以后,你會發(fā)現(xiàn)這個(gè)原系統(tǒng)上A業(yè)務(wù)的負(fù)載變得非常的大,原系統(tǒng)的系統(tǒng)性能已經(jīng)無法支撐這個(gè)業(yè)務(wù)的訪問了,無論從容量和性能上來說都不能使用了。通過集成,我們叫數(shù)據(jù)移動(dòng)的技術(shù),你可以整個(gè)地把這部分?jǐn)?shù)據(jù)給它動(dòng)態(tài)地遷移到另外一個(gè)存儲體上去,這個(gè)遷移的過程就可以把一個(gè)虛擬機(jī)從一個(gè)物理服務(wù)器上動(dòng)態(tài)地遷移到另外一個(gè)服務(wù)器上。在這個(gè)遷移的過程中,我不但是把后臺的數(shù)據(jù)動(dòng)態(tài)地遷移過來了,我還把前面代表復(fù)制器的藍(lán)顏色的也移動(dòng)過來了,但是對于前端的業(yè)務(wù)訪問來說也沒有發(fā)生變化,這才是技術(shù)真正可用的地方。也就是說你遷移前后應(yīng)用系統(tǒng)是不發(fā)生變化的,昨天還訪問這個(gè)系統(tǒng),晚上網(wǎng)絡(luò)人員做一個(gè)遷移,但是他不知道這個(gè)數(shù)據(jù)已經(jīng)發(fā)生了變化,服務(wù)器上不用做任何操作。這個(gè)技術(shù)可以用在任何方面,比如說系統(tǒng)的升級、擴(kuò)容、負(fù)載的均衡,各種方面都可以利用,來有效地提高你存儲的使用效率。 第三個(gè)方面,剛才講的兩個(gè)例子,都可以用在NetApp本身,不同的數(shù)據(jù)之間互相遷移,在兩個(gè)NetApp數(shù)據(jù)之間遷移。在一個(gè)大的數(shù)據(jù)中心里面難免遇到第三方的存儲設(shè)備,我們?nèi)绾卧谶@些設(shè)備之間很好地管理數(shù)據(jù)?我們大家看,F(xiàn)5的ARX系統(tǒng)可以很好地集成,可以靈活地遷移數(shù)據(jù),但是你的前臺業(yè)務(wù)系統(tǒng)看起來還是透明訪問的,不影響你的訪問。這是舉的一個(gè)簡單的例子,通過ARX技術(shù)遷移到NetApp設(shè)備上來,同時(shí)節(jié)省存儲空間。這是一個(gè)事例。 當(dāng)然了,在整個(gè)更大的數(shù)據(jù)中心的層面來看的話,還可以和F5、BIG-IP的產(chǎn)品來集成,幫助你來優(yōu)化網(wǎng)絡(luò)覆負(fù)載情況,幫助防范系統(tǒng)安全等等。 剛才從物理空間和數(shù)據(jù)兩個(gè)方面談了一下,現(xiàn)在在整個(gè)存儲效率里面還有一個(gè)優(yōu)勢,因?yàn)镹etApp可以唯一提供統(tǒng)一存儲的廠商。包括SAN、NAS、虛擬化的功能,dataontap虛擬化功能等等,這些不同的可能設(shè)置到不同硬件、不同軟件、不同業(yè)務(wù)流程的東西全部集成到一個(gè)產(chǎn)品流程里面,來給你提供一個(gè)相同的硬件、向東的軟件、相同的流程。 在管理效率里面,特別是在云計(jì)算的平臺里面,不可忽視的一個(gè)東西就是服務(wù)的自動(dòng)化,那么多業(yè)務(wù),那么多用戶,如何來實(shí)現(xiàn)自動(dòng)化的管理手段?整個(gè)數(shù)據(jù)中心的自動(dòng)化管理的套件,我們在這兒不想去講這里面一個(gè)一個(gè)模塊都是什么功能,我想在這兒通過一個(gè)動(dòng)畫的演示讓大家直觀地去理解,在未來的云計(jì)算的數(shù)據(jù)中心的架構(gòu)里面,你如何通過自動(dòng)化流程來管理整個(gè)數(shù)據(jù)中心的存儲部分。在構(gòu)建大的數(shù)據(jù)中心平臺里面,這時(shí)候來了一個(gè)新的業(yè)務(wù)請求,說我需要用兩個(gè)800GB的Oracle金牌服務(wù)級別的,你事先在服務(wù)器里面定義好的服務(wù)存儲形式,東西已經(jīng)事先編制好了,根本策略管理,根據(jù)服務(wù)的定義。性能就會知道這兩個(gè)800GB的金牌服務(wù)級別需要?jiǎng)?chuàng)建在什么樣的服務(wù)器上去,同時(shí)這兩個(gè)金牌服務(wù)級別在后臺需要做定期的備份和容災(zāi),所有這些自動(dòng)化的配置過程全部在后臺完成了,提前做好策略,根據(jù)事先定義好的完成了。系統(tǒng)又會在前臺創(chuàng)建兩個(gè)最高級別的虛擬服務(wù)器掛在兩個(gè)創(chuàng)建好的存儲實(shí)利Oracle的服務(wù)來運(yùn)行。我第一好的級別,他怎么按我服務(wù)的性能是不是達(dá)到我的要求,數(shù)據(jù)保護(hù)級別是不是達(dá)到我的要求,容量和備份是不是正常在做,通過服務(wù)的衡量管理的模塊,它可以自動(dòng)去存儲里面去收集存儲指標(biāo),匯總成一個(gè)報(bào)表,所有的流程是按標(biāo)準(zhǔn)來運(yùn)行,里面有沒有什么問題都可以做到。這一整套的構(gòu)成都可以通過這個(gè)完成。 第三個(gè)方面,經(jīng)濟(jì)效率方面。所謂的經(jīng)濟(jì)效率,我指的意思是說最簡單的經(jīng)濟(jì)效率如何保護(hù)你的投資,你要在構(gòu)建下一代數(shù)據(jù)中心的時(shí)候是不是把以前的東西全部扔掉、不要了,全部買新的?不是這樣的,我們要提供一個(gè)橫向和縱向的拓展能力,讓你能充分利用。這也是撿幾個(gè)動(dòng)畫給大家演示如何來做。一開始在數(shù)據(jù)中心里面只有一臺磁盤,NetApp上面存放了一些數(shù)據(jù)。運(yùn)行了一年時(shí)間以后,發(fā)現(xiàn)這個(gè)性能和容量都已經(jīng)不夠用了,通過NetApp集群式的擴(kuò)展方面,可以再現(xiàn)成一個(gè)集群的模式。你再購買新的存儲設(shè)備控制器和磁盤箱,這些新的控制器和磁盤箱可以組成一個(gè)大的集群,這個(gè)集群模式還是一臺大的存儲體,我們有統(tǒng)一的命名空間、統(tǒng)一的路徑,讓你看起來不管后臺有幾個(gè)控制器,多少個(gè)磁盤空間,在前臺看來始終是一個(gè)大的磁盤空間。這種集群的擴(kuò)展模式在業(yè)界是獨(dú)一無二的。你已經(jīng)購買的NetApp設(shè)備,幾乎都可以升級改造為集群模式。在這種集群模式里面它同時(shí)還支持SIEMENS,這也是業(yè)界獨(dú)一無二的,我們知道很多集群有很多,不管你從哪個(gè)設(shè)備都可以拓展一個(gè)集群,同時(shí)這個(gè)集群還支撐很多再現(xiàn)拓展的能力。 你發(fā)現(xiàn)有一臺系統(tǒng)需要升級了,這個(gè)集群里面有老中青有三代設(shè)備,有不同檔次的設(shè)備放在里面。其中一臺設(shè)備需要升級改造的,你可以把數(shù)據(jù)遷移到另外一臺新的設(shè)備上面去,然后把它更新為一臺更高檔次的最新的設(shè)備上來,然后再把數(shù)據(jù)遷移回來,再重新做一個(gè)負(fù)載均衡。所有這個(gè)過程都是在線完成的,這個(gè)數(shù)據(jù)雖然在后臺做了來回來去的遷移,但是還是感知的,是透明的。 最后來看一下使用一系列技術(shù),一些客戶如何來達(dá)到他們的商業(yè)評估。通過這一系列的提升存儲效率的技術(shù),可以讓你的Oracle的總體擁有成本降低39%,同時(shí)減少SAP,同時(shí)減少數(shù)據(jù)中心的熱量。 看一個(gè)具體例子,在Oracle大學(xué)有4000個(gè)虛擬機(jī),我們知道這種培訓(xùn)活動(dòng)是每個(gè)學(xué)院來都要面臨一個(gè)完整的環(huán)境,在上面做測試、做開發(fā),做安裝的調(diào)試等等,都需要有一個(gè)存儲環(huán)境。利用我剛才說到的FlexClone的技術(shù),但是我們的克隆技術(shù)用于創(chuàng)建臨時(shí)學(xué)生數(shù)據(jù)庫,如果不適用FlexClone則需要245TB。 小結(jié),通過NetApp的一系列技術(shù),可以讓你下一臺數(shù)據(jù)中心里面構(gòu)建一個(gè)無中斷的,按需分配的高效率的存儲的管理平臺。 本文出自:億恩科技【mszdt.com】 服務(wù)器租用/服務(wù)器托管中國五強(qiáng)!虛擬主機(jī)域名注冊頂級提供商!15年品質(zhì)保障!--億恩科技[ENKJ.COM] |