高性能計(jì)算需要特殊的備份方法 |
發(fā)布時(shí)間: 2012/8/15 17:34:47 |
根據(jù)分析公司IDC的報(bào)告,高性能計(jì)算服務(wù)器(HPC)的銷售額將在2012年達(dá)到156億美元。但是對(duì)于存儲(chǔ)管理員而言,HPC服務(wù)器市場(chǎng)不斷擴(kuò)大,也就意味著備份難度增加,這是因?yàn)镠PC對(duì)備份有特殊的要求。 在備份和災(zāi)難恢復(fù)領(lǐng)域,HPC引起了兩大問題:大量數(shù)據(jù)、大量文件。 HPC應(yīng)用程序在處理包含地震信息或基因信息的文件時(shí),會(huì)產(chǎn)生大量的工作負(fù)荷或數(shù)據(jù)。Gartner的咨詢師David Russell說:“這些文件大得令人難以置信,傳統(tǒng)的備份方法并不適用,或者需要花費(fèi)大量時(shí)間。”例如,他指出一些HPC文件可能具有幾千兆的字節(jié)。 一些HPC程序還會(huì)產(chǎn)生極為大量的文件。Russell指出:“可能有上百萬(wàn)的文件,如何解釋這些文件,如何通過操作系統(tǒng)和文件系統(tǒng)查看文件的變化,都是非常艱難的問題。”將數(shù)據(jù)存在磁盤中,或者讓數(shù)據(jù)通過服務(wù)器和交換機(jī),都需要很長(zhǎng)時(shí)間。他說,簡(jiǎn)而言之,直接利用傳統(tǒng)的備份工具備份HPC很容易引發(fā)災(zāi)難。 Russell指出,HPC管理員既要使用基于陣列的快照和遠(yuǎn)程復(fù)制等技術(shù),又要使用重復(fù)數(shù)據(jù)刪除等數(shù)據(jù)精簡(jiǎn)方法,才能替換傳統(tǒng)的備份工具。但是,Russell也指出,重復(fù)數(shù)據(jù)刪除技術(shù)并不能精簡(jiǎn)所有的工作負(fù)荷。例如,當(dāng)圖像已經(jīng)處于壓縮狀態(tài)時(shí),就無法進(jìn)一步精簡(jiǎn)了。 Ocarina Networks等供應(yīng)商仍提供壓縮技術(shù),Russell說:“這些技術(shù)能逆向還原大量文件,查找冗余。”有多種方法可以改善這個(gè)過程。 對(duì)備份管理員而言,HPC中大量的文件仍是一項(xiàng)最大的挑戰(zhàn)。“如果你擁有大量文件,文件又有大量I/O周期,那么詢問所有的文件,即使是在晚上進(jìn)行也需要花費(fèi)大量的時(shí)間。”Russell說:“我聽說一些HPC程序需要花費(fèi)30個(gè)小時(shí)完成一次完全備份,而其中28個(gè)小時(shí)只是在掃描并查看哪些文件發(fā)生了變化。” Russell指出,如果資源不受限制,那么存儲(chǔ)管理員就能擁有必需的磁盤、電力、物理空間,從而處理所有的備份任務(wù)。但是,HPC環(huán)境經(jīng)常向外擴(kuò)充,許多服務(wù)器需要分布式計(jì)算數(shù)據(jù),這樣備份工作就更加復(fù)雜了。這就意味著備份工作需要彼此協(xié)調(diào),因?yàn)檎鏡ussell所說:“你總不希望25臺(tái)服務(wù)器具有完全不同的時(shí)間點(diǎn)。”他指出,備份必須協(xié)調(diào),可以通過“強(qiáng)迫法”清除緩沖,設(shè)置檢查點(diǎn),從而實(shí)現(xiàn)協(xié)調(diào)。 HPC能容忍短暫的停機(jī)時(shí)間 存儲(chǔ)分析公司The Mesabi Group的存儲(chǔ)分析師David Hill指出,對(duì)許多HPC程序而言,用戶并不在意短暫的停機(jī)時(shí)間,因?yàn)樵S多計(jì)算密集型的工作實(shí)際上是批量完成的。也就是說,用戶在工作完成之前無法看到結(jié)果。“如果完成工作需要1個(gè)多小時(shí),那么中間少了5分鐘,你能感覺得到嗎?”Hill說:“答案是否定的。” Hill認(rèn)為:“這類工作真正需要的是檢查點(diǎn)/重啟性能,計(jì)算環(huán)境中存儲(chǔ)器的狀態(tài)會(huì)定期寫入磁盤,因此可以重新啟動(dòng)。” Hill認(rèn)為,實(shí)施HPC的公司愿意針對(duì)遠(yuǎn)程災(zāi)難恢復(fù)站點(diǎn),采用雙主動(dòng)式(active-active)故障轉(zhuǎn)移策略,既對(duì)本地問題進(jìn)行操作性恢復(fù),又對(duì)遠(yuǎn)程站點(diǎn)實(shí)施災(zāi)難恢復(fù);不過,這項(xiàng)工作需根據(jù)時(shí)間價(jià)值和數(shù)據(jù)價(jià)值而定。Hill指出,還可以在本地實(shí)施CDP,同時(shí)使用VTL和標(biāo)準(zhǔn)的備份恢復(fù)軟件包。 本文出自:億恩科技【mszdt.com】 服務(wù)器租用/服務(wù)器托管中國(guó)五強(qiáng)!虛擬主機(jī)域名注冊(cè)頂級(jí)提供商!15年品質(zhì)保障!--億恩科技[ENKJ.COM] |