大數(shù)據(jù)與海量數(shù)據(jù)已經(jīng)成為數(shù)據(jù)中心的主要業(yè)務(wù)，而重復(fù)數(shù)據(jù)刪除與壓縮是可以節(jié)約大量數(shù)據(jù)存儲(chǔ)的技術(shù)。

只有備份還不夠。重復(fù)數(shù)據(jù)刪除與壓縮即將成為主存儲(chǔ)的必備功能。

重復(fù)數(shù)據(jù)刪除是一種壓縮技術(shù)，通過(guò)識(shí)別重復(fù)內(nèi)容，進(jìn)行去重，并在對(duì)應(yīng)的存儲(chǔ)位置留下指針，來(lái)最小化數(shù)據(jù)量。這個(gè)指針通過(guò)給定大小的數(shù)據(jù)模式進(jìn)行哈希創(chuàng)建。

也許在于你已經(jīng)在備份系統(tǒng)上實(shí)施了重復(fù)數(shù)據(jù)刪除備份和歸檔多年，問(wèn)題在于：是否需要在主存儲(chǔ)上運(yùn)用重復(fù)數(shù)據(jù)刪除與壓縮技術(shù)？

并非所有的重復(fù)數(shù)據(jù)刪除技術(shù)都一樣。IT專(zhuān)業(yè)人士在將其添加到主存儲(chǔ)環(huán)境之前，應(yīng)該權(quán)衡其各自的特點(diǎn)。

何時(shí)使用重復(fù)數(shù)據(jù)刪除

重復(fù)數(shù)據(jù)刪除首先開(kāi)始于創(chuàng)建數(shù)據(jù)。接著是所有其他業(yè)務(wù)——備份、復(fù)制、歸檔以及任何網(wǎng)絡(luò)傳輸——都可以受益于規(guī)?？s小后的數(shù)據(jù)，位于Hopkinton, Mass的大容量存儲(chǔ)咨詢(xún)服務(wù)公司Taneja Group創(chuàng)始人Arun Taneja說(shuō)。

“幾年前，我寫(xiě)道，自己知道為什么重復(fù)數(shù)據(jù)刪除技術(shù)通常被應(yīng)用于備份設(shè)備上。但是，如果沒(méi)有限制，重復(fù)數(shù)據(jù)刪除應(yīng)該在數(shù)據(jù)被創(chuàng)建時(shí)進(jìn)行，而且數(shù)據(jù)在整個(gè)生命周期內(nèi)，應(yīng)該以某種脫水格式存儲(chǔ)，” Taneja說(shuō)。唯一的例外應(yīng)該是當(dāng)用戶(hù)或應(yīng)用程序需要訪(fǎng)問(wèn)這些數(shù)據(jù)時(shí)。

但把重復(fù)數(shù)據(jù)刪除應(yīng)用在主數(shù)據(jù)這一場(chǎng)景很難被用戶(hù)接收，因?yàn)檫@樣做是在篡改主數(shù)據(jù)集，Storage Switzerland LLC存儲(chǔ)顧問(wèn)公司的首席分析師George Crump說(shuō)?！白龊脗浞荩退銢](méi)有重復(fù)數(shù)據(jù)刪除技術(shù)，也不會(huì)因?yàn)楦阍疑a(chǎn)環(huán)境的數(shù)據(jù)而出大亂子，”他說(shuō)，“但是如果動(dòng)到主存儲(chǔ)，問(wèn)題就很大了，而且需要了解這項(xiàng)技術(shù)會(huì)如何影響性能、可靠性與數(shù)據(jù)完整性?！?

目前只有少數(shù)主存儲(chǔ)陣列提供重復(fù)數(shù)據(jù)刪除作為產(chǎn)品的附加功能。只有不到5%的磁盤(pán)陣列真正支持在線(xiàn)重復(fù)數(shù)據(jù)刪除與壓縮，Permabit公司的CEO Tom Cook說(shuō)。該公司是一家數(shù)據(jù)效率技術(shù)供應(yīng)商。不過(guò)，這個(gè)數(shù)字在未來(lái)的18個(gè)月內(nèi)將可能增長(zhǎng)到25%，并且在36個(gè)月后達(dá)到75%，Cook說(shuō)。

重復(fù)數(shù)據(jù)刪除的比例

通過(guò)數(shù)據(jù)去重節(jié)約的空間十分可觀，這取決于數(shù)據(jù)類(lèi)型以及所使用的數(shù)據(jù)去重引擎的組塊大小。以文本文件與虛擬桌面架構(gòu)環(huán)境為例，受益于高刪除率，壓縮比可達(dá)到40:1。而視頻可以壓縮的，但沒(méi)法去重。存儲(chǔ)廠商認(rèn)為6:1是重復(fù)數(shù)據(jù)刪除率的最佳平均值。加上相同的塊壓縮，數(shù)據(jù)中心可以通過(guò)這些技術(shù)輕松實(shí)現(xiàn)10:1的存儲(chǔ)空間節(jié)約。

這些技術(shù)能夠節(jié)約空間，十分具有，但重復(fù)數(shù)據(jù)刪除屬于計(jì)算密集型技術(shù)。在相對(duì)不重要的二級(jí)存儲(chǔ)中，一般不會(huì)出現(xiàn)問(wèn)題，但可能給主存儲(chǔ)環(huán)境出現(xiàn)短暫擁塞現(xiàn)象，Gartner的副總監(jiān)兼著名存儲(chǔ)技術(shù)與戰(zhàn)略分析師Dave Russell說(shuō)。

“真正令人當(dāng)心的是，應(yīng)用程序可能在寫(xiě)入存儲(chǔ)甚至在讀取時(shí)被卡住，” Russell說(shuō)?！叭绻鞔鎯?chǔ)陣列的性能是一個(gè)瓶頸，那么就必須采取后處理方式”，在數(shù)據(jù)已經(jīng)被寫(xiě)入存儲(chǔ)后才開(kāi)始?jí)嚎s。

重復(fù)數(shù)據(jù)刪除不僅可以在實(shí)時(shí)刪除重復(fù)數(shù)據(jù)，還可以讓供應(yīng)商通過(guò)算法最大化潛在的數(shù)據(jù)壓縮率。以Quantum的DXi系列備份設(shè)備為例，使用可改變塊大小的重復(fù)數(shù)據(jù)刪除算法，該算法是固定塊大小方法效率的三倍以上，Quantum的數(shù)據(jù)中心高級(jí)產(chǎn)品營(yíng)銷(xiāo)經(jīng)理Casey Burns說(shuō)。

河南億恩科技股份有限公司(mszdt.com)始創(chuàng)于2000年，專(zhuān)注服務(wù)器托管租用，是國(guó)家工信部認(rèn)定的綜合電信服務(wù)運(yùn)營(yíng)商。億恩為近五十萬(wàn)的用戶(hù)提供服務(wù)器托管、服務(wù)器租用、機(jī)柜租用、云服務(wù)器、網(wǎng)站建設(shè)、網(wǎng)站托管等網(wǎng)絡(luò)基礎(chǔ)服務(wù)，另有網(wǎng)總管、名片俠網(wǎng)絡(luò)推廣服務(wù)，使得客戶(hù)不斷的獲得更大的收益。
服務(wù)器/云主機(jī) 24小時(shí)售后服務(wù)電話(huà)：0371-60135900
虛擬主機(jī)/智能建站 24小時(shí)售后服務(wù)電話(huà)：0371-55621053
網(wǎng)絡(luò)版權(quán)侵權(quán)舉報(bào)電話(huà)：0371-60135995
服務(wù)熱線(xiàn)：0371-60135900