大數(shù)據(jù)與海量數(shù)據(jù)已經(jīng)成為數(shù)據(jù)中心的主要業(yè)務，而重復數(shù)據(jù)刪除與壓縮是可以節(jié)約大量數(shù)據(jù)存儲的技術(shù)。

只有備份還不夠。重復數(shù)據(jù)刪除與壓縮即將成為主存儲的必備功能。

重復數(shù)據(jù)刪除是一種壓縮技術(shù)，通過識別重復內(nèi)容，進行去重，并在對應的存儲位置留下指針，來最小化數(shù)據(jù)量。這個指針通過給定大小的數(shù)據(jù)模式進行哈希創(chuàng)建。

也許在于你已經(jīng)在備份系統(tǒng)上實施了重復數(shù)據(jù)刪除備份和歸檔多年，問題在于：是否需要在主存儲上運用重復數(shù)據(jù)刪除與壓縮技術(shù)？

并非所有的重復數(shù)據(jù)刪除技術(shù)都一樣。IT專業(yè)人士在將其添加到主存儲環(huán)境之前，應該權(quán)衡其各自的特點。

何時使用重復數(shù)據(jù)刪除

重復數(shù)據(jù)刪除首先開始于創(chuàng)建數(shù)據(jù)。接著是所有其他業(yè)務——備份、復制、歸檔以及任何網(wǎng)絡傳輸——都可以受益于規(guī)模縮小后的數(shù)據(jù)，位于Hopkinton, Mass的大容量存儲咨詢服務公司Taneja Group創(chuàng)始人Arun Taneja說。

“幾年前，我寫道，自己知道為什么重復數(shù)據(jù)刪除技術(shù)通常被應用于備份設備上。但是，如果沒有限制，重復數(shù)據(jù)刪除應該在數(shù)據(jù)被創(chuàng)建時進行，而且數(shù)據(jù)在整個生命周期內(nèi)，應該以某種脫水格式存儲，” Taneja說。唯一的例外應該是當用戶或應用程序需要訪問這些數(shù)據(jù)時。

但把重復數(shù)據(jù)刪除應用在主數(shù)據(jù)這一場景很難被用戶接收，因為這樣做是在篡改主數(shù)據(jù)集，Storage Switzerland LLC存儲顧問公司的首席分析師George Crump說。“做好備份，就算沒有重復數(shù)據(jù)刪除技術(shù)，也不會因為搞砸生產(chǎn)環(huán)境的數(shù)據(jù)而出大亂子，”他說，“但是如果動到主存儲，問題就很大了，而且需要了解這項技術(shù)會如何影響性能、可靠性與數(shù)據(jù)完整性?！?

目前只有少數(shù)主存儲陣列提供重復數(shù)據(jù)刪除作為產(chǎn)品的附加功能。只有不到5%的磁盤陣列真正支持在線重復數(shù)據(jù)刪除與壓縮，Permabit公司的CEO Tom Cook說。該公司是一家數(shù)據(jù)效率技術(shù)供應商。不過，這個數(shù)字在未來的18個月內(nèi)將可能增長到25%，并且在36個月后達到75%，Cook說。

重復數(shù)據(jù)刪除的比例

通過數(shù)據(jù)去重節(jié)約的空間十分可觀，這取決于數(shù)據(jù)類型以及所使用的數(shù)據(jù)去重引擎的組塊大小。以文本文件與虛擬桌面架構(gòu)環(huán)境為例，受益于高刪除率，壓縮比可達到40:1。而視頻可以壓縮的，但沒法去重。存儲廠商認為6:1是重復數(shù)據(jù)刪除率的最佳平均值。加上相同的塊壓縮，數(shù)據(jù)中心可以通過這些技術(shù)輕松實現(xiàn)10:1的存儲空間節(jié)約。

這些技術(shù)能夠節(jié)約空間，十分具有，但重復數(shù)據(jù)刪除屬于計算密集型技術(shù)。在相對不重要的二級存儲中，一般不會出現(xiàn)問題，但可能給主存儲環(huán)境出現(xiàn)短暫擁塞現(xiàn)象，Gartner的副總監(jiān)兼著名存儲技術(shù)與戰(zhàn)略分析師Dave Russell說。

“真正令人當心的是，應用程序可能在寫入存儲甚至在讀取時被卡住，” Russell說?！叭绻鞔鎯﹃嚵械男阅苁且粋€瓶頸，那么就必須采取后處理方式”，在數(shù)據(jù)已經(jīng)被寫入存儲后才開始壓縮。

重復數(shù)據(jù)刪除不僅可以在實時刪除重復數(shù)據(jù)，還可以讓供應商通過算法最大化潛在的數(shù)據(jù)壓縮率。以Quantum的DXi系列備份設備為例，使用可改變塊大小的重復數(shù)據(jù)刪除算法，該算法是固定塊大小方法效率的三倍以上，Quantum的數(shù)據(jù)中心高級產(chǎn)品營銷經(jīng)理Casey Burns說。

河南億恩科技股份有限公司(mszdt.com)始創(chuàng)于2000年，專注服務器托管租用，是國家工信部認定的綜合電信服務運營商。億恩為近五十萬的用戶提供服務器托管、服務器租用、機柜租用、云服務器、網(wǎng)站建設、網(wǎng)站托管等網(wǎng)絡基礎(chǔ)服務，另有網(wǎng)總管、名片俠網(wǎng)絡推廣服務，使得客戶不斷的獲得更大的收益。
服務器/云主機 24小時售后服務電話：0371-60135900
虛擬主機/智能建站 24小時售后服務電話：0371-55621053
網(wǎng)絡版權(quán)侵權(quán)舉報電話：0371-60135995
服務熱線：0371-60135900