隨著IT行業(yè)持續(xù)地灌輸廉價(jià)存儲(chǔ)的優(yōu)勢(shì)，企業(yè)較以往擁有者更多的數(shù)據(jù)，那么在評(píng)估大數(shù)據(jù)基礎(chǔ)架構(gòu)的過(guò)程中需要深入地調(diào)查哪些因素。本篇涉及到了在容量、延遲、訪問(wèn)性、安全性和成本這些重要因素的評(píng)估。

大數(shù)據(jù)發(fā)展的驅(qū)動(dòng)因素

除了存儲(chǔ)比以往更多的數(shù)據(jù)，我們所面臨的數(shù)據(jù)種類也變得更加繁雜。這些數(shù)據(jù)源包括互聯(lián)網(wǎng)事務(wù)交易、社交網(wǎng)絡(luò)的活動(dòng)、自動(dòng)化傳感器、移動(dòng)設(shè)備以及科研儀器等。除了靜態(tài)的數(shù)據(jù)增長(zhǎng)方面，事務(wù)交易也會(huì)保持一個(gè)固定的數(shù)據(jù)“增長(zhǎng)速度”。例如飛速增長(zhǎng)的社交信息所產(chǎn)生的大量交易事務(wù)和記錄。不過(guò)現(xiàn)有的不斷擴(kuò)大數(shù)據(jù)集無(wú)法確保能夠?yàn)闃I(yè)務(wù)搜索出有價(jià)值的信息。

當(dāng)今的信息是一項(xiàng)重要的生產(chǎn)因素

數(shù)據(jù)業(yè)已成為了一種生產(chǎn)資料，就如何資本、勞動(dòng)力和原始材料那樣，而且也不限于某一行業(yè)內(nèi)的特定應(yīng)用。企業(yè)中所有部門(mén)都旨在整合比較越來(lái)越多的數(shù)據(jù)集合，致力于降低成本、提升品質(zhì)、增強(qiáng)生產(chǎn)能力以及開(kāi)發(fā)新產(chǎn)品。舉例來(lái)說(shuō)，對(duì)于現(xiàn)場(chǎng)產(chǎn)品的直接數(shù)據(jù)分析有助于提升設(shè)計(jì)。又例如企業(yè)可以通過(guò)對(duì)用戶習(xí)慣的深入分析，比較整體市場(chǎng)的增長(zhǎng)特性，大幅提升自己在競(jìng)爭(zhēng)分析方面的能力。

存儲(chǔ)發(fā)展的必要性

大數(shù)據(jù)意味著數(shù)據(jù)的增長(zhǎng)超過(guò)了其本身的基礎(chǔ)架構(gòu)，這驅(qū)動(dòng)著應(yīng)對(duì)這些特殊挑戰(zhàn)的存儲(chǔ)、網(wǎng)絡(luò)和計(jì)算系統(tǒng)進(jìn)一步的發(fā)展。軟件應(yīng)用需求最終推動(dòng)了硬件功能的發(fā)展，同時(shí)在這種情況下，大數(shù)據(jù)分析的處理過(guò)程正在影響著數(shù)據(jù)存儲(chǔ)基礎(chǔ)架構(gòu)的發(fā)展。這對(duì)于存儲(chǔ)和IT基礎(chǔ)架構(gòu)企業(yè)而言是一項(xiàng)機(jī)遇。隨著結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)集的持續(xù)增長(zhǎng)，這類數(shù)據(jù)的分析方式也更為多樣化，當(dāng)前的存儲(chǔ)系統(tǒng)設(shè)計(jì)難以應(yīng)對(duì)大數(shù)據(jù)基礎(chǔ)架構(gòu)所需。存儲(chǔ)供應(yīng)商已經(jīng)開(kāi)始推出基于數(shù)據(jù)塊和基于文件的系統(tǒng)來(lái)應(yīng)對(duì)許多這方面的需求。以下列出了一些大數(shù)據(jù)存儲(chǔ)基礎(chǔ)架構(gòu)的特性，這些都是源自大數(shù)據(jù)的挑戰(zhàn)。

容量。“大”在很多時(shí)候可以理解為PB級(jí)別的數(shù)據(jù)，因此大數(shù)據(jù)基礎(chǔ)架構(gòu)當(dāng)然要能夠可以擴(kuò)展。不過(guò)其同樣必須能夠簡(jiǎn)易地完成擴(kuò)展，以模塊化或陣列的方式為用戶直接增加容量，或者至少保持系統(tǒng)不會(huì)宕機(jī)。橫向擴(kuò)展式存儲(chǔ)由于能夠滿足這種需求，變得十分流行。橫向擴(kuò)展集群體系架構(gòu)的特征是由存儲(chǔ)節(jié)點(diǎn)構(gòu)成，每個(gè)節(jié)點(diǎn)具備處理能力和可連接性，可以無(wú)縫地?cái)U(kuò)展，避免傳統(tǒng)系統(tǒng)可能產(chǎn)生的煙囪式存儲(chǔ)的問(wèn)題。

大數(shù)據(jù)還意味著大量的文件。管理元數(shù)據(jù)文件系統(tǒng)的累計(jì)會(huì)降低可擴(kuò)展性并影響性能，用傳統(tǒng)的NAS系統(tǒng)就會(huì)在這種情況下出現(xiàn)問(wèn)題�；�于對(duì)象的存儲(chǔ)體系架構(gòu)則通過(guò)另一種方式，支持在大數(shù)據(jù)存儲(chǔ)系統(tǒng)中擴(kuò)展至十億級(jí)別的文件數(shù)量，而不會(huì)產(chǎn)生傳統(tǒng)文件系統(tǒng)中會(huì)遇到的負(fù)載問(wèn)題。基于對(duì)象的存儲(chǔ)可以在不同的地理位置進(jìn)行擴(kuò)展，可以在多個(gè)不同地點(diǎn)擴(kuò)展出大型的基礎(chǔ)架構(gòu)。

延遲。大數(shù)據(jù)基礎(chǔ)架構(gòu)中或許同樣會(huì)包含實(shí)時(shí)性的組件，尤其是在網(wǎng)頁(yè)交互或金融處理事務(wù)中。存儲(chǔ)系統(tǒng)必須能夠應(yīng)對(duì)上述問(wèn)題同時(shí)保持相應(yīng)的性能，因?yàn)檠舆t可能產(chǎn)生過(guò)期數(shù)據(jù)。在這一領(lǐng)域，橫向擴(kuò)展式基礎(chǔ)架構(gòu)同樣能夠通過(guò)應(yīng)用存儲(chǔ)節(jié)點(diǎn)集群，隨著容量擴(kuò)展的同時(shí)增強(qiáng)處理能力和可連接性�；�于對(duì)象的存儲(chǔ)系統(tǒng)可能并發(fā)數(shù)據(jù)流，更大程度上改善吞吐量。

許多大數(shù)據(jù)環(huán)境需要提供高IOPS性能，在高性能計(jì)算環(huán)境中的應(yīng)用。億恩科技服務(wù)器虛擬化也會(huì)驅(qū)動(dòng)高IOPS的需求，就和其在傳統(tǒng)IT環(huán)境中一樣。為了滿足這方面的挑戰(zhàn)，固態(tài)存儲(chǔ)設(shè)備可以以多種不同形式進(jìn)行部署，從簡(jiǎn)單的基于億恩科技服務(wù)器的緩存卡到全閃存架構(gòu)的可擴(kuò)展式的存儲(chǔ)系統(tǒng)。

可訪問(wèn)性。隨著企業(yè)越來(lái)越能夠理解大數(shù)據(jù)分析的潛在應(yīng)用，對(duì)不同數(shù)據(jù)集的對(duì)比需求會(huì)讓越來(lái)越多的人員進(jìn)入到數(shù)據(jù)共享之中。在創(chuàng)造業(yè)務(wù)價(jià)值方面，企業(yè)在尋求更多的方式來(lái)從各種平臺(tái)相互參照不同的數(shù)據(jù)對(duì)象。包含全局文件系統(tǒng)的存儲(chǔ)基礎(chǔ)架構(gòu)可以滿足這方面的問(wèn)題，因?yàn)槠湓试S多用戶，多主機(jī)的交互文件，并且支持諸多不同的，甚至是位于不同區(qū)域的后端存儲(chǔ)系統(tǒng)文件共享。

安全性。財(cái)務(wù)數(shù)據(jù)，醫(yī)療信息以及政府確保都有其標(biāo)準(zhǔn)的安全性要求。雖然這些或許和當(dāng)前IT管理員的職責(zé)稍有不同，大數(shù)據(jù)分析可能也需要相互參照數(shù)據(jù)，而這類數(shù)據(jù)在之前可能完全無(wú)關(guān)，這又產(chǎn)生了新的安全性的要求。

成本。“大”同樣意味著更加昂貴。并且以許多企業(yè)今天正在運(yùn)作的大數(shù)據(jù)環(huán)境規(guī)模，對(duì)于成本的考慮可能非常重要。這意味著從“每個(gè)盒子”中更有效地產(chǎn)出，以及更加廉價(jià)的組件。存儲(chǔ)重復(fù)刪除已經(jīng)進(jìn)入主存儲(chǔ)市場(chǎng)，并且取決于涉及到的數(shù)據(jù)類型，這會(huì)給大數(shù)據(jù)存儲(chǔ)系統(tǒng)帶來(lái)一些價(jià)值。降低后端存儲(chǔ)容量消耗，即便是幾個(gè)百分點(diǎn)，在數(shù)據(jù)集不斷增長(zhǎng)的環(huán)境下都可以提供巨大的投資回報(bào)。自動(dòng)精簡(jiǎn)配置、快照和克隆技術(shù)同樣可能根據(jù)不同的數(shù)據(jù)類型，提升效率。

許多大數(shù)據(jù)存儲(chǔ)系統(tǒng)都會(huì)包含歸檔組件，尤其是對(duì)于那些和歷史趨勢(shì)或者長(zhǎng)期存儲(chǔ)應(yīng)用相關(guān)的企業(yè)。從單位成本所提供的存儲(chǔ)容量來(lái)看，磁帶仍舊是最具性價(jià)比的存儲(chǔ)媒介，并且能夠支持大容量存儲(chǔ)磁帶盒的歸檔系統(tǒng)對(duì)于許多環(huán)境都已經(jīng)成為了約定俗成的標(biāo)準(zhǔn)。

來(lái)自于成本方面的最大影響是使用商品化的硬件。很清楚大數(shù)據(jù)基礎(chǔ)架構(gòu)無(wú)法依賴大型硬件企業(yè)傳統(tǒng)上的轉(zhuǎn)向。許多剛開(kāi)始部署，或者是具有大型的大數(shù)據(jù)環(huán)境的用戶自行開(kāi)發(fā)了“白盒”系統(tǒng)，這類系統(tǒng)以更低的成本，以現(xiàn)成的商品的形式提供給用戶。不過(guò)更多的存儲(chǔ)產(chǎn)品現(xiàn)在以軟件的形式出現(xiàn)，可以安裝在現(xiàn)有系統(tǒng)，或者普通的現(xiàn)成硬件上。此外，許多企業(yè)正在將其軟件技術(shù)以商品化的設(shè)備，或者和硬件供應(yīng)商結(jié)合，提供類似的方案形式進(jìn)行銷售。

持續(xù)性。許多大數(shù)據(jù)應(yīng)用中涉及到合規(guī)規(guī)范的要求，使得數(shù)據(jù)需要保存幾年甚至幾十年。醫(yī)療信息通常要保存患者的一生。財(cái)務(wù)數(shù)據(jù)一般要保存7年。不過(guò)大數(shù)據(jù)用戶同樣會(huì)更長(zhǎng)地保存期數(shù)據(jù)，因?yàn)檫@是歷史記錄的一個(gè)組成部分，或者要用于以時(shí)間為基礎(chǔ)的分析。這種長(zhǎng)期保存的需求意味著存儲(chǔ)供應(yīng)商需要進(jìn)行持續(xù)地一致性檢驗(yàn)，并且具備其它長(zhǎng)期的可靠性特性，以及滿足數(shù)據(jù)在線升級(jí)的需要。

靈活性。因?yàn)榇髷?shù)據(jù)存儲(chǔ)基礎(chǔ)架構(gòu)通常會(huì)變得十分龐大，在其設(shè)計(jì)之初就應(yīng)當(dāng)十分注意，以確保其能夠增長(zhǎng)，并且隨著分析組件的增長(zhǎng)而發(fā)展。數(shù)據(jù)遷移在大數(shù)據(jù)領(lǐng)域中已成為歷史，尤其是自從數(shù)據(jù)可以在多個(gè)地點(diǎn)開(kāi)始。大數(shù)據(jù)存儲(chǔ)基礎(chǔ)架構(gòu)從你開(kāi)始向里面寫(xiě)入數(shù)據(jù)的那一刻就已確定，因此其在發(fā)展過(guò)程中必需能夠滿足不同的應(yīng)用環(huán)境和數(shù)據(jù)場(chǎng)景。

應(yīng)用感知。有一些首次部署大數(shù)據(jù)的過(guò)程中會(huì)涉及到特定應(yīng)用的基礎(chǔ)架構(gòu)，諸如為政府項(xiàng)目而開(kāi)發(fā)的系統(tǒng)，或者為大型互聯(lián)網(wǎng)服務(wù)公司所開(kāi)發(fā)的白牌系統(tǒng)。應(yīng)用感知作為改善效率和性能的一種途徑，在主流存儲(chǔ)系統(tǒng)中變得日益普及，并且其也是在大數(shù)據(jù)環(huán)境中應(yīng)當(dāng)部署的一種技術(shù)。

小型用戶。隨著業(yè)務(wù)需要，大數(shù)據(jù)的應(yīng)用會(huì)延伸至那些小型的企業(yè)，這種企業(yè)遠(yuǎn)遠(yuǎn)小于那些存儲(chǔ)基礎(chǔ)架構(gòu)市場(chǎng)部門(mén)所關(guān)聯(lián)的大數(shù)據(jù)應(yīng)用分析。這也不只是處于“技術(shù)狂熱”或者獨(dú)特的應(yīng)用需求，因此大數(shù)據(jù)領(lǐng)域的存儲(chǔ)供應(yīng)商需要提供更小的配置，并更加關(guān)注成本效益。