如果僅僅是海量的結構性數(shù)據(jù)，那么解決的辦法就比較的單一，用戶通過購買更多的存儲設備，提高存儲設備的效率等解決此類問題。然而，當人們發(fā)現(xiàn)數(shù)據(jù)庫中的數(shù)據(jù)可以分為三種類型：結構性數(shù)據(jù)、非結構性數(shù)據(jù)以及半結構性數(shù)據(jù)等復雜情況時，問題似乎就沒有那么簡單了。

 

 

　　當類型復雜的數(shù)據(jù)洶涌襲來，那么對于用戶IT系統(tǒng)的沖擊又會是另外一種處理方式。很多業(yè)內專家和第三方調查機構通過一些市場調查數(shù)據(jù)發(fā)現(xiàn)，大數(shù)據(jù)時代即將到來。有調查發(fā)現(xiàn)，這些復雜數(shù)據(jù)中有85%的數(shù)據(jù)屬于廣泛存在于社交網(wǎng)絡、物聯(lián)網(wǎng)、電子商務等之中的非結構化數(shù)據(jù)。這些非結構化數(shù)據(jù)的產生往往伴隨著社交網(wǎng)絡、移動計算和傳感器等新的渠道和技術的不斷涌現(xiàn)和應用。

 

　　如今大數(shù)據(jù)的概念也存在著很多的炒作和大量的不確定性。為此，編者詳細向一些業(yè)內專家詳細了解有關方面的問題，請他們談一談，大數(shù)據(jù)是什么和不是什么，以及如何應對大數(shù)據(jù)等問題，將系列文章的形式與網(wǎng)友見面。

 

　　有人將多TB數(shù)據(jù)集也稱作"大數(shù)據(jù)"。據(jù)市場研究公司IDC統(tǒng)計，數(shù)據(jù)使用預計將增長44倍，全球數(shù)據(jù)使用量將達到大約35.2ZB(1ZB = 10億TB)。然而，單個數(shù)據(jù)集的文件尺寸也將增加，導致對更大處理能力的需求以便分析和理解這些數(shù)據(jù)集。

 

　　EMC曾經(jīng)表示，它的1000多個客戶在其陣列中使用1PB(千兆兆)以上的數(shù)據(jù)數(shù)據(jù)，這個數(shù)字到2020年將增長到10萬。一些客戶在一兩年內還將開始使用數(shù)千倍多的數(shù)據(jù)，1EB(1艾字節(jié) = 10億GB)或者更多的數(shù)據(jù)。

 

　　對大企業(yè)而言，大數(shù)據(jù)的興起部分是因為計算能力可用更低的成本獲得，且各類系統(tǒng)如今已能夠執(zhí)行多任務處理。其次，內存的成本也在直線下降，企業(yè)可以在內存中處理比以往更多的數(shù)據(jù)，另外是把計算機聚合成服務器集群越來越簡單。IDC認為，這三大因素的結合便催生了大數(shù)據(jù)。同時，IDC還表示，某項技術要想成為大數(shù)據(jù)技術，首先必須是成本可承受的，其次是必須滿足IBM所描述的三個"V"判據(jù)中的兩個：多樣性(variety)、體量(volume)和速度(velocity)。

 

　　多樣性是指，數(shù)據(jù)應包含結構化的和非結構化的數(shù)據(jù)。

 

　　體量是指聚合在一起供分析的數(shù)據(jù)量必須是非常龐大的。

 

　　而速度則是指數(shù)據(jù)處理的速度必須很快。

 

　　大數(shù)據(jù)"并非總是說有數(shù)百個TB才算得上。根據(jù)實際使用情況，有時候數(shù)百個GB的數(shù)據(jù)也可稱為大數(shù)據(jù)，這主要要看它的第三個維度，也就是速度或者時間維度。

 

　　Garter表示，全球信息量正在以59%以上的年增長率增長，而量是在管理數(shù)據(jù)、業(yè)務方面的顯著挑戰(zhàn)，IT領袖必須側重在信息量、種類和速度上。

 

　　量：企業(yè)系統(tǒng)內部的數(shù)據(jù)量的增加是由交易量、其它傳統(tǒng)數(shù)據(jù)類型和新的數(shù)據(jù)類型引發(fā)的。過多的量是一個存儲的問題，但過多的數(shù)據(jù)也是一個大量分析的問題。

 

　　種類：IT領袖在將大量的交易信息轉化為決策上一直存在困擾 - 現(xiàn)在有更多類型的信息需要分析 - 主要來自社交媒體和移動(情景感知)。種類包括表格數(shù)據(jù)(數(shù)據(jù)庫)、分層數(shù)據(jù)、文件、電子郵件、計量數(shù)據(jù)、視頻、靜態(tài)圖像、音頻、股票行情數(shù)據(jù)、金融交易和其它更多種類。

 

　　速度：這涉及到數(shù)據(jù)流、結構化記錄的創(chuàng)建，以及訪問和交付的可用性。速度意味著正在被生成的數(shù)據(jù)有多快和數(shù)據(jù)必須被多快地處理以滿足需求。

 

　　雖然大數(shù)據(jù)是一個重大問題，Gartner分析師表示，真正的問題是讓大數(shù)據(jù)更有意義，在大數(shù)據(jù)里面尋找模式幫助組織機構做出更好的商業(yè)決策。