應需而變 融易致遠----大數(shù)據(jù)時代,你準備好了嗎? |
發(fā)布時間: 2012/9/23 22:40:18 |
2011年3月11日日本大地震發(fā)生后,美國國家海洋和大氣管理局(NOAA),通過分析海量的數(shù)據(jù),包括陸基、 海岸、 海洋、 海洋生物資源和大氣層等的信息數(shù)據(jù),僅9分鐘后,就發(fā)布了詳細的海嘯預警;NOAA每年的IT預算高達10億美元,雖然花費巨大,但樂此不疲,因為這些信息關乎生命,這些數(shù)據(jù)可以拯救生命,改變世界。在這個信息爆炸的時代,面對海量信息,你準備好了嗎? 大數(shù)據(jù)時代到來 近年來互聯(lián)網(wǎng)、云計算、移動終端和物聯(lián)網(wǎng)迅猛發(fā)展。日漸復雜的企業(yè)客戶信息數(shù)據(jù),網(wǎng)店交易記錄,視頻監(jiān)控終端產(chǎn)生的信息數(shù)據(jù),博客、微博、照片、自創(chuàng)視頻等,數(shù)據(jù)每秒都在爆炸產(chǎn)生……;全球在2010 年正式進入ZB 時代,根據(jù)IDC 的預計,到2020 年全球將總共擁有35ZB 的數(shù)據(jù)量,相較于2009 年,數(shù)據(jù)量將增長44倍。2012年3月,奧巴馬政府公布大數(shù)據(jù)計劃,首批宣布投資2億美元。工信部發(fā)布的物聯(lián)網(wǎng)"十二五"規(guī)劃,把信息處理技術作為4項關鍵技術創(chuàng)新工程之一被提出來--毋庸置疑,我們已進入"大數(shù)據(jù)時代",大數(shù)據(jù)正在改變商業(yè),生活甚至政府。 應需而變 曾經(jīng)是攝影代名詞的柯達在自己132歲時轟然倒下;同時,1962創(chuàng)建的零售之王沃爾瑪,連續(xù)多年蟬聯(lián)零售商第一;擁有350名員工的FaceBook僅僅只用了8年時間,上市首日市值達1152億美元,成為歷史上規(guī)模最大一宗科技公司IPO。變化帶來的不僅僅是挑戰(zhàn),更是機遇,甚至是彎道超車的機會。 挑戰(zhàn)與機遇面前人人平等,那么生存,發(fā)展,超越的銀彈是什么呢?銀彈就是大數(shù)據(jù),就是大數(shù)據(jù)中的大價值。沃爾瑪是最早通過利用大數(shù)據(jù)而受益的企業(yè)之一,通過對消費者的購物行為等非結構化數(shù)據(jù)進行分析,沃爾瑪成為最了解顧客購物習慣的零售商,并創(chuàng)造了"啤酒與尿布"的經(jīng)典商業(yè)案例。沃爾瑪一度擁有世界上最大的數(shù)據(jù)倉庫系統(tǒng),數(shù)據(jù)中心的數(shù)據(jù)量已經(jīng)是美國國會圖書館的167倍。Facebook每秒鐘都在生成海量的結構和非結構化數(shù)據(jù),一對一的消費驅動模式中蘊含著用戶的消費傾向,"數(shù)據(jù)"的挖掘分析大幅提升廣告的精確投放效果,并且可以通過用戶行為預測多個行業(yè)的發(fā)展趨勢,蘊含巨大的商業(yè)價值。Facebook 1152億美元的IPO很大程度是對大數(shù)據(jù)中大價值的認同。大數(shù)據(jù)時代,管理大數(shù)據(jù),挖掘大數(shù)據(jù)中的大價值,就抓住了機遇,也就能立于不敗之地。 挑戰(zhàn)與機遇并存 大數(shù)據(jù)有著4"V"特性:Volume、Variety、Velocity、Value。要把握大數(shù)據(jù),挖據(jù)出大數(shù)據(jù)中的價值,從技術的角度來說,兩個問題需要解決:數(shù)據(jù)的存儲,數(shù)據(jù)的分析。大數(shù)據(jù)的Volume 屬性--"海量數(shù)據(jù)"一詞從七十年代延展至今,正在發(fā)生從量變到質變的飛躍。所謂質變是說,從來沒有一個時期要如此依賴數(shù)據(jù),同時,傳統(tǒng)的數(shù)據(jù)處理和數(shù)據(jù)管理技術正在受到當今"海量數(shù)據(jù)"的直接挑戰(zhàn)。 (一)ZB級的數(shù)據(jù)管理和數(shù)據(jù)分析,不是傳統(tǒng)的IT服務器、磁帶、縱向擴展設備能夠承載的,數(shù)量級和復雜程度到達一個層級,引導企業(yè)進行信息化技術和企業(yè)業(yè)務的革新。傳統(tǒng)利用SPSS統(tǒng)計分析軟件建模的方式已經(jīng)有些力不從心,而如果采用抽樣統(tǒng)計分析的方式,有些新的用戶行為特征或業(yè)務趨勢就會被忽略。 (二)世界經(jīng)濟形勢趨緊,高額的IT預算,究竟應該在哪里投入。據(jù)調查企業(yè)目前73%的預算都用在基本業(yè)務運轉上,剩下的才對商業(yè)運營有支撐作用。CIO的苦痛在于IT設施不斷的膨脹,僅僅是因為業(yè)務的數(shù)量漲了,沒有給企業(yè)經(jīng)營帶來真正的增值。 (三)據(jù)統(tǒng)計,ZB級的數(shù)據(jù)中,80%以上是半結構化,非結構化數(shù)據(jù)。為了應對"大數(shù)據(jù)"浪潮,很多企業(yè)在具備一定結構化處理能力的基礎上,將非結構化數(shù)據(jù)依托給了Hadoop。但當深入探索之后,有投資人給出了這樣的感受--使用Hadoop構建分析性查詢,會變成類似用錘子來建造房屋的活動:特定的數(shù)據(jù)模式分析任務中性能低的可怕;高昂的后期開發(fā)和維護任務成本;企業(yè)信息孤島;數(shù)據(jù)單點故障。 那么是否說明了,"大數(shù)據(jù)"帶來企業(yè)業(yè)務革命性挑戰(zhàn)真是存在呢?答案是Yes。那么是否說明了,"大數(shù)據(jù)"需要革命性技術革新呢?答案是No。 融易致遠 展開"大數(shù)據(jù)"的畫卷,我們能夠看到的是如下現(xiàn)狀: a.眾多企業(yè)都在為大數(shù)據(jù)時代的到來作出反應,數(shù)據(jù)庫廠家提供的昂貴的結構化數(shù)據(jù)解決方案無法適應企業(yè)收緊IT預算,同時要進行海量數(shù)據(jù)分析的要求;企業(yè)將目光轉向Hadoop開源系統(tǒng),但處于進退兩難的境地。 b.IT廠商也同時意識到了這個問題,紛紛將Hadoop集成進入大數(shù)據(jù)解決方案,以此迎合Hadoop已經(jīng)在大數(shù)據(jù)領域占領的一席之地; c.上述的簡單嫁接,企業(yè)處于業(yè)務系統(tǒng)、歸檔系統(tǒng)、數(shù)據(jù)分析系統(tǒng)相互隔離導致的尷尬境地,同時面臨高額的TCO對IT預算的困擾; 應對上述現(xiàn)狀,華為推出了X位一體的大數(shù)據(jù)存儲解決方案。方案中,海量結構化、非結構化數(shù)據(jù)一體化存儲;統(tǒng)一的并行任務調度框架支撐結構化、非結構化海量數(shù)據(jù)清洗、數(shù)據(jù)分析;海量數(shù)據(jù)的生命周期管理,支持歷史數(shù)據(jù)的歸檔、壓縮、掉電策略;歷史數(shù)據(jù)仍納入海量數(shù)據(jù)的引擎管理;同時,通過海量非結構化數(shù)據(jù)的內容感知(元數(shù)據(jù)管理),建立海量非結構化數(shù)據(jù)的搜索引擎,加速熱點數(shù)據(jù)的快速訪問。華為大數(shù)據(jù)存儲解決方案通過融合的方案,多樣化數(shù)據(jù)統(tǒng)一存儲、分析、備份和歸檔,解決了信息孤島,也解決了隨著業(yè)務的發(fā)展,對量和性能不斷拔高的需求;同時,又能根據(jù)需求的變化對容量和性能進行擴容,保持低廉的TCO。 我們能看到順應大數(shù)據(jù)潮流,從而獲得成功的Facebook、沃爾瑪?shù),我們也看到在大?shù)據(jù)潮流下企業(yè)積極尋求轉型,70%企業(yè)客戶正在近5年和未來5年投入進行IT基礎設施的改革。大數(shù)據(jù),正在改變世界;華為存儲應需而變,貼合業(yè)務需要;融合之道,助力大數(shù)據(jù)時代把握住大數(shù)據(jù),把握住大數(shù)據(jù)的大價值,把握住未來。 本文出自:億恩科技【mszdt.com】 |