批處理所帶來的挑戰(zhàn) |
發(fā)布時(shí)間: 2012/9/11 19:28:39 |
批量處理的挑戰(zhàn)在于,數(shù)據(jù)必須要間斷性地進(jìn)入才能保證流程正常運(yùn)作,而如果數(shù)據(jù)源連續(xù)地輸入,就會(huì)造成系統(tǒng)崩潰。 如果我們?cè)黾优幚泶翱诘脑挘Y(jié)果就會(huì)增加數(shù)據(jù)處理過程的時(shí)間,使得相關(guān)的數(shù)據(jù)分析報(bào)告也要推遲落入我們的手中。在許多系統(tǒng)里,他們會(huì)選擇在非高峰時(shí)間進(jìn)行數(shù)據(jù)批處理,而這個(gè)時(shí)間是非常有限的。隨著數(shù)據(jù)的體積不斷脹大,處理數(shù)據(jù)的時(shí)間就不斷增加,這樣發(fā)展下去的話,需要被處理的數(shù)據(jù)就會(huì)不斷積壓。這最終的結(jié)果有可能一天都處理不完數(shù)據(jù)。 通過流處理來提升速度 流處理的概念是非常簡(jiǎn)單的。我們并不需要等到所有數(shù)據(jù)記錄完后才進(jìn)行處理,我們可以邊記錄邊處理。 本文出自:億恩科技【mszdt.com】 服務(wù)器租用/服務(wù)器托管中國五強(qiáng)!虛擬主機(jī)域名注冊(cè)頂級(jí)提供商!15年品質(zhì)保障!--億恩科技[ENKJ.COM] |