激情五月天婷婷,亚洲愉拍一区二区三区,日韩视频一区,a√天堂中文官网8

<ul id="buwfs"><strike id="buwfs"><strong id="buwfs"></strong></strike></ul>
    <output id="buwfs"></output>
  • <dfn id="buwfs"><source id="buwfs"></source></dfn>
      <dfn id="buwfs"><td id="buwfs"></td></dfn>
      <div id="buwfs"><small id="buwfs"></small></div>
      <dfn id="buwfs"><source id="buwfs"></source></dfn>
      1. <dfn id="buwfs"><td id="buwfs"></td></dfn>
        億恩科技有限公司旗下門(mén)戶資訊平臺(tái)!
        服務(wù)器租用 4元建網(wǎng)站

        大數(shù)據(jù)時(shí)代需要學(xué)習(xí)什么?

        大數(shù)據(jù)需要學(xué)習(xí)什么?很多人問(wèn)過(guò)我這個(gè)問(wèn)題。每一次回答完都覺(jué)得自己講得太片面了,總是沒(méi)有一個(gè)合適的契機(jī)去好好總結(jié)這些內(nèi)容,直到開(kāi)始寫(xiě)這篇東西。大數(shù)據(jù)是近五年興起的行業(yè),發(fā)展迅速,很多技術(shù)經(jīng)過(guò)這些年的迭代也變得比較成熟了,同時(shí)新的東西也不斷涌現(xiàn),想要保持自己競(jìng)爭(zhēng)力的唯一辦法就是不斷學(xué)習(xí)。

        大數(shù)據(jù)時(shí)代需要學(xué)習(xí)什么?

        思維導(dǎo)圖

        下面的是我整理的一張思維導(dǎo)圖,內(nèi)容分成幾大塊,包括了分布式計(jì)算與查詢,分布式調(diào)度與管理,持久化存儲(chǔ),大數(shù)據(jù)常用的編程語(yǔ)言等等內(nèi)容,每個(gè)大類(lèi)下有很多的開(kāi)源工具,這些就是作為大數(shù)據(jù)程序猿又愛(ài)又恨折騰得死去活來(lái)的東西了。

        1

        大數(shù)據(jù)需要的語(yǔ)言 Java

        java可以說(shuō)是大數(shù)據(jù)最基礎(chǔ)的編程語(yǔ)言,據(jù)我這些年的經(jīng)驗(yàn),我接觸的很大一部分的大數(shù)據(jù)開(kāi)發(fā)都是從Jave Web開(kāi)發(fā)轉(zhuǎn)崗過(guò)來(lái)的(當(dāng)然也不是絕對(duì)我甚至見(jiàn)過(guò)產(chǎn)品轉(zhuǎn)崗大數(shù)據(jù)開(kāi)發(fā)的,逆了個(gè)天)。

        一是因?yàn)榇髷?shù)據(jù)的本質(zhì)無(wú)非就是海量數(shù)據(jù)的計(jì)算,查詢與存儲(chǔ),后臺(tái)開(kāi)發(fā)很容易接觸到大數(shù)據(jù)量存取的應(yīng)用場(chǎng)景 二就是java語(yǔ)言本事了,天然的優(yōu)勢(shì),因?yàn)榇髷?shù)據(jù)的組件很多都是用java開(kāi)發(fā)的像HDFS,Yarn,Hbase,MR,Zookeeper等等,想要深入學(xué)習(xí),填上生產(chǎn)環(huán)境中踩到的各種坑,必須得先學(xué)會(huì)java然后去啃源碼。

        說(shuō)到啃源碼順便說(shuō)一句,開(kāi)始的時(shí)候肯定是會(huì)很難,需要對(duì)組件本身和開(kāi)發(fā)語(yǔ)言都有比較深入的理解,熟能生巧慢慢來(lái),等你過(guò)了這個(gè)階段,習(xí)慣了看源碼解決問(wèn)題的時(shí)候你會(huì)發(fā)現(xiàn)源碼真香。

        Scala

        scala和java很相似都是在jvm運(yùn)行的語(yǔ)言,在開(kāi)發(fā)過(guò)程中是可以無(wú)縫互相調(diào)用的。Scala在大數(shù)據(jù)領(lǐng)域的影響力大部分都是來(lái)自社區(qū)中的明星Spark和kafka,這兩個(gè)東西大家應(yīng)該都知道(后面我會(huì)有文章多維度介紹它們),它們的強(qiáng)勢(shì)發(fā)展直接帶動(dòng)了Scala在這個(gè)領(lǐng)域的流行。

        Python和Shell

        shell應(yīng)該不用過(guò)多的介紹非常的常用,屬于程序猿必備的通用技能。python更多的是用在數(shù)據(jù)挖掘領(lǐng)域以及寫(xiě)一些復(fù)雜的且shell難以實(shí)現(xiàn)的日常腳本。

        分布式計(jì)算

        什么是分布式計(jì)算?分布式計(jì)算研究的是如何把一個(gè)需要非常巨大的計(jì)算能力才能解決的問(wèn)題分成許多小的部分,然后把這些部分分配給許多服務(wù)器進(jìn)行處理,最后把這些計(jì)算結(jié)果綜合起來(lái)得到最終的結(jié)果。

        舉個(gè)栗子,就像是組長(zhǎng)把一個(gè)大項(xiàng)目拆分,讓組員每個(gè)人開(kāi)發(fā)一部分,最后將所有人代碼merge,大項(xiàng)目完成。聽(tīng)起來(lái)好像很簡(jiǎn)單,但是真正參與過(guò)大項(xiàng)目開(kāi)發(fā)的人一定知道中間涉及的內(nèi)容可不少。

        比如這個(gè)大項(xiàng)目如何拆分?任務(wù)如何分配?每個(gè)人手頭已有工作怎么辦?每個(gè)人能力不一樣怎么辦?每個(gè)人開(kāi)發(fā)進(jìn)度不一樣怎么辦?開(kāi)發(fā)過(guò)程中組員生病要請(qǐng)長(zhǎng)假他手頭的工作怎么辦?指揮督促大家干活的組長(zhǎng)請(qǐng)假了怎么辦?最后代碼合并過(guò)程出現(xiàn)問(wèn)題怎么辦?項(xiàng)目延期怎么辦?項(xiàng)目最后黃了怎么辦?

        仔細(xì)想想上面的奪命十連問(wèn),其實(shí)每一條都是對(duì)應(yīng)了分布式計(jì)算可能會(huì)出現(xiàn)的問(wèn)題,具體怎么對(duì)應(yīng)大家思考吧我就不多說(shuō)了,其實(shí)已經(jīng)是非常明顯了。也許有人覺(jué)得這些問(wèn)題其實(shí)在多人開(kāi)發(fā)的時(shí)候都不重要不需要特別去考慮怎么辦,但是在分布式計(jì)算系統(tǒng)中不一樣,每一個(gè)都是非常嚴(yán)重并且非?;A(chǔ)的問(wèn)題,需要有很好的解決方案。

        最后提一下,分布式計(jì)算目前流行的工具有:

        離線工具Spark,MapReduce等 實(shí)時(shí)工具Spark Streaming,Storm,F(xiàn)link等

        這幾個(gè)東西的區(qū)別和各自的應(yīng)用場(chǎng)景我們之后再聊。

        分布式存儲(chǔ)

        傳統(tǒng)的網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)采用的是集中的存儲(chǔ)服務(wù)器存放所有數(shù)據(jù),單臺(tái)存儲(chǔ)服務(wù)器的io能力是有限的,這成為了系統(tǒng)性能的瓶頸,同時(shí)服務(wù)器的可靠性和安全性也不能滿足需求,尤其是大規(guī)模的存儲(chǔ)應(yīng)用。

        分布式存儲(chǔ)系統(tǒng),是將數(shù)據(jù)分散存儲(chǔ)在多臺(tái)獨(dú)立的設(shè)備上。采用的是可擴(kuò)展的系統(tǒng)結(jié)構(gòu),利用多臺(tái)存儲(chǔ)服務(wù)器分擔(dān)存儲(chǔ)負(fù)荷,利用位置服務(wù)器定位存儲(chǔ)信息,它不但提高了系統(tǒng)的可靠性、可用性和存取效率,還易于擴(kuò)展。

        2

        上圖是hdfs的存儲(chǔ)架構(gòu)圖,hdfs作為分布式文件系統(tǒng),兼?zhèn)淞丝煽啃院蛿U(kuò)展性,數(shù)據(jù)存儲(chǔ)3份在不同機(jī)器上(兩份存在同一機(jī)架,一份存在其他機(jī)架)保證數(shù)據(jù)不丟失。由NameNode統(tǒng)一管理元數(shù)據(jù),可以任意擴(kuò)展集群。

        主流的分布式數(shù)據(jù)庫(kù)有很多hbase,mongoDB,GreenPlum,redis等等等等,沒(méi)有孰好孰壞之分,只有合不合適,每個(gè)數(shù)據(jù)庫(kù)的應(yīng)用場(chǎng)景都不同,其實(shí)直接比較是沒(méi)有意義的,后續(xù)我也會(huì)有文章一個(gè)個(gè)講解它們的應(yīng)用場(chǎng)景原理架構(gòu)等。

        分布式調(diào)度與管理

        現(xiàn)在人們好像都很熱衷于談"去中心化",也許是區(qū)塊鏈帶起的這個(gè)潮流。但是"中心化"在大數(shù)據(jù)領(lǐng)域還是很重要的,至少目前來(lái)說(shuō)是的。

        分布式的集群管理需要有個(gè)組件去分配調(diào)度資源給各個(gè)節(jié)點(diǎn),這個(gè)東西叫yarn; 需要有個(gè)組件來(lái)解決在分布式環(huán)境下"鎖"的問(wèn)題,這個(gè)東西叫zookeeper; 需要有個(gè)組件來(lái)記錄任務(wù)的依賴關(guān)系并定時(shí)調(diào)度任務(wù),這個(gè)東西叫azkaban。

        當(dāng)然這些“東西”并不是唯一的,其實(shí)都是有很多替代品的,我這里只舉了幾個(gè)比較常用的例子。

        說(shuō)兩句

        回答完這個(gè)問(wèn)題,準(zhǔn)備說(shuō)點(diǎn)其他的。最近想了很久,準(zhǔn)備開(kāi)始寫(xiě)一系列的文章,記錄這些年來(lái)的所得所想,感覺(jué)內(nèi)容比較多不知從哪里開(kāi)始,就畫(huà)了文章開(kāi)頭的思維導(dǎo)圖確定了大的方向,大家都知道大數(shù)據(jù)的主流技術(shù)變化迭代很快,不斷會(huì)有新的東西加入,所以這張圖里內(nèi)容也會(huì)根據(jù)情況不斷添加。細(xì)節(jié)的東西我會(huì)邊寫(xiě)邊定,大家也可以給我一些建議,我會(huì)根據(jù)寫(xiě)的內(nèi)容實(shí)時(shí)更新這張圖以及下面的目錄。

        關(guān)于分組

        上面的大數(shù)據(jù)組件分組其實(shí)是比較糾結(jié)的,特別是作為一個(gè)有強(qiáng)迫癥的程序猿,有些組件好像放在其他組也可以,而且我又不想要分太多的組看起來(lái)會(huì)很亂,所以上面這張圖的分組方式會(huì)稍主觀一些。分組方式肯定不是絕對(duì)的。

        舉個(gè)例子,像kafka這種消息隊(duì)列一般不會(huì)和其它的數(shù)據(jù)庫(kù)或者像HDFS這種文件系統(tǒng)放在一起,但是它們同樣都具備有分布式持久化存儲(chǔ)的功能,所以就把它們放在一塊兒了;還有openTsDB這種時(shí)序數(shù)據(jù)庫(kù),說(shuō)是數(shù)據(jù)庫(kù)實(shí)際上只是基于HBase上的一個(gè)應(yīng)用,我覺(jué)得這個(gè)東西更側(cè)重于查詢和以及用何種方式存儲(chǔ),而不在于存儲(chǔ)本身,所以就主觀地放在了“分布式計(jì)算與查詢”這一類(lèi),還有OLAP的工具也同樣放在了這一組。

        目的

        大家都知道大數(shù)據(jù)的技術(shù)日新月異,作為一個(gè)程序猿想要保持競(jìng)爭(zhēng)力就必須得不斷地學(xué)習(xí)。寫(xiě)這些文章的目的比較簡(jiǎn)單, 一是可以當(dāng)做一個(gè)筆記,梳理知識(shí)點(diǎn);二是希望能幫到一些人了解學(xué)習(xí)大數(shù)據(jù) 。每一篇的篇幅不會(huì)太長(zhǎng),閱讀時(shí)間控制在5到10分鐘。我的公眾號(hào)大叔據(jù),會(huì)同步更新。喜歡看公眾號(hào)文章的同學(xué)可以關(guān)注下,文章的篇幅不會(huì)太長(zhǎng),不會(huì)占用你太多的閱讀時(shí)間,每天花一點(diǎn)時(shí)間學(xué)習(xí),長(zhǎng)期積累總是會(huì)有收獲的。

        河南億恩科技股份有限公司(mszdt.com)始創(chuàng)于2000年,專注服務(wù)器托管租用,是國(guó)家工信部認(rèn)定的綜合電信服務(wù)運(yùn)營(yíng)商。億恩為近五十萬(wàn)的用戶提供服務(wù)器托管、服務(wù)器租用、機(jī)柜租用、云服務(wù)器、網(wǎng)站建設(shè)、網(wǎng)站托管等網(wǎng)絡(luò)基礎(chǔ)服務(wù),另有網(wǎng)總管、名片俠網(wǎng)絡(luò)推廣服務(wù),使得客戶不斷的獲得更大的收益。
        服務(wù)器/云主機(jī) 24小時(shí)售后服務(wù)電話:0371-60135900
        虛擬主機(jī)/智能建站 24小時(shí)售后服務(wù)電話:0371-55621053
        網(wǎng)絡(luò)版權(quán)侵權(quán)舉報(bào)電話:0371-60135995
        服務(wù)熱線:0371-60135900

        標(biāo)簽 大數(shù)據(jù)
        1
        2
        分享到:責(zé)任編輯:會(huì)會(huì)

        相關(guān)推介

        共有:0條評(píng)論網(wǎng)友評(píng)論:

        驗(yàn)證碼 看不清換一張 換一張

        親,還沒(méi)評(píng)論呢!速度搶沙發(fā)吧!