《連線》揭秘谷歌網(wǎng)絡架構(gòu)幕后英雄:傳承施樂PARC理念 |
發(fā)布時間: 2012/8/21 15:09:20 |
北京時間8月9日消息,美國知名IT雜志《連線》網(wǎng)絡版周三刊登長篇深度文章,披露了谷歌網(wǎng)絡服務基礎(chǔ)架構(gòu)的幕后負責人及相關(guān)故事,并指出從某種意義上講,谷歌就是施樂PARC研究中心的當代繼承人。
以下為文章全文: 杰夫·迪恩(左)和桑杰伊·格馬瓦特(右) 2007年4月1日的西方愚人節(jié),有關(guān)“惡搞”杰夫·迪恩(Jeff Dean)的真相被披露出來。 在谷歌內(nèi)部某個地方,一個私人網(wǎng)站記錄了有關(guān)迪恩事跡的詳細列表。迪恩是谷歌最早一批員工之一,同時也是谷歌為何能夠比任何其他互聯(lián)網(wǎng)公司處理更多流量的幕后干將。這個私人網(wǎng)站僅針對谷歌員工開放,但鼓勵所有員工在該網(wǎng)站中添加有關(guān)迪恩事跡的信息。許多員工也積極響應。 谷歌員工添加的一條信息這樣寫道:“迪恩曾經(jīng)沒能通過一次杜林(Turing)測試,當時他在不到一秒鐘內(nèi)成功確認了第203號Fibonacci數(shù)字。” 另一條信息這樣寫道:“在每次提交代碼之前,迪恩都會進行相應匯編和運行工作。只是他這樣做的目的,主要是為了檢測一下匯編器和CPU漏洞。” 第三條所添加信息為:“真空中的光速過去曾被認為是每小時35英里左右。于是迪恩花了一個周末時間來優(yōu)化相關(guān)物理性質(zhì)。” 當然,這些信息也算不上是什么事跡,但這些情況皆為不虛。對谷歌而言,愚人節(jié)是個神圣的節(jié)日。與任何其他高質(zhì)量的愚人節(jié)笑話一樣,谷歌的惡作劇也是有其事實依據(jù)。這個私人網(wǎng)站是由一位名為肯頓·瓦爾達(Kenton Varda)的谷歌工程師所組建,在他將該網(wǎng)站鏈接發(fā)給谷歌所有其他員工時,瓦爾達刻意隱瞞了自己的身份。但不久之后,瓦爾達就接到了迪恩發(fā)來的信息,原因是迪恩通過查找隱藏在谷歌服務器當中的數(shù)字腳印,進而了解到該網(wǎng)站的組建者為瓦爾達。 在谷歌內(nèi)部,迪恩可謂備受尊敬。但在整個美國科技產(chǎn)業(yè),知道迪恩的人卻寥寥無幾。只是迪恩不應該被世人遺忘。迪恩是谷歌內(nèi)部一個小型軟件工程師團隊成員之一,該團隊負責谷歌基礎(chǔ)軟件和硬件的開發(fā)工作,正是這些工作致使谷歌在互聯(lián)網(wǎng)產(chǎn)業(yè)領(lǐng)域取得了優(yōu)勢地位,且不斷被后來者模仿。更不用說,還有大量后來者希望取代谷歌的強勢地位。 由此我們不由想起了施樂PARC研究中心的故事。該研究中心曾開發(fā)了PC產(chǎn)業(yè)的多項核心技術(shù),如圖形用戶界面、激光打印機、以太網(wǎng)和面向?qū)ο缶幊痰鹊。只是與PARC不同的是,谷歌不會向競爭對手公開其數(shù)據(jù)中心的最新技術(shù),且諸如迪恩等人又很低調(diào),因此外界對于谷歌給當代計算產(chǎn)業(yè)帶來的基礎(chǔ)性影響了解并不是很多;蛟S可以這樣講:谷歌就是云計算時代的PARC研究中心。 美國華盛頓大學粒子物理學助理教授、科技公司Cloudant首席科學家邁克·米勒(Mike Miller)表示:“在貝爾實驗室、施樂PARC研究中心‘氣數(shù)將盡’之時,谷歌將一大批極有創(chuàng)新能力的人才招致麾下。谷歌挖走的并不僅僅是這些實驗室的研究人員,而且也是這些實驗室的生命力所在。” 谷歌所開發(fā)的這些技術(shù),用戶并不能拿在手中或放在桌面上,它們并不在手機或PC機上運行,而是體現(xiàn)在一條全球范圍內(nèi)的數(shù)據(jù)中心網(wǎng)絡當中。 這些技術(shù)包括影響力很高的軟件平臺,如谷歌文件系統(tǒng)(GFS)、MapReduce和BigTable等,這些技術(shù)能夠支持大量在線應用程序,并將相應處理工作化為非常微小的部分,然后再傳輸?shù)綌?shù)千臺機器當中,就好比螞蟻搬家,各有各的精確任務。此外,這些技術(shù)還包括了新一代服務器、網(wǎng)絡硬件以及用以運行這些技術(shù)的數(shù)據(jù)中心。谷歌的思路是:使所有計算設(shè)備能夠像單一機器那要運行。螞蟻搬家的每只螞蟻分工明確,谷歌數(shù)據(jù)中心也是這種原理。 在硅谷還未從社交網(wǎng)絡、觸摸屏的最新趨勢回過神來之時,谷歌卻在幕后對其技術(shù)進行了重新改造。而不久之后,在其他互聯(lián)網(wǎng)巨頭競相挖掘網(wǎng)絡數(shù)據(jù)之時,他們?nèi)月湓诠雀韬竺。在谷歌對其搜索引擎、GFS和MapReduce技術(shù)進行重新改造后,又催生了Hadoop平臺,該平臺已成為全球最為成功的開源項目之一。BigTable技術(shù)促進了NoSQL運動的發(fā)展,并導致大量網(wǎng)絡數(shù)據(jù)庫的誕生。不僅如此,谷歌對于數(shù)據(jù)中心硬件采取的新方式,也促使Facebook、亞馬遜、微軟及其他科技公司采取類似措施。 可以肯定的是,谷歌能夠取得今天的市場業(yè)績,與該公司大量默默無聞的計算機科學家多年傾力奉獻密不可分。這些科學家曾就職于PARC研究中心、貝爾實驗室及其他研究機構(gòu)。與谷歌一樣,亞馬遜在網(wǎng)絡基礎(chǔ)服務領(lǐng)域也有著重要影響力,如亞馬遜發(fā)布了有關(guān)Dynamo文件系統(tǒng)的學術(shù)資料。只是與亞馬遜相比,谷歌的影響力更為廣泛。 谷歌與施樂PARC研究中心的重大區(qū)別是:谷歌在世人了解到相關(guān)技術(shù)之前,就已經(jīng)從這些技術(shù)中獲取了大量利潤。諸如GFS、MapReduce等工具,使谷歌能夠領(lǐng)先于競爭對手。而現(xiàn)在,谷歌已經(jīng)拋棄了這些工具,并開始使用新一批軟件和硬件。與以往一樣,其他科技公司又只有追趕谷歌的份。 谷歌雙雄 在肯頓·瓦爾達愚人節(jié)惡搞對象中,本來可有多個目標,但迪恩卻成為“最有搞頭”的靶子。瓦爾達回憶道:“他的一舉一動有如仙人。” 另一位惡搞對象就是迪恩的長期同事桑杰伊·格馬瓦特(Sanjay Ghemawa)。2004年期間,谷歌發(fā)表了有關(guān)MapReduce平臺技術(shù)的學術(shù)論文。該論文署上了兩個人的名字,即迪恩和格馬瓦特。在BigTable數(shù)據(jù)庫的設(shè)計過程中,這兩人也扮演了重要角色。格馬瓦特也是谷歌GFS文件系統(tǒng)學術(shù)論文的三名聯(lián)合作者之一。 在瓦爾達看來,迪恩和格馬瓦特兩人的工作很難分開來看,“他們兩人密切合作,而承擔了谷歌基礎(chǔ)架構(gòu)開發(fā)工作的大量事務。在多數(shù)情況下,他們都是聯(lián)手工作,因此很難將兩人的工作截然分開。在谷歌內(nèi)部,所有代碼改變在提交之前,都必須得到其他同事的評估。但就迪恩和格馬瓦特兩人而言,如果其中一人將規(guī)模較大的代碼給對方評估,對方將會立即給出‘LGTM’(“我覺得不錯”的英文首字母縮寫)的評語,原因是他們此前已經(jīng)共同著手代碼改變工作。” 瓦爾達所說并不虛假。多年以來,迪恩和格馬瓦特已養(yǎng)成這樣的習慣:一起坐在同一臺電腦前編寫代碼。多數(shù)情況下,是由格馬瓦特負責輸入工作。迪恩說:“格馬瓦特對所輸入編程代碼的字距很挑剔。” 早在加盟谷歌之前,迪恩與格馬瓦特已經(jīng)認識。在上個世紀90年代期間,他們兩人都在數(shù)字設(shè)備公司(DEC)負責運營的多家硅谷實驗室中工作。當時迪恩工作地點為DEC的Western Research Lab實驗室,而格馬瓦特工作地點與迪恩僅有兩街之隔,即另一個姊妹實驗室“系統(tǒng)研究中心”(Systems Research Center,src)。正是由于這種關(guān)系,兩人當時需要經(jīng)常就一些項目展開合作,且兩人之間的合作關(guān)系非常穩(wěn)固。在DEC工作期間,迪恩和格馬瓦特為Java編程語言編寫了新的匯編器以及用于跟蹤計算機服務器的系統(tǒng)測量儀。 在DEC研究人才大遷移過程中,迪恩和格馬瓦特也來到了谷歌。上個世紀90年代晚期,就在谷歌破土而出之時,DEC卻難以為繼。DEC主要生產(chǎn)體積很大、基于RISC架構(gòu)的服務器產(chǎn)品,而業(yè)界卻迅速轉(zhuǎn)向使用低成本、基于英特爾x86芯片的小體積服務器。1998年,DEC被當時PC廠商康柏收購。而四年之后,康柏又與惠普合并。如此一來,DEC原有研發(fā)人員逐步流向他處。 迪恩說:“DEC被康柏收購后,DEC各技術(shù)實驗室的日子曾經(jīng)一度很難過。當時并不清楚DEC與康柏合并后,DEC實驗室將扮演何種角色。”此時微軟開始在硅谷組建一家研發(fā)中心,于是部分DEC技術(shù)工程師流向微軟。還有部分人員流向虛擬服務器軟件開發(fā)商VMware。其他大量DEC技術(shù)人員則選擇了加盟谷歌。DEC被康柏收購的那一年(1998年),也正是谷歌創(chuàng)立的年份。 1998年前后,也正值大量曾最具影響力的科技實驗室風光不再,其中包括施樂PARC研究中心和貝爾實驗室等等。這些實驗室曾擔負過Unix操作系統(tǒng)、C編程語言等重要技術(shù)的開發(fā)工作。只是眼看著這些實驗室的頂峰期已過,在這些實驗室工作的大量技術(shù)人員開始另謀出路。 加州大學伯克利分校計算機科學教授埃里克·布魯爾(Eric Brewer)表示:“2001年美國網(wǎng)絡經(jīng)濟泡沫破裂后,招聘人才最多的兩家公司分別為谷歌和VMware。由于當時高科技人才市場供求關(guān)系的嚴重不對等,這兩家公司乘機招聘了大量真正有實力的人才。” 與迪恩和格馬瓦特一樣,其他從DEC加盟谷歌的技術(shù)工程師同樣也作出了很大貢獻,其中包括邁克·布洛斯(Mike Burrows)、Shun-Tak Leung以及盧伊茲·安德烈·巴洛索(Luiz Andre Barroso)等。當時,這些技術(shù)人員希望找到一份自己感興趣的工作,而谷歌則希望招聘那些能夠運營自家搜索引擎的人才。如今回頭一看,當時DEC的人才大流動,確實為谷歌取得市場成功提供了基礎(chǔ)條件和潛在機會。 DEC也是首批成功開發(fā)出互聯(lián)網(wǎng)搜索引擎的科技公司之一。如AltaVista便出自DEC旗下的Western實驗室。至少在初期階段,這些搜索引擎僅僅在DEC單獨一臺機器上運行。而谷歌之所以能夠超過AltaVista,大部分原因是谷歌采取了新型手段:將其軟件打碎,并將不同任務分配給大量小型、低成本機器。這其實正是GFS、MapReduce、BigTable以及其他大量技術(shù)創(chuàng)意的出發(fā)點。 如今回顧起來,谷歌這種做法,其實也是網(wǎng)絡技術(shù)開發(fā)的自然演進過程。加州大學伯克利分校計算機科學教授、大規(guī)模計算專家阿馬多·?怂(Armando Fox)表示:“諸如谷歌在組建分布于數(shù)千臺計算機上的數(shù)據(jù)系統(tǒng)過程中,自然會遇到架構(gòu)方面的挑戰(zhàn)。而這些挑戰(zhàn),與組建單一龐大系統(tǒng)所遇到的難題并不存在太大區(qū)別。由于遭遇難題的相似性,谷歌所招聘DEC人才就顯得至關(guān)重要。” “學術(shù)長輩” 迪恩是加盟谷歌的首名DEC技術(shù)工程師。迪恩是追隨其“學術(shù)長輩”烏爾·霍爾澤(Urs Holzle)而來。 霍爾澤是谷歌早期10名員工之一,同時也是谷歌首名技術(shù)開發(fā)副總裁。他曾負責谷歌架構(gòu)的創(chuàng)建工作,該架構(gòu)目前已遍布谷歌位于全球范圍內(nèi)的35個以上數(shù)據(jù)中心(該數(shù)字由外界推測得出)。在加盟谷歌之前,霍爾澤擔任加州大學圣巴巴拉分校教授。在此之前,他曾在斯坦福大學學習,導師為戴維·烏恩加爾(David Ungar),并開發(fā)了如今用于Java編輯語言編輯器中的一些核心技術(shù)。 而迪恩的學術(shù)導師是烏恩加爾同學,正是由于這層關(guān)系,霍爾澤成為迪恩的學術(shù)長輩。1999年期間,由于DEC難以為繼,迪恩跳槽到一家名為MySimon的科技創(chuàng)業(yè)公司。后來他看到霍爾澤已在谷歌工作,于是便給霍爾澤發(fā)了一封電子郵件,并表示希望到谷歌工作。不久迪恩便被曾招聘霍爾澤的人招至谷歌麾下,這個人便是谷歌聯(lián)合創(chuàng)始人拉里·佩奇(Larry Page)。 烏爾·霍爾澤 在加盟谷歌之初,迪恩被指定負責谷歌搜索引擎廣告系統(tǒng)的開發(fā)工作。但數(shù)月之后,他進入到谷歌核心搜索技術(shù)開發(fā)團隊。當時由于互聯(lián)網(wǎng)流量的迅速增長,谷歌搜索技術(shù)也需要加以相應調(diào)整。隨后格馬瓦特也加盟到迪恩的團隊。格馬瓦特之所以能夠加盟谷歌,主要是受原DEC同事迪恩、克里斯那·巴拉特(Krishna Bharat)及蒙尼卡·亨澤格(Monika Henzinger)等人的推薦,因為這些前同事已經(jīng)加盟谷歌。 格馬瓦特說:“公允地講,如果當時不是迪恩已經(jīng)在谷歌工作,我可能根本沒有機會被谷歌招聘。”迪恩與格馬瓦特在谷歌會合后,兩人很快又恢復了以前的工作合作關(guān)系。在隨后的三、四年中,雖然谷歌核心技術(shù)開發(fā)團隊的人員處于不斷變動之中,但迪恩與格馬瓦特兩人同這些人員密切合作,并設(shè)計、組建和修訂了谷歌的網(wǎng)絡數(shù)據(jù)抓取技術(shù)。正是借助這些后臺技術(shù),谷歌才能向全球網(wǎng)民返回他們希望查找的搜索結(jié)果。 迪恩表示,自己與格馬瓦特的合作關(guān)系很有效,原因就是兩人能夠?qū)崿F(xiàn)性格互補:格馬瓦特行事作風更為冷靜。迪恩說:“我這個人容易急燥,腦子會飛快地想出所有方案,腦子和手都忙個不停。而格馬瓦特雖然也會激動,但會更冷靜一些。他能糾正我的偏差,然后兩人向正確的方向發(fā)展。” 格馬瓦特卻表示,迪恩的工作方式同樣也非常重要,他能促進技術(shù)開發(fā)工作向前推進。格馬瓦特說:“我經(jīng)常中途停了下來,并思考多種可行方案,同時擔憂現(xiàn)有方案的不成熟性。而此時就需要有人出來加以鼓勵,并使我們向著目標進發(fā)。” 在創(chuàng)建GFS文件系統(tǒng)和MapReduce技術(shù)后,迪恩和格馬瓦特的工作取得了重大突破。過去十年中,這些平臺和技術(shù)已被用于谷歌的數(shù)據(jù)中心當中,并能夠向谷歌搜索業(yè)務提供規(guī)模更為龐大的數(shù)據(jù)索引。當谷歌抓取全球各地的網(wǎng)頁時,就能通過使用GFS技術(shù)的數(shù)千臺服務器傳送這些數(shù)據(jù)。而通過MapReduce技術(shù),這些服務器又能將這些數(shù)據(jù)轉(zhuǎn)化成數(shù)量單一、可進行搜索的索引。 而這些技術(shù)的迷人之處,就在于某臺機器無法正常工作或網(wǎng)絡變慢時,這些平臺并不會停止工作。如果你每天像谷歌那樣負責數(shù)萬臺服務器的運行,就會發(fā)現(xiàn)機器“罷工”現(xiàn)象可謂家常便飯。而利用GFS和MapReduce技術(shù),谷歌就能夠在多臺機器上復制數(shù)據(jù)。如果其中一臺機器工作不正常,另一臺機器就能馬上頂替進來。 迪恩說在談及MapReduce技術(shù)時這樣說道:“由于數(shù)據(jù)索引的工作量非常龐大,導致應對機器故障或數(shù)據(jù)延遲的工作異常復雜。因此我們開始尋求一種在一系列機器中可自動平行代替的解決方案。該方案既可提高任務處理的質(zhì)量和規(guī)模,也能使長期工作的多臺計算機穩(wěn)定運行。”迪恩還表示,谷歌將這些工具應用到搜索引擎業(yè)務當中之后,還發(fā)現(xiàn)這些工具也能給其他網(wǎng)絡服務提供有益幫助。 BigTable技術(shù)也發(fā)揮出重要功能。與MapReduce一樣,BigTable是在GFS文件系統(tǒng)層面之上運行,但卻并不負責數(shù)據(jù)處理工作,而是像一個大型數(shù)據(jù)庫那樣運行。迪恩說:“BigTable能夠管理大量數(shù)據(jù),并將這些數(shù)據(jù)傳送到其他機器當中,這些機器的數(shù)量可以是無限多。”雖然BigTable不會像傳統(tǒng)數(shù)據(jù)中心那樣對所傳輸數(shù)據(jù)加以精確控制,但卻能處理海量數(shù)據(jù),而傳統(tǒng)意義上的大型機卻無法勝任這一任務。 諸如此類的故事還一再上演。隨著谷歌業(yè)務規(guī)模的不斷擴大,該公司需要處理的數(shù)據(jù)也越來越多。這就迫使谷歌需要開發(fā)出新型軟件。 美國云計算服務提供商Joyent首席技術(shù)官(CTO)詹森·霍夫曼(Jason Hoffman)表示:“如果你希望復制整個互聯(lián)網(wǎng)并為其建立起數(shù)據(jù)索引,且復制規(guī)模與真實互聯(lián)網(wǎng)的規(guī)模相一致,那么你該怎么辦?其中難度可想而知。制錘還需打鐵人,壓力也能轉(zhuǎn)化成動力。如果你能面對失敗,就能獲得技術(shù)靈感。” 盧伊茲·巴洛索 數(shù)據(jù)中心帝國 繼迪恩和格馬瓦特之后,巴洛索也來到谷歌。但巴洛索差點未能成行。 巴洛索曾與迪恩在DEC的Western實驗室共事。2011年期間,巴洛索同時獲得了谷歌和VMware的加盟請求。巴洛索曾到谷歌和VMware兩家公司面試和參觀。為作出選擇,巴洛索在一張電子數(shù)據(jù)表上分別列出加盟谷歌或VMware的理由。只是結(jié)果同樣讓他很為難:加盟谷歌的理由有122條,而加盟VMware的理由也是122條。 于是巴洛索便同迪恩討論此事。迪恩則問道,在巴洛索電子數(shù)據(jù)表所列出的加盟理由中,是否寫上了他參觀谷歌那天,還獲得了執(zhí)行主管查理·艾耶斯(Charlie Ayers)提供的法式焦糖布丁(Creme brulee)?迪恩回憶道:“巴洛索最喜歡吃這種焦糖布丁,我跟巴洛索提起這件事時,他一拍腦門說,自己還真給忘了。”于是巴洛索第二天早上就接受了谷歌的加盟請求。 而巴洛索之所以不同尋常,原因就是從嚴格意義上講,他并不是一名軟件工程師。在DEC工作期間,他曾協(xié)助多核處理器的技術(shù)開發(fā)。巴洛索加盟谷歌軟件開發(fā)團隊不久,霍爾澤給他安排了一項新工作:對谷歌硬件架構(gòu)進行調(diào)整,此事不但涉及服務器和其他設(shè)備,而且也包括數(shù)據(jù)中心的硬件設(shè)備。巴洛索說:“當時在谷歌的技術(shù)開發(fā)人員中,也就算我同硬件打過一點交道。” 霍爾澤、巴洛索和谷歌的“平臺團隊”開始思考如何改變公司的服務器架構(gòu)。2003年期間,為壓縮成本,谷歌不再從戴爾和惠普等公司處購買常規(guī)服務器,而改為自行設(shè)計服務器,然后向交由亞洲硬件廠商代工,而這些廠商同時也是戴爾和惠普服務器的代工商。總而言之,谷歌繞開了戴爾和惠普這兩個產(chǎn)品銷售中間人。 與其他服務器不同,谷歌自行設(shè)計服務器當中包括了12伏電池,以防數(shù)據(jù)中心服務器失去外部主要電源時,這些電池還能與其他電源連接。谷歌稱,這種處理方式,比常規(guī)數(shù)據(jù)中心的不間斷電源設(shè)備(UPS)更有效率。 隨后谷歌技術(shù)開發(fā)團隊便考慮如何放置這些服務器。曾經(jīng)有那么一段時間,谷歌僅僅是從其他公司處租賃數(shù)據(jù)中心所需空間。但巴洛索及其團隊卻開始從無到有設(shè)計和組建谷歌自家數(shù)據(jù)中心,并希望通過此種方式,不但能夠節(jié)省資金和電力,而且還能提高谷歌其他網(wǎng)絡服務的整體性能。 于是谷歌開始在美國俄勒岡州達爾斯等農(nóng)村地區(qū)部署新設(shè)備,部分原因是這些地區(qū)的電力收費標準較低,且有的地區(qū)還提供稅收優(yōu)惠。但谷歌這樣做的主要目的,還是希望使所有數(shù)據(jù)中心能夠像一臺單一大型機那樣運行。巴洛索和霍爾澤將這種方式稱為“倉庫規(guī)模的計算”。 洛索和霍爾澤在2009年發(fā)表的《作為計算機的數(shù)據(jù)中心》一書中寫道:“在這些設(shè)施中,大部分的硬件和軟件資源必須共同協(xié)作,從而提供高標準的互聯(lián)網(wǎng)服務,而只有整體性的設(shè)計和部署方案才能實現(xiàn)此目的。換句話說,我們必須將數(shù)據(jù)中心本身視為一種大規(guī)模的倉庫式計算。” 谷歌技術(shù)團隊對數(shù)據(jù)中心采取了新的組建方案,他們將服務器、網(wǎng)絡設(shè)備及其他硬件打包到一起,然后放入火車或輪船經(jīng)常使用的集裝箱當中。通過這些“模塊”,就能實現(xiàn)數(shù)據(jù)中心的規(guī)模化組建。這樣做的目的是使每個模塊發(fā)揮出最大功能。事實上,集裝箱模塊思路來自佩奇。2003年期間,他曾看到Internet Achieve公司在一份演示稿給出了類似方案并因此獲得靈感。但巴洛索已記不清該創(chuàng)意究竟是來自何人,“反正該創(chuàng)意不是由我提出。” 谷歌達爾斯數(shù)據(jù)中心于2005年正式上線服役。隨后數(shù)年中,經(jīng)常有媒體報道谷歌擁有數(shù)據(jù)中心模塊及定制化服務器,但其中詳情一直到2009年才被揭曉。2009年,谷歌在硅谷總部舉行了一次小型會議,并披露了其數(shù)據(jù)中心的解決方案。在數(shù)據(jù)中心組建事宜上,谷歌并不僅僅滿足于技術(shù)創(chuàng)新,而是首先默默工作,等到其性能穩(wěn)定后再與外界分享相應方案。 泰斯拉效應 《連線》記者史蒂芬·列維(Steven Levy)在其《谷歌:In The Plex》一書中披露,佩奇本人是發(fā)明家尼古拉·泰斯拉(Nikola Tesla)的“粉絲”。佩奇認為,泰斯拉作為發(fā)明家的歷史地位可與愛迪生并列,但缺點是無法將自己的發(fā)明轉(zhuǎn)化為盈利,且不能保持自己技術(shù)發(fā)明能夠長期被外界認可。 有關(guān)泰斯拉給人以警示意義的傳奇故事,無疑也在一定程度上影響了谷歌對待其核心技術(shù)的態(tài)度。谷歌將這些技術(shù)視為商業(yè)機密。與蘋果一樣,谷歌非常重視核心技術(shù)的保密工作。然而在不少情況下,一些技術(shù)在谷歌內(nèi)部使用數(shù)年后,谷歌又會開放相關(guān)技術(shù)。霍爾澤說:“我們希望能夠在不失去自身競爭力前提下,盡可能向外部開放一些技術(shù)。我們會與外界就某些創(chuàng)意進行交流,但不會提供具體實施方案。” 2003年到2004年期間,谷歌發(fā)表了有關(guān)GFS文件系統(tǒng)和MapReduce技術(shù)的論文。谷歌讓這些論文自己來說話。不久以后,一位名為道格·卡廷(Doug Cutting)的開發(fā)者利用這些論文資料,而組建了一種名為“Nutch”的索引系統(tǒng),該系統(tǒng)可用于開源搜索引擎?ㄍ⒑髞砑用斯雀柚饕偁帉κ盅呕⒑螅擁椖坑直恍薷某蔀“Hadoop”。 隨著互聯(lián)網(wǎng)服務器處理數(shù)據(jù)規(guī)模的增長,Hadoop技術(shù)此前已被大量網(wǎng)絡服務巨頭所使用,其中包括Facebook、Twitter和微軟等,目前又在向其他商業(yè)用戶拓展。美國市場研究公司IDC此前發(fā)布預測報告稱,到2016年時,Hadoop項目所引發(fā)的軟件市場規(guī)模將高達8.13億美元。 而BigTable技術(shù)又在重復這一舉動。2006年期間,谷歌發(fā)表了有關(guān)其數(shù)據(jù)庫技術(shù)的論文,而亞馬遜也公布了Dynamo數(shù)據(jù)存儲技術(shù)的相關(guān)資料。這些舉措引發(fā)了NoSQL運動,目的是借此組建規(guī)模達數(shù)千臺機器的數(shù)據(jù)庫。 Joyent的霍夫曼表示:“如果你仔細研究一下每一種NoSQL解決方案,其實任何一種都將回溯到亞馬遜Dynamo或谷歌BigTable論文資料。如果谷歌或亞馬遜不公布這些學術(shù)論文,情況將會怎樣?” 谷歌的硬件運營情況則稍有不同。對于谷歌數(shù)據(jù)中心所使用的硬件設(shè)備詳細情況,我們還知之甚少。但谷歌的這些硬件舉措,無疑已經(jīng)被其他科技及其他產(chǎn)業(yè)所效仿。在亞洲硬件代工商的幫助下,F(xiàn)acebook也在設(shè)計自家服務器、服務器架臺和存儲器等硬件設(shè)備。知情人士透露,亞馬遜和微軟也在這樣做。而隨著Facebook以開源計算基金會的名義對其設(shè)計采取“開源”措施,其他公司也紛紛加入到自行設(shè)計硬件的行列。 更為重要的是,模塊數(shù)據(jù)中心已成為網(wǎng)絡服務的主流,如微軟、eBay及其他數(shù)不清的科技公司都在使用此類模塊。微軟數(shù)據(jù)中心業(yè)務前主管邁克·曼諾斯(Mike Manos)曾表示,數(shù)據(jù)中心模塊的創(chuàng)意并非來自谷歌,類似模塊創(chuàng)意在上個世紀60年代就已經(jīng)提出。但無論如何,谷歌是將該模塊付諸實踐的首家公司。就像Cloudant的米勒指出的那樣,谷歌GFS文件系統(tǒng)和MapReduce技術(shù)也是從以往技術(shù)中獲得靈感,但谷歌卻能利用以往創(chuàng)意來解決新問題。 曾為DEC系統(tǒng)研究中心實驗室的辦公樓,目前已歸亞馬遜所有 方興未艾 頗具諷刺意義的是,谷歌此前已采取相應措施來取代上述基礎(chǔ)技術(shù)。過去數(shù)年中,谷歌放棄了GFS文件系統(tǒng),而代之以名為“Colossus”的新平臺。在搜索引擎算法事宜上,谷歌已使用了名為“Caffeine”的新系統(tǒng)。該系統(tǒng)包含了MapReduce的一些技術(shù)成份,但運營方式有很大不同,并能實現(xiàn)實時索引,而不是從抓取數(shù)據(jù)中重新建立索引。 谷歌達爾斯數(shù)據(jù)中心或許將繼續(xù)使用,但估計該中心不會安裝谷歌的最新硬件設(shè)備。對于谷歌數(shù)據(jù)中心所使用的最新硬件,我們了解還不多。但考慮到谷歌一直致力于硬件設(shè)計創(chuàng)新的歷史,我們有理由相信,谷歌在其他數(shù)據(jù)中心仍在測試最新款硬件。 近年以來,谷歌發(fā)表了有關(guān)Caffeine及其他兩個軟件平臺的學術(shù)論文。這兩個平臺分別為Pregel和Dremel,前者涉及“圖譜”數(shù)據(jù)庫技術(shù),即能分析兩種數(shù)據(jù)之間的關(guān)系;而Dremel則能分析和處理數(shù)據(jù)。此前已有大量基于Pregel技術(shù)的開源項目誕生,至少已出現(xiàn)一個源于Dremel技術(shù)的項目。Cloudant的米勒表示,Caffein論文資料公布后,已開始對Hadoop和NoSQL市場帶來影響。 前述各種技術(shù),只是谷歌曾投入使用技術(shù)的小部分?梢钥隙ǖ氖,谷歌尚有大量技術(shù)并未被外界所了解。但無論谷歌正在使用何種新技術(shù),該公司肯定不久后又會加以更新。去年5月,加州大學伯克利分校教授布魯爾宣布,他將加盟正在開發(fā)“下一代架構(gòu)”的谷歌技術(shù)團隊。布魯爾當時說道:“云計算產(chǎn)業(yè)尚處于初期發(fā)展階段,因此還有很大改進提高的空間。” 分布式計算專家布魯爾加盟谷歌,也從一個側(cè)面證實,谷歌就是施樂PARC研究中心的當代繼承者。只是谷歌在PARC理念基礎(chǔ)上邁出了更遠步伐。 從谷歌的研發(fā)運營管理模式中,你總能夠看到DEC的痕跡,而DEC又要回溯到PARC研究中心的早期階段。DEC的系統(tǒng)研究中心(src)實驗室由羅伯特·泰勒(Robert Taylor)創(chuàng)建,正是他曾在PARC創(chuàng)建了計算機科學實驗室。 泰勒之所以要創(chuàng)建src實驗室,原因是在80年代初,泰勒認為PARC已迷失了方向。泰勒說:“我在PARC的大量同事已對該研究中心不再抱任何希望,因此他們就到了我這兒。”他以PARC計算機科學研究室為原型,而創(chuàng)建了src實驗室。從某種程度上講,泰勒這一舉措也取得了成功。 但與大量其他企業(yè)所運營的研究機構(gòu)一樣,src實驗室也有其弱點。該實驗室的最新技術(shù)研發(fā)成果,需要很長時間才能轉(zhuǎn)化為投放市場的產(chǎn)品。這種情況也適用于DEC旗下的Western實驗室。正是這種原因,最終迫使曾在Western實驗室工作的迪恩加盟谷歌。迪恩說:“技術(shù)與真實用戶的分離,也是我最終考慮加盟一家科技創(chuàng)業(yè)公司的原因。” 只是谷歌并不是尋常意義上的科技創(chuàng)業(yè)公司。谷歌所制定的管理措施,能夠使該公司在完成技術(shù)開發(fā)后迅速投入使用。谷歌既可說是研究型機構(gòu),也可以說并非如此。格馬瓦特說:“谷歌架構(gòu)工作并不是當成研究項目,這些工作讓我們能夠解決產(chǎn)品中遇到的問題。” 對某些谷歌員工而言,谷歌核心架構(gòu)技術(shù)開發(fā)工作的缺點是:你不得告訴任何人你正從事的工作。這也是谷歌工程師阿米爾·邁克爾(Amir Michael)選擇從谷歌離職并加盟Facebook的原因之一。盡管如此,谷歌有時也允許這些員工發(fā)表自己的研究成果甚至公開討論相關(guān)問題。 對谷歌而言,這無疑是一種平衡手段。雖然仍有不少人對這種方式頗有微辭,但不能不說該手段很有效。不可否認的是,谷歌的這些方式已推動了整個互聯(lián)網(wǎng)產(chǎn)業(yè)向前發(fā)展,而施樂PARC研究中心從未有過這樣的佳績。 本文出自:億恩科技【mszdt.com】 |