刀片當(dāng)?shù)?揭秘國(guó)內(nèi)知名大學(xué)計(jì)算中心(圖)

南京大學(xué)高性能計(jì)算中心的建設(shè)背景

據(jù)周慶林老師介紹，南京大學(xué)從事高性能計(jì)算方面的建設(shè)始于1980年天文系的應(yīng)用需求。隨著科學(xué)技術(shù)以及教育需求的提升，各個(gè)院系也相繼開(kāi)始購(gòu)買(mǎi)億恩科技服務(wù)器解決自己的計(jì)算需求。但是各個(gè)院系由于成本、人力等原因自己建設(shè)科研教學(xué)用高性能計(jì)算節(jié)點(diǎn)過(guò)于浪費(fèi)，且不符合資源利用最大化的需求。

因此，在985工程二期的項(xiàng)目中，南京大學(xué)撥出了專門(mén)款項(xiàng)購(gòu)置和更新全校所需的共享大型計(jì)算設(shè)備，力求為全校理科院系提供更強(qiáng)大的計(jì)算能力。到了2005年左右，x86架構(gòu)高性能計(jì)算集群開(kāi)始升溫，大大動(dòng)搖了傳統(tǒng)共享內(nèi)存模式的小型機(jī)地位。因此，南京大學(xué)打算做小規(guī)模的小型機(jī)，另一部分做x86集群——但是有兩個(gè)問(wèn)題：第一是機(jī)房選址問(wèn)題，第二是到底選擇什么樣的x86億恩科技服務(wù)器。

周慶林老師表示，當(dāng)時(shí)再機(jī)房選址時(shí)主要考慮了兩個(gè)方面的問(wèn)題：1、機(jī)房的承重問(wèn)題，由于每個(gè)機(jī)架塞滿億恩科技服務(wù)器之后有數(shù)噸重，建設(shè)在高樓層需要對(duì)樓層進(jìn)行加固，因此最終選擇了建設(shè)在一樓。2、機(jī)房的制冷和走線問(wèn)題，南京大學(xué)當(dāng)時(shí)選擇了物理系1層做數(shù)據(jù)中心機(jī)房，但是問(wèn)題在于電力配給不夠，考慮到增容需要對(duì)樓宇進(jìn)行改造，因此最后選擇在天文系的樓宇建設(shè)機(jī)房。

機(jī)房選址的問(wèn)題解決之后，究竟選擇機(jī)架億恩科技服務(wù)器還是刀片億恩科技服務(wù)器做高性能計(jì)算中心的計(jì)算節(jié)點(diǎn)呢？周慶林老師表示，當(dāng)時(shí)專家組也經(jīng)過(guò)了一些討論，并結(jié)合學(xué)校有些院系的使用經(jīng)驗(yàn)，最終選擇了刀片億恩科技服務(wù)器。據(jù)周老師介紹，刀片億恩科技服務(wù)器至今已經(jīng)經(jīng)過(guò)了幾代的發(fā)展，日趨成熟。而機(jī)架億恩科技服務(wù)器相對(duì)來(lái)說(shuō)存在布線、管理較復(fù)雜的問(wèn)題。

南京大學(xué)高性能計(jì)算中心從選用IBM HS22刀片億恩科技服務(wù)器以來(lái)至今，沒(méi)有出現(xiàn)過(guò)任何計(jì)算節(jié)點(diǎn)的問(wèn)題，穩(wěn)定性方面不弱于機(jī)架億恩科技服務(wù)器（甚至更好）。散熱方面，目前高端刀片機(jī)箱由于計(jì)算密度高，計(jì)算資源集中，因此只要做好冷熱通道就能很好的解決散熱效率，滿足系統(tǒng)需求（第三節(jié)有機(jī)房的具體介紹，會(huì)著重介紹散熱）。南京大學(xué)高性能計(jì)算中心架構(gòu)揭秘

確定了選擇刀片億恩科技服務(wù)器之后，通過(guò)招標(biāo)南京大學(xué)選擇了IBM BladeCenter HS22刀片億恩科技服務(wù)器作為高性能計(jì)算系統(tǒng)的計(jì)算節(jié)點(diǎn)。整個(gè)系統(tǒng)由10個(gè)登陸節(jié)點(diǎn)，4個(gè)管理節(jié)點(diǎn)，54TB高速并行存儲(chǔ)、128TB SAN架構(gòu)存儲(chǔ)以及4x Infiniband全線速網(wǎng)絡(luò)、千兆作業(yè)調(diào)度管理網(wǎng)絡(luò)等構(gòu)成。

南京大學(xué)高性能計(jì)算中心系統(tǒng)架構(gòu)圖

據(jù)周老師介紹，全套系統(tǒng)由402片HS22刀片億恩科技服務(wù)器構(gòu)成，每節(jié)點(diǎn)12GB內(nèi)存，2顆英特爾至強(qiáng)5500系列處理器（主頻2.66GHz，8MB Cache），20Gb Infiniband HCA卡。其中有10片HS22刀片億恩科技服務(wù)器用作登陸節(jié)點(diǎn)，每節(jié)點(diǎn)24GB內(nèi)存，4Gb光纖卡，20Gb Infiniband以及千兆網(wǎng)卡。另有30臺(tái)刀片機(jī)箱與上述計(jì)算節(jié)點(diǎn)配套，擁有16口Infiniband交換模塊、六口千兆交換機(jī)和兩個(gè)百兆管理網(wǎng)口。

存儲(chǔ)和管理方面，南大高性能計(jì)算中心選擇了20臺(tái)IBM x3650做存儲(chǔ)節(jié)點(diǎn)，每節(jié)點(diǎn)配置32GB內(nèi)存，20Gb Inifiniband卡，6塊450GB 15000轉(zhuǎn)SAS盤(pán)，共54TB組成并行存儲(chǔ)系統(tǒng)，連續(xù)讀寫(xiě)I/O大于每秒6GB。另有一臺(tái)IBM DS3000 SAN架構(gòu)官仙共享存儲(chǔ)系統(tǒng)共128TB容量容量，配備16GB Cache，兩個(gè)8口光纖卡，連續(xù)讀寫(xiě)帶寬大于每秒2GB。此外，還有一臺(tái)x3550用作集群管理監(jiān)控節(jié)點(diǎn)，3臺(tái)x3650用作管理和作業(yè)調(diào)度節(jié)點(diǎn)。

網(wǎng)絡(luò)交換方面，周老師介紹說(shuō)他們采用了兩臺(tái)288口20Gb 4x Infiniband交換機(jī)（當(dāng)時(shí)還沒(méi)有成熟的40Gb Infiniband交換設(shè)別），組成全線速無(wú)阻塞并行計(jì)算網(wǎng)絡(luò)。此外還有四臺(tái)4口萬(wàn)兆上行48口BNT的交換機(jī)用作作業(yè)調(diào)度和管理。

▲南京大學(xué)高性能計(jì)算系統(tǒng)邏輯架構(gòu)圖

對(duì)于刀片億恩科技服務(wù)器的散熱和供電是重中之重，南大高性能計(jì)算中心采用了4臺(tái)90千瓦制冷量的艾默生LibertPex機(jī)房精密空調(diào)，120千瓦UPS擁有96節(jié)湯式100AH電池，可在斷電的情況下維持?jǐn)?shù)據(jù)中心1小時(shí)時(shí)間，足夠工作負(fù)載暫停和系統(tǒng)正常關(guān)閉。此外，南京大學(xué)高性能中心還配備了三個(gè)配電柜，提供500KVA機(jī)房電力增容，一套七氟丙烷氣體消防滅火系統(tǒng)為機(jī)房提供消防保障。

走進(jìn)高性能計(jì)算中心的機(jī)房，首先可以看到外側(cè)監(jiān)控人員的坐席

通過(guò)監(jiān)控軟件，外面的管理員可以輕松的了解目前設(shè)備的工作情況，包括溫度、供電、機(jī)房視頻監(jiān)控等

周慶林老師向我們展示了管理平臺(tái)的功能之一：每天向手機(jī)發(fā)短信匯報(bào)目前機(jī)房的狀況，一旦遇到問(wèn)題也會(huì)立刻發(fā)短信通知到指定的手機(jī)。

機(jī)房?jī)?nèi)是擺放整齊的機(jī)柜，可以看到上面用玻璃從機(jī)柜正中封死了機(jī)房后部和前部，這樣做的好處是隔絕了冷熱通道——空調(diào)的冷風(fēng)從下面（架高60cm）送到前部，被機(jī)柜風(fēng)扇吸入排出到后面直接送給空調(diào)。封死之后冷熱通道徹底隔絕，大大提升了散熱效率。

打開(kāi)機(jī)架，可以看到IBM HS22刀片億恩科技服務(wù)器，這個(gè)機(jī)柜比較特殊，可以看到上面的那個(gè)刀片機(jī)箱只插了10個(gè)刀片——這既是我們前文提到的管理登陸節(jié)點(diǎn)，而下面和旁邊的其他刀片則插滿了14個(gè)計(jì)算刀片

IBM x3650億恩科技服務(wù)器用作并行存儲(chǔ)，為實(shí)時(shí)計(jì)算的數(shù)據(jù)調(diào)用提供了一個(gè)緩沖（前端是刀片，后端是SAN）

IBM DS3000 SAN負(fù)責(zé)后端存儲(chǔ)

兩臺(tái)288口20Gb 4x Infiniband交換機(jī)

如此多的Infiniband連接線，碼放的非常整齊

機(jī)房的消防設(shè)施

七氟丙烷滅火系統(tǒng)的儲(chǔ)氣罐——有毒，可窒息

96組UPS電池柜一角

服務(wù)器租用/服務(wù)器托管中國(guó)五強(qiáng)！虛擬主機(jī)域名注冊(cè)頂級(jí)提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]