Platform助上海超實(shí)現(xiàn)負(fù)載均衡和高效集群

　　上海超級計算中心（SSC）由上海市政府投資建設(shè)，累計總投資規(guī)模5億元人民幣以上，坐落于上海市張江高科技園區(qū)。多年來，上海超級計算中心立足上海，面向全國，為來自工程科研院所和多所知名大學(xué)的超過350家用戶，提供了隨需應(yīng)變的高性能計算資源、技術(shù)支持以及高級技術(shù)咨詢服務(wù)，支持了一大批國家和地方政府的重大科學(xué)研究、工程和企業(yè)新產(chǎn)品研發(fā)，在汽車、航空、鋼鐵、核能、市政工程、新材料、生物制藥、天文、物理、化學(xué)等多個領(lǐng)域取得了大批重大成果。

　　挑戰(zhàn)：數(shù)百萬億次計算規(guī)模 作業(yè)調(diào)度系統(tǒng)面臨挑戰(zhàn)

　　上海超算中心目前擁有曙光4000A（2004年世界排名第十）和"魔方"（曙光5000A，2008年世界排名第十、亞洲第一）等多臺超級計算機(jī)，同時配備豐富的科學(xué)計算和工程計算軟件。

　　上海超算中心主機(jī)系統(tǒng)分三期工程進(jìn)行建設(shè)，其中，二期工程部署了曙光4000A超級計算機(jī)系統(tǒng)，共有512個計算節(jié)點(diǎn)，每個節(jié)點(diǎn)4個CPU，于2004年底投入運(yùn)行。三期工程部署了魔方（曙光5000A）超級計算機(jī)，于2009年6月投入運(yùn)行，共有1500多臺計算節(jié)點(diǎn)，2.5萬多個核。在魔方（曙光5000A）上運(yùn)行超過了40種以上的各類商用應(yīng)用軟件和上百種的科學(xué)研究程序。

　　上海超算中心高性能計算集群系統(tǒng)三期主機(jī)的處理能力為二期主機(jī)的20倍，CPU個數(shù)為二期主機(jī)的10倍以上，系統(tǒng)每天運(yùn)行的作業(yè)數(shù)、訪問用戶數(shù)及作業(yè)類型等也成比例增長，因此系統(tǒng)運(yùn)行的復(fù)雜度呈成倍增長態(tài)勢，這對主機(jī)系統(tǒng)管理和運(yùn)行的核心軟件--作業(yè)調(diào)度系統(tǒng)提出了更高、更嚴(yán)的要求。

　　同時，上海超算中心高性能計算集群平臺的應(yīng)用環(huán)境非常復(fù)雜，其應(yīng)用領(lǐng)域遍及基礎(chǔ)科學(xué)研究（包括計算化學(xué)、高能物理、地球物理、天體物理、 新材料研究、生物醫(yī)藥、基因研究、人工智能等）；社會公益事業(yè)（包括數(shù)值氣象預(yù)報、環(huán)境保護(hù)、地震預(yù)報）；工業(yè)與工程計算（包括航空航天、船舶和海洋工程、汽車設(shè)計、地質(zhì)勘探、建筑工程、核電工程、電子與通訊、裝備制造）；數(shù)據(jù)處理（包括金融、政務(wù)、商務(wù)、證券、交通）等多個領(lǐng)域，這就要求高性能計算集群平臺的作業(yè)調(diào)度系統(tǒng)必須能對各個應(yīng)用軟件具有非常良好的支持，不僅能支持各種工程計算應(yīng)用，還能支持各種各樣基礎(chǔ)科學(xué)研究。這意味著作業(yè)調(diào)度系統(tǒng)要與各個商業(yè)應(yīng)用軟件具有良好的接口和后臺支撐，同時還必須支持各種開源軟件，確保各種應(yīng)用軟件在集群環(huán)境下的穩(wěn)定應(yīng)用。

　　解決方案：Platform LSF挺身而出 難題不再

　　自上海超算中心二期工程實(shí)施以來，Platform就積極參與到高性能計算集群系統(tǒng)建設(shè)中來，為上海超算中心的高性能計算集群系統(tǒng)的正常運(yùn)作提供強(qiáng)有力的支持。

　　Platform為上海超算中心高性能計算集群系統(tǒng)三期工程提供的Platform 作業(yè)調(diào)度系統(tǒng)（Platform LSF HPC）解決方案拓?fù)鋱D如下圖所示。在訪問網(wǎng)絡(luò)層，提供用戶使用高性能平臺的通道，通過登錄節(jié)點(diǎn)作為統(tǒng)一接口訪問高性能服務(wù)，同時，將用戶與高性能后臺系統(tǒng)隔離，提高安全性和可管理性。在管理網(wǎng)絡(luò)層，提供對高性能平臺進(jìn)行部署、監(jiān)控、調(diào)度和管理通信平臺，保證系統(tǒng)可控性和可管理性。在計算網(wǎng)絡(luò)層，提供高性能應(yīng)用、并行計算應(yīng)用之間數(shù)據(jù)通信，減少延遲和增大帶寬，保證高性能計算應(yīng)用的高效率和高質(zhì)量。在存儲網(wǎng)絡(luò)層，提供存儲服務(wù)器與存儲設(shè)備高IO吞吐和高流量通訊訪問，保證系統(tǒng)對存儲利用的高并發(fā)和大吞吐。當(dāng)然，其他節(jié)點(diǎn)對存儲訪問不僅依賴存儲網(wǎng)絡(luò)，同時還將依賴IO服務(wù)器與其他服務(wù)器之間的管理網(wǎng)絡(luò)或計算網(wǎng)絡(luò)（取決于IO服務(wù)器使用管理網(wǎng)絡(luò)還是計算網(wǎng)絡(luò)提供IO服務(wù)）。

　　Platform作業(yè)調(diào)度系統(tǒng)（Platform LSF HPC）的核心是Platform LSF。LSF是業(yè)界領(lǐng)先的最為廣泛使用的分布式批處理中間件，它可以用于提供PaaS服務(wù)， 并支持網(wǎng)格化SaaS。在電子設(shè)計、航空航天、汽車、生命科學(xué)、政府、教育、科研、石油等各個領(lǐng)域獲得了廣泛應(yīng)用，包括德州儀器（TI）、AMD、通用汽車、戴姆勒克萊斯勒、波音、聯(lián)合技術(shù)等著名公司均采用LSF對其高性能計算平臺進(jìn)行管理和調(diào)度。

　　LSF在可靠性、響應(yīng)時間、可操作性、可維護(hù)性等方面有較大的優(yōu)勢，表現(xiàn)在：

　　高可靠性。隨著機(jī)群系統(tǒng)的逐步擴(kuò)大，依賴于機(jī)群系統(tǒng)的人越來越多，機(jī)群系統(tǒng)的故障將導(dǎo)致數(shù)百、乃至數(shù)千分布世界各地的員工工作受到影響，甚至直接影響到產(chǎn)品的測試、驗(yàn)證乃至發(fā)布。LSF具有高可靠性，其機(jī)群系統(tǒng)的平均無故障時間大于99.95%，即一個季度，停機(jī)時間小于一個小時。LSF的高可靠性已經(jīng)在TI，AMD，NVIDIA等超大規(guī)模機(jī)群的運(yùn)營中得到證明。

　　100%可信賴的作業(yè)調(diào)度和管理。LSF提供的透明遠(yuǎn)程執(zhí)行機(jī)制以及通過JobStarter提供的作業(yè)運(yùn)行環(huán)境自適應(yīng)機(jī)制可以確保作業(yè)調(diào)度和運(yùn)行的正確性。TI、 AMD、NVIDIA、GM等作業(yè)調(diào)度系統(tǒng)運(yùn)營表明，在不考慮用戶因素和操作系統(tǒng)等其它因素的情況下，其作業(yè)調(diào)度系統(tǒng)確保作業(yè)運(yùn)行的正確性為99.99%以上。

　　高可擴(kuò)展性。Platform LSF單一機(jī)群管理的CPU數(shù)已經(jīng)向10，000 ~ 20，000等更多CPU方向展。目前在TI， AMD， NVIDIA等企業(yè)單個機(jī)群最大CPU數(shù)均超過計10000個，節(jié)點(diǎn)數(shù)在4、5000臺以上。

　　良好的可操作性，支持在線修改。Platform LSF支持在線修改，支持系統(tǒng)管理員根據(jù)用戶需求的變化，動態(tài)地修改系統(tǒng)配置，不影響作業(yè)的運(yùn)行和用戶的使用。

服務(wù)器租用/服務(wù)器托管中國五強(qiáng)！虛擬主機(jī)域名注冊頂級提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]