虛擬化技術(shù)應(yīng)用所面臨的七重難關(guān) |
發(fā)布時間: 2012/8/15 18:38:16 |
目前全球高端服務(wù)器市場主要被RISC架構(gòu)的產(chǎn)品占據(jù),約占服務(wù)器市場近40%的份額。但隨著開放式系統(tǒng)應(yīng)用的深入、普通用戶對高端服務(wù)器的需求增加、集群系統(tǒng)的技術(shù)成熟,RISC的地位進一步動搖。主要體現(xiàn)在,新興行業(yè)和競爭激烈的傳統(tǒng)行業(yè)因成本帶來的巨大壓力而產(chǎn)生的對8至16路通用服務(wù)器(此處"通用服務(wù)器"是相對采用RISC架構(gòu)芯片的服務(wù)器而言,即采用x86或安騰架構(gòu)處理器的服務(wù)器。)的需求;高性能集群系統(tǒng)的成功應(yīng)用,導(dǎo)致放棄使用大型機而采用基于集群技術(shù)的通用多路服務(wù)器所形成的市場,尤其對星群的高性能集群的需求的增長。 虛擬化給高端服務(wù)器帶來機會 盡管需求一再攀升,但商用高端服務(wù)器與傳統(tǒng)的高性能計算技術(shù)的代表超級計算機一樣也面臨著困境——計算機的實際計算能力大大低于系統(tǒng)理論的峰值。不僅如此,人們在編制供它們使用的并行程序時的付出也與其產(chǎn)出不成比例。因此,滿足對高效能的需求已成為人們設(shè)計商用高端服務(wù)器的重大挑戰(zhàn)。目前高性能計算機仍沿用馮。諾依曼模型為基礎(chǔ)的以CPU為核心的計算模式。作為這一模式基礎(chǔ)的CPU技術(shù)目前已經(jīng)發(fā)展到了追求線程級并行(TLP)的多核時代,其代表就是片上服務(wù)器(server-on-chip),例如Sun的UltraSPARCT1"Niagara"處理器芯片。但是,問題仍然沒有解決——由于應(yīng)用的復(fù)雜、種類的繁多、規(guī)模的巨大,單一的編譯器或操作系統(tǒng)仍然無法智能地去挖掘蘊藏在其中的全部并行性。 利用虛擬機這一技術(shù)可以在單一服務(wù)器上支持不同的應(yīng)用軟件和操作系統(tǒng),而且還能夠動態(tài)地將資源分配到最需要的地方,可以減少數(shù)據(jù)處理過程中所需的服務(wù)器數(shù)量。有了虛擬機,企業(yè)在每次部署新的操作系統(tǒng)時,就無需遷移現(xiàn)有的應(yīng)用軟件,從而能延長那些雖然已經(jīng)過時,但仍非常重要的應(yīng)用軟件的使用周期。這樣,那些基于WindowsNT的應(yīng)用程序就可以再次煥發(fā)生機。 除此之外,人們發(fā)現(xiàn)利用虛擬技術(shù),也能進一步發(fā)掘應(yīng)用間的時間和空間的并行性。當(dāng)然,虛擬機技術(shù)帶來的隔離性、安全性、靈活性更增添了這一技術(shù)的魅力。中科院計算所目前正在研究的項目的主要內(nèi)容就是圍繞如何利用虛擬機技術(shù)構(gòu)造高端商用服務(wù)器,研究新型的高端服務(wù)器和相關(guān)技術(shù),同時考慮虛擬SMP的入侵防護技術(shù)。除了這些方面,基于虛擬化技術(shù)的商用高端服務(wù)器,在各種環(huán)節(jié)的研發(fā)中還存在諸多技術(shù)挑戰(zhàn)。 虛擬機及其協(xié)同技術(shù) 虛擬機是構(gòu)造虛擬SMP服務(wù)器的基礎(chǔ),它是由虛擬機監(jiān)控(VMM)軟件創(chuàng)建和管理。傳統(tǒng)的VMM例如Xen和VMware面向單一節(jié)點,節(jié)點既可以是單一CPU也可以由SMP構(gòu)成。這時由這些VMM所構(gòu)造的虛擬機(VM)所能夠利用的資源例如CPU、內(nèi)存、磁盤、通信帶寬等就僅限于這個單一的物理節(jié)點。從這個意義上說,虛擬機間的協(xié)同也就等價于傳統(tǒng)服務(wù)節(jié)點或服務(wù)器間的協(xié)同,無法充分利用基于虛擬機技術(shù)創(chuàng)新所帶來的益處。因此,必須突破目前虛擬機構(gòu)造中資源的局限性,使得一個虛擬機不僅能夠從它的宿主物理節(jié)點上取得資源,而且能夠利用網(wǎng)絡(luò)從其他非宿主的物理節(jié)點上獲取資源,從而實現(xiàn)資源在虛擬機間的流動,實現(xiàn)部件級的虛擬化。這里的部件泛指CPU、內(nèi)存、磁盤、網(wǎng)絡(luò)等構(gòu)成傳統(tǒng)計算機的部件。 計算所要研究的分布式超級虛擬機監(jiān)控軟件(distributed hyper virtual machine monitor,DHVMM)是實現(xiàn)部件級虛擬化的關(guān)鍵支撐;贒HVM提供的強大的部件級虛擬化能力,虛擬機間的協(xié)同就轉(zhuǎn)變?yōu)橘Y源和作業(yè)的調(diào)度和遷移。該項目將強調(diào)部件在虛擬機間的流動,當(dāng)一個虛擬機有大量作業(yè)到達或有繁重作業(yè)而出現(xiàn)負載尖鋒時,不采用傳統(tǒng)的方法如作業(yè)/進程的遷移,而是通過DHVMM將網(wǎng)絡(luò)環(huán)境中可利用的其他虛擬機上的空閑部件"流動"到資源緊張的虛擬機上,通過動態(tài)地增強重載虛擬機的計算能力、存儲能力、通信能力來處理其上的作業(yè)。同時,當(dāng)作業(yè)的負載高峰過去后,被動態(tài)增強的虛擬機可以自由、實時地釋放"富余"的部件,供系統(tǒng)中其他虛擬機在需要的時候動態(tài)地獲取,計算所將這種技術(shù)稱為能力服務(wù)計算。 共享內(nèi)存技術(shù) SMP服務(wù)器的核心是內(nèi)存共享技術(shù),例如著名的Snoopy或者directory協(xié)議等。這些技術(shù)通常需要一定程度硬件的支持才能獲得期望的高性能,例如SGIAltix的cc-NUMA內(nèi)存共享技術(shù),因此成本高昂、擴展性差。隨著網(wǎng)絡(luò)技術(shù)特別是Myrinent和Infiniband網(wǎng)絡(luò)技術(shù)的發(fā)展,基于軟件實現(xiàn)的內(nèi)存共享技術(shù),例如分布式共享內(nèi)存DSM技術(shù)由于成本低廉和可擴展性好而開始發(fā)展起來。 計算所研究的這個項目要求實現(xiàn)多個物理服務(wù)器的整合(8個以上),因此更適合于使用不依賴硬件支持的基于軟件的內(nèi)存共享技術(shù),以獲得更好的通用性和平臺獨立性。傳統(tǒng)的DSM技術(shù)不得不使用復(fù)雜的以lock和barrier為基礎(chǔ)實現(xiàn)的融貫性和一致性協(xié)議,導(dǎo)致延遲開銷很大。隨著UPC為代表的分割的全局地址空間模型編程技術(shù)的發(fā)展,為發(fā)展新型的內(nèi)存共享技術(shù)提供了客觀的需求。 另一方面,高效能服務(wù)器設(shè)計中的一個重要問題是提高編程的效率,而阻礙并行編程效率的首要問題就是進程或線程間的通信和同步問題,所以事務(wù)塊寄存器技術(shù)得以發(fā)展,因為它取消了過去在并行程序中必須使用的lock和barrier等同步操作。同時,由于顯式同步的減少或取消使得線程因數(shù)據(jù)依賴或同步依賴導(dǎo)致的進程等待時間大大減少,使系統(tǒng)吞吐率提高,從而使得內(nèi)核負載的飽滿程度得以大幅提升,進一步提高了系統(tǒng)的生產(chǎn)率。該項目計劃將以DHVMM為基礎(chǔ),發(fā)展全新的以軟件實現(xiàn)的內(nèi)存共享技術(shù)。 本文出自:億恩科技【mszdt.com】 服務(wù)器租用/服務(wù)器托管中國五強!虛擬主機域名注冊頂級提供商!15年品質(zhì)保障!--億恩科技[ENKJ.COM] |