將1500節(jié)點(diǎn)無盤服務(wù)器群發(fā)展成完全虛擬化系統(tǒng)

這位具有22年經(jīng)驗的行業(yè)老手在 2000 年加入 NetApp 之前就曾擔(dān)任過工程師、系統(tǒng)管理員和 IT 經(jīng)理等多個職位。Gregg 在幫助建立了原來的 NetApp 北卡羅來納州分公司后，在該處擔(dān)任了 4 年多的系統(tǒng)工程師，之后又回到 NetApp 工程 IT 團(tuán)隊。

憑借在客戶環(huán)境方面的多年經(jīng)驗，他構(gòu)想并設(shè)計了 Kilo-Client 測試實(shí)驗室。他目前管理一支五人團(tuán)隊，該團(tuán)隊平均支持 12 至 14 個虛擬環(huán)境并管理 1,498 個刀片、7102 個 Fabric 端口及 87 個涵蓋 1038TB 存儲的存儲控制器。

我們最初是想把工程測試實(shí)驗室設(shè)在三角研究園，以滿足 NetApp 內(nèi)部不斷增長需求：能夠針對大型網(wǎng)格或服務(wù)器群測試產(chǎn)品，并快速重現(xiàn)顧客在這種環(huán)境中可能遇到的問題。我們最初計劃使用服務(wù)器刀片，其中每個刀片都是從本地磁盤啟動。但隨著項目進(jìn)展我們開始明白，將啟動映像復(fù)制到上千個本地磁盤所需的時間和管理開銷，會導(dǎo)致配置和管理集群的時間超過運(yùn)行實(shí)際測試。

因此，我們在設(shè)計測試實(shí)驗室時包括了通過 iSCSI 啟動的 1,120 個服務(wù)器刀片。我們給這個實(shí)驗室取名為 Kilo-Client，并相信其在 2005 年啟動時會成為全世界最大的基于 iSCSI 的無盤服務(wù)器群（可能現(xiàn)在還是�。�。后來我們還添加了 98 個帶 iSCSI HBA 的刀片和 280 個能夠通過光纖通道啟動的刀片。查看特定硬件和軟件組件的選項。

結(jié)果：1,500 節(jié)點(diǎn)服務(wù)器群將高度的性能和靈活性融入到僅占 389 平方英尺多一點(diǎn)的空間中。

盡管 Kilo-Client 目前多少仍保持著它在開始時的動機(jī)，但這個實(shí)驗室已經(jīng)發(fā)展到了可與新興技術(shù)媲美的程度。此外，在過去的兩年中，我們掌握了許多有關(guān)操作和維護(hù)大型環(huán)境的知識。本文著重介紹了目前測試實(shí)驗室設(shè)計當(dāng)中客戶和合作伙伴最感興趣的幾個方面，包括：

  快速配置服務(wù)器
配置虛擬環(huán)境
通過 iSCSI、FC 和 NFS 啟動
通過 10 千兆位以太網(wǎng)實(shí)現(xiàn) iSCSI
管理自動化
簡化配置
數(shù)據(jù)中心冷卻

但在深入探究之前，我想讓大家明白 Kilo-Client 僅建立在五、六種不同技術(shù)的基礎(chǔ)之上，其中每種技術(shù)目前都在成百上千個 NetApp 客戶的網(wǎng)站上使用。建立體系結(jié)構(gòu)很大程度上就是將所有這些要素整合到單個基礎(chǔ)設(shè)施中，其中每個要素我都在擔(dān)任 NetApp 系統(tǒng)工程師時接觸過。

簡言之：每一位 NetApp 客戶都可以利用我們測試實(shí)驗室中的一切資源。

快速配置服務(wù)器

我們早期的一個目標(biāo)是快速配置能夠符合特定測試特點(diǎn)的計算網(wǎng)格。這就意味著必須能夠通過任意操作系統(tǒng)/應(yīng)用程序環(huán)境快速啟動服務(wù)器。我們使用 NetApp FlexClone? 技術(shù)解決了此問題，從而能夠快速創(chuàng)建系統(tǒng)映像，而無需對這些映像進(jìn)行完全的物理拷貝。

這樣，就為服務(wù)器群中所需的每個操作系統(tǒng)和應(yīng)用程序堆棧創(chuàng)建一套"黃金"啟動映像（如 iSCSI、光纖通道 SAN LUN）。使用 SnapMirror 和 FlexClone，我們可快速復(fù)制出數(shù)百個克隆（每臺配置用于測試的服務(wù)器一個 FlexClone 克�。�；僅需將特定于主機(jī)的"個性化"添加到每個受配置服務(wù)器的核心映像。這種獨(dú)特方法提供的近乎即時的映像配置幾乎不占任何空間（只需將不同的映像塊添加到存儲系統(tǒng)，由存儲系統(tǒng)來跟蹤各個映像），從而使我們在數(shù)分鐘內(nèi)即可配置并啟動全部或部分近 1500 個刀片。

虛擬環(huán)境

盡管我們的方法非常有效，我們最終發(fā)現(xiàn)僅配置服務(wù)器環(huán)境還不夠。NetApp 工程師需要、并且我們必須能夠做到的就是快速配置完整的虛擬環(huán)境，其中包括計算網(wǎng)格、互連 Fabric 及存儲網(wǎng)格。

這正是我們現(xiàn)在所做的工作。我們可以自動配置幾乎可運(yùn)行所有操作系統(tǒng)（包括 VMware）的計算網(wǎng)格，并通過 vLAN (IP)、vSAN（光纖通道）、NFS 甚至通過 CIFS（我們無法通過 CIFS 啟動，但可以測試 CIFS 功能）將其連接至五個可能的存儲網(wǎng)格中的任意一個。

典型的虛擬環(huán)境（可能包括 100 個服務(wù)器、多個操作系統(tǒng)及五至六個存儲控制器）通常可在一個小時或更短時間內(nèi)就可啟動運(yùn)行。我們創(chuàng)建過的最復(fù)雜的環(huán)境花了近 10 個小時才啟動運(yùn)行，它包括 500 個服務(wù)器、30 個 NetApp FAS 6070、72 個 300GB FC 驅(qū)動器托架（約 500TB）及 Data ONTAP GX 操作系統(tǒng)。

無論何時，我們的實(shí)驗室都在運(yùn)行著 12 到 15 個虛擬環(huán)境，用于從產(chǎn)品和互操作性測試、故障診斷到概念驗證測試的一切任務(wù)。您可以通過中斷服務(wù)器并創(chuàng)建該系統(tǒng)的空間高效的派生克隆（使用 FlexClone）來預(yù)先進(jìn)行測試。

甚至在其它系統(tǒng)上（雖然具有同樣的體系結(jié)構(gòu)），也可以保存或與其他用戶共享任何環(huán)境的測試配置，并在數(shù)月或數(shù)年后重新運(yùn)行。構(gòu)建環(huán)境之后，再也不需要重新構(gòu)建。比如說，我們構(gòu)建了 Red Hat Linux環(huán)境并且團(tuán)隊要求該環(huán)境加載 Oracle 10g。測試完畢后，他們可以創(chuàng)建克隆，并且將來必要時可重新使用該預(yù)配置環(huán)境。

最后一個要強(qiáng)調(diào)的是，您可以在世界各地訪問和管理這些虛擬環(huán)境。在 NetApp 全球六個公司就職的工程師或全球任何位置的 NetApp 系統(tǒng)工程師都可以遠(yuǎn)程規(guī)劃資源并運(yùn)行測試。

最初的 Kilo-Client 設(shè)計允許我們使用硬件啟動端 (iSCSI HBA) 通過 iSCSI 來啟動服務(wù)器刀片。現(xiàn)在我們可使用以下四種方法種的任意一種來啟動服務(wù)器：

使用硬件啟動端（1,218 個刀片）通過 iSCSI 來啟動
使用軟件啟動端（整個環(huán)境）通過 iSCSI來啟動
使用 FC HBA（280 個刀片）通過光纖通道來啟動)
通過 NFS（整個環(huán)境）來啟動

這樣我們就可以測試并比較各種環(huán)境和啟動方法。如果我們并非專門測試啟動方法，則可根據(jù)測試要求來定制方法。比如，如果有人想通過故障注入來執(zhí)行光纖通道測試，我們一般會通過 iSCSI 或 NFS 來啟動正用于進(jìn)行其它測試的服務(wù)器，從而閑置光纖通道以便進(jìn)行測試。

通過 10GBE 實(shí)現(xiàn) iSCSI

不久以前，在 blade.org 贊助的一次活動中有人要求我就 Kilo-Client 的設(shè)計發(fā)表演講。我講完之后，幾乎在場的所有供應(yīng)商都希望把他/她的新技術(shù)出售給我用于 Kilo-Client。某個銷售人員過度熱情，我甚至躲進(jìn)了洗手間！

到家時，我看了一下那些硬塞給我的所有名片，發(fā)現(xiàn)有幾個供應(yīng)商可提供 10 千兆位以太網(wǎng)產(chǎn)品。我給他們一一打了電話，最后我們通過 IBM Blade Center 制作了一個測試套件，連接 NetApp 集群的 NetXen 控制器也配備了 10 千兆位以太網(wǎng)卡。

最后確定了采用端到端 10 千兆位以太網(wǎng)的配置，可使用 iSCSI 進(jìn)行無盤啟動。我們將該配置帶到了新奧爾良的一次活動當(dāng)中，在那里引起了廣泛的關(guān)注，該硬件又相繼在巴黎和新加坡展出（盡管我沒有去）。

到目前為止，我們已完成大部分功能測試，該體系結(jié)構(gòu)讓我們能夠?qū)?10 千兆位以太網(wǎng)與光纖通道以及希望測試的其它產(chǎn)品進(jìn)行大范圍的性能比較。

自動化配置管理

創(chuàng)建 Kilo-Client 時，我們有一些腳本可用來幫助處理配置及相關(guān)事項。由于可以隨意使用，這是薄弱的環(huán)節(jié)�，F(xiàn)在，我們的工作遵循可預(yù)測模式，這包括規(guī)劃'配置'監(jiān)控'根據(jù)負(fù)載調(diào)節(jié)資源'撤消配置'重新規(guī)劃，等等。

我們有一個自動化框架，可以處理所有這些任務(wù)的大約 70%，這是一個很大的進(jìn)步。受困于可擴(kuò)展性問題的客戶對我們的管理方法很感興趣，因為它體現(xiàn)了數(shù)量極為有限的員工可以如何有效地管理動態(tài)、高容量、高要求的環(huán)境。

簡化配置

在 Gartner 的一名分析人員指出 Kilo-Client 是現(xiàn)實(shí)中的一個規(guī)模最大、最好的簡化配置實(shí)例之前，我實(shí)際上從未將"簡化配置"這個術(shù)語與 Kilo-Client 關(guān)聯(lián)起來。他說得對，我們的實(shí)驗室極具空間效益，可提供 1500 倍以上的容量效率，因為克隆映像 (LUN) 僅占用啟動映像更改所需的額外磁盤空間。

比如，我們想使用 Red Hat Linux 啟動所有 1,498 個服務(wù)器。我們的測試實(shí)驗室需要的存儲總量是 7.63TB（假定七個啟動存儲系統(tǒng)每個需要 20GB，每個刀片需要 5GB）。在傳統(tǒng)的服務(wù)器群（甚至采用傳統(tǒng)的無盤啟動）中，每個服務(wù)器足足需要 20GB，這樣我們的存儲總量就需要 30TB。天��！正如我前面所說，配置和管理集群所花的時間比運(yùn)行測試的時間還要多。

針對緊密配置的冷卻設(shè)計

人們經(jīng)常問我一個問題，"您究竟有什么辦法來冷卻這個龐然大物？"其部分原因與我描述的簡化配置的特點(diǎn)有關(guān)：它需要冷卻的熱量遠(yuǎn)不及傳統(tǒng)環(huán)境中的熱量。

固然，將 1,500 個刀片、7102 個 Fabric 端口和 87 個存儲控制器集中到一個區(qū)域，設(shè)備確實(shí)是非常密集。在我們原來的數(shù)據(jù)中心，我們采用的是一種熱通道/冷通道方法。我們在設(shè)備的前面（吸入空氣的地方）添加了額外的冷卻設(shè)備，從而制作了一個冷通道。這使得由前至后形成了 30 度角。

最近我們遷移到了新的數(shù)據(jù)中心，并在新實(shí)驗室中采取了一種不同的方法-建立了一個制冷室。我們購買了全新的地板到天花板式機(jī)柜，并確保由前至后的所有縫隙都已完全密封，從而形成一個空調(diào)系統(tǒng)。

設(shè)備前面的冷氣只能在設(shè)備內(nèi)流動，并且也決不會與設(shè)備后面散出的熱氣混合在一起。冷空氣一側(cè)的氣壓也要稍高一些，以確保氣流僅往一個方向流動。使用此方法，我們在實(shí)驗室中實(shí)現(xiàn)了約 8 千瓦的冷卻效果，而先前的設(shè)計只能達(dá)到 4 千瓦。

有時，一些來訪者會詢問我們是否使用受控電源條帶來給那些未使用的客戶端斷電。實(shí)話說，我們甚至都沒這樣想過，因為從第一天起我們的目標(biāo)就一直是要達(dá)到 100% 的利用率。這些服務(wù)器都受到 100% 的利用，并且會徹夜運(yùn)行自動化測試，因此從來不會關(guān)閉。

摘要

在過去的兩年中，我們掌握了許多有關(guān)管理大型環(huán)境的知識。我們也從客戶和分析人士那里了解到該體系結(jié)構(gòu)影響到了他們考慮技術(shù)和數(shù)據(jù)中心設(shè)計的方式。主要優(yōu)點(diǎn)包括：

  服務(wù)器配置時間大幅縮減
在基礎(chǔ)設(shè)施的快速重新配置方面實(shí)現(xiàn)了極大的靈活性
只需小型團(tuán)隊即可管理基礎(chǔ)設(shè)施
保存并重新使用已經(jīng)配置的環(huán)境

該基礎(chǔ)設(shè)施的最終保證是可擴(kuò)展性強(qiáng)。公司如何在不增加 30% 比率的硬件的情況下實(shí)現(xiàn) 30% 的增長？許多公司都無法繼續(xù)快速地擴(kuò)建數(shù)據(jù)中心來適應(yīng)增長，并且我們現(xiàn)在所使用的技術(shù)類型可能要依掌握時間而定。

服務(wù)器租用/服務(wù)器托管中國五強(qiáng)！虛擬主機(jī)域名注冊頂級提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]