數(shù)據(jù)中心建設(shè)方案（二）

　　根據(jù)以上新一代數(shù)據(jù)中心網(wǎng)絡(luò)的技術(shù)要求，必須對傳統(tǒng)數(shù)據(jù)中心所使用的常規(guī)以太網(wǎng)技術(shù)進(jìn)行革新，數(shù)據(jù)中心級以太網(wǎng)(Data Center Ethernet，簡稱DCE)技術(shù)由此誕生。

　　DCE之前也被一些廠商稱為匯聚型增強(qiáng)以太網(wǎng)技術(shù)(Converged Enhanced Ethernet，簡稱CEE)，是兼容傳統(tǒng)以太網(wǎng)協(xié)議并按新一代數(shù)據(jù)中心的傳輸要求，對其進(jìn)行全面革新的一系列標(biāo)準(zhǔn)和技術(shù)的總稱。因此，為達(dá)到的新一代數(shù)據(jù)中心的建設(shè)目標(biāo)，必須摒棄傳統(tǒng)以太網(wǎng)技術(shù)，而采用新一代的DCE(CEE)技術(shù)進(jìn)行組網(wǎng)。

　　具體而言，本次數(shù)據(jù)中心所采用的DCE技術(shù)，可以達(dá)到以下的技術(shù)目標(biāo)。

　　1.1 整合能力

　　1.1.1 一體化交換技術(shù)

　　DCE技術(shù)的重要目標(biāo)是實(shí)現(xiàn)傳統(tǒng)數(shù)據(jù)中心最大程度的資源整合，從而實(shí)現(xiàn)面向服務(wù)的數(shù)據(jù)中心SODC的最終目標(biāo)。在傳統(tǒng)數(shù)據(jù)中心中存在三種網(wǎng)絡(luò)：使用光纖存儲交換機(jī)的存儲交換網(wǎng)絡(luò)(Fiber Channel SAN)，便于實(shí)現(xiàn)CPU、內(nèi)存資源并行化處理的高性能計(jì)算網(wǎng)絡(luò)(多采用高帶寬低延遲的InfiniBand技術(shù))，以及傳統(tǒng)的數(shù)據(jù)局域網(wǎng)。DCE技術(shù)將這三種網(wǎng)絡(luò)實(shí)現(xiàn)在統(tǒng)一的傳輸平臺上，即DCE將使用一種交換技術(shù)同時(shí)實(shí)現(xiàn)遠(yuǎn)程存儲、遠(yuǎn)程并行計(jì)算處理和傳統(tǒng)數(shù)據(jù)網(wǎng)絡(luò)功能。這樣才能最大化的實(shí)現(xiàn)三種資源的整合，從而便于實(shí)現(xiàn)跨平臺的資源調(diào)度和虛擬化服務(wù)，提高投資的有效性，同時(shí)還降低了管理成本。

　　業(yè)務(wù)的特點(diǎn)不需要超級計(jì)算功能，因此本次項(xiàng)目要實(shí)現(xiàn)存儲網(wǎng)絡(luò)和傳統(tǒng)數(shù)據(jù)網(wǎng)絡(luò)的雙網(wǎng)合一，使用DCE技術(shù)實(shí)現(xiàn)二者的一體化交換。當(dāng)前在以太網(wǎng)上融合傳統(tǒng)局域網(wǎng)和存儲網(wǎng)絡(luò)唯一成熟技術(shù)標(biāo)準(zhǔn)是Fiber Channel Over Ethernet技術(shù)(FCoE)，它已在標(biāo)準(zhǔn)上給出了如何把存儲網(wǎng)(SAN)的數(shù)據(jù)幀封裝在以太網(wǎng)幀內(nèi)進(jìn)行轉(zhuǎn)發(fā)的相關(guān)技術(shù)協(xié)議。由于該項(xiàng)技術(shù)的簡單性、高效率、經(jīng)濟(jì)性，目前已經(jīng)形成相對成熟的包括存儲廠商、網(wǎng)絡(luò)設(shè)備廠商、主機(jī)廠商、網(wǎng)卡廠商的生態(tài)鏈。具體的協(xié)議發(fā)布可參見 FCoE 的相關(guān)Web Sites。 (http://www.fcoe.com http://www.t11.org/fcoe )

　　本次數(shù)據(jù)中心建設(shè)將做好FCoE的基礎(chǔ)設(shè)施準(zhǔn)備，并將在下一階段完成基于FCoE技術(shù)的雙網(wǎng)融合。

　　1.1.2 無丟棄以太網(wǎng)技術(shù)

　　為保證一體化交換的實(shí)現(xiàn)，DCE改變了傳統(tǒng)以太網(wǎng)無連接、無保障的Best Effort傳輸行為，即保證主機(jī)在通過以太網(wǎng)進(jìn)行磁盤讀寫等操作、高性能計(jì)算所要求的遠(yuǎn)程內(nèi)存訪問、并行處理等操作，不會發(fā)生任何不可預(yù)料的傳輸失敗，達(dá)到真正的“無丟包”以太網(wǎng)目標(biāo)。DCE在網(wǎng)絡(luò)中以硬件及軟件的形式實(shí)現(xiàn)了以下技術(shù)：

 

基于優(yōu)先級類別的流控(Priority Flow Control)	通過基于IEEE 802.1p類別通道的PAUSE功能來提供基于數(shù)據(jù)流類別的流量控制
帶寬管理	IEEE 802.1Qaz 標(biāo)準(zhǔn)定義基于IEEE 802.1p 流量類別的帶寬管理以及這些流量的優(yōu)先級別定義
擁塞管理	IEEE 802.1Qau 標(biāo)準(zhǔn)定義如何管理網(wǎng)絡(luò)中的擁塞(BCN/QCN)

　　l 基于優(yōu)先級類別的流控在DCE 的理念中是非常重要的一環(huán)，通過它和擁塞管理的相互合作，我們可以構(gòu)造出“不丟包的以太網(wǎng)”架構(gòu);這對今天的我們來說，它的誘惑無疑是不可阻擋的。不丟包的以太網(wǎng)絡(luò)提供一個(gè)安全的平臺，它讓我們把一些以前無法安心放置到數(shù)據(jù)網(wǎng)絡(luò)上的重要應(yīng)用能安心的應(yīng)用到這個(gè)DCE的數(shù)據(jù)平臺。

　　l 帶寬管理在以太網(wǎng)絡(luò)中提供類似于類似幀中繼(Frame Relay)的帶寬控制能力，它可以確保一些重要的業(yè)務(wù)應(yīng)用能獲得必須的網(wǎng)絡(luò)帶寬;同時(shí)保證網(wǎng)絡(luò)鏈路帶寬利用的最大化。

　　l 擁塞管理可以提供在以太網(wǎng)絡(luò)中的各種擁塞發(fā)現(xiàn)和定位能力，這在非連接的網(wǎng)絡(luò)中無疑是一個(gè)巨大的挑戰(zhàn);可以說在目前的所有非連接的網(wǎng)絡(luò)中，這是一個(gè)嶄新的應(yīng)用;目前的研究方向主要集中在后向擁塞管理(BCN)和量化擁塞管理(QCN)這兩個(gè)方面。

　　1.1.3 性能支撐能力

　　為保證實(shí)現(xiàn)一體化交換和資源整合，DCE還必須對傳統(tǒng)以太網(wǎng)的性能和可擴(kuò)展性的進(jìn)行革新。

　　首先為保證三網(wǎng)合一后的帶寬資源，萬兆以太網(wǎng)技術(shù)只是DCE核心層帶寬的起點(diǎn)。而正在發(fā)展中的40G/100G以太網(wǎng)才是DCE技術(shù)將來的主流帶寬。因此，要保證我們今天采購的設(shè)備能有5年以上的生命周期，就必須考慮硬件的可擴(kuò)展能力。這也就是說從投資保護(hù)和工程維護(hù)的角度出發(fā)，我們需要一個(gè)100G平臺的硬體設(shè)備，即每個(gè)設(shè)備的槽位至少要支持100G的流量(全雙工每槽位200Gbps)，只有這樣才能維持該設(shè)備5年的生命周期。同時(shí)從經(jīng)濟(jì)性的角度來考慮，如果能達(dá)到400G的平臺是最理想的。

　　另外存儲網(wǎng)絡(luò)和高性能計(jì)算所要求的通過網(wǎng)絡(luò)實(shí)現(xiàn)的遠(yuǎn)程磁盤讀寫、內(nèi)存同步的性能需求，DCE設(shè)備必須提供比傳統(tǒng)以太網(wǎng)設(shè)備低幾個(gè)數(shù)量級的端口間轉(zhuǎn)發(fā)延遲。DCE要求的核心層的三層轉(zhuǎn)發(fā)延遲應(yīng)可達(dá)到30us以下，接入層的二層轉(zhuǎn)發(fā)延遲應(yīng)可在3～4us以下。這都是傳統(tǒng)以太網(wǎng)技術(shù)無法實(shí)現(xiàn)的性能指標(biāo)要求。

　　1.1.4 智能服務(wù)的整合能力

　　眾所周知，應(yīng)用的復(fù)雜度是在不斷的提升，同時(shí)伴隨著網(wǎng)絡(luò)的融合，應(yīng)用對網(wǎng)絡(luò)的交互…可以預(yù)見的是網(wǎng)絡(luò)的復(fù)雜度也將不斷的提升。這也印證我們的判斷：應(yīng)用對網(wǎng)絡(luò)的控制將逐步增強(qiáng)，網(wǎng)絡(luò)同時(shí)也在為應(yīng)用而優(yōu)化。

　　因此構(gòu)建一個(gè)單業(yè)務(wù)的簡單L2轉(zhuǎn)發(fā)網(wǎng)絡(luò)并不是網(wǎng)絡(luò)設(shè)備的設(shè)計(jì)方向;全業(yè)務(wù)的設(shè)備和多業(yè)務(wù)融合的網(wǎng)絡(luò)才是我們所需要的環(huán)境。

　　那么我們需要什么樣的全業(yè)務(wù)呢，很明顯Data Center Ethernet 是一個(gè)必備的項(xiàng)目，同時(shí)我們至少還需要其它的基本業(yè)務(wù)屬性來保障一個(gè)多業(yè)務(wù)網(wǎng)絡(luò)的運(yùn)行，如：

　　l 服務(wù)質(zhì)量保證 QoS

　　l 訪問列表控制 ACL

　　l 虛擬交換機(jī)的實(shí)現(xiàn) Virtual Switch

　　l 網(wǎng)絡(luò)流量分析 Netflow

　　l CPU抗攻擊保護(hù) CoPP

　　l 遠(yuǎn)程無人值守管理 CMP

　　l 嵌入式事件管理 EEM

　　當(dāng)然，所有這些業(yè)務(wù)的實(shí)現(xiàn)都是在不影響轉(zhuǎn)發(fā)性能的前提條件下的。失去這個(gè)大前提，多業(yè)務(wù)的實(shí)現(xiàn)就變得毫無意義。

　　所以設(shè)計(jì)一個(gè)好的產(chǎn)品就必須顧全多業(yè)務(wù)、融合網(wǎng)絡(luò)這個(gè)大前提。如何使這些復(fù)雜的業(yè)務(wù)處理能夠在高達(dá)100G甚至是400G的線路卡上獲得線速處理的性能是考驗(yàn)一個(gè)硬件平臺的重要技術(shù)指標(biāo)。

　　最終的勝出者無疑就是能夠用最小的代價(jià)來換取最大業(yè)務(wù)實(shí)現(xiàn)和性能的設(shè)備平臺。

　　1.2 虛擬化能力

　　DCE對網(wǎng)絡(luò)虛擬化不僅僅是傳統(tǒng)意義上的VLAN和VPN，為實(shí)現(xiàn)SODC的交互服務(wù)層資源調(diào)度方式，DCE還能夠做到以下的虛擬化能力。

　　1.2.1 虛擬交換技術(shù)

　　虛擬交換技術(shù)可以實(shí)現(xiàn)當(dāng)我們使用交換機(jī)資源時(shí)，我們可以不用關(guān)心交換服務(wù)的物理存在方式，它可能是由一臺交換機(jī)提供，也可能是兩臺交換機(jī)設(shè)備，甚至可以是一個(gè)交換機(jī)中的幾個(gè)虛擬交換機(jī)之一。思科的DCE技術(shù)就提供了將兩個(gè)物理交換機(jī)虛擬為一臺交換機(jī)的虛擬交換系統(tǒng)(VSS)技術(shù)，以及將一個(gè)交換機(jī)虛擬化為多個(gè)交換機(jī)的虛擬設(shè)備(VDC)技術(shù)。

　　(一)虛擬交換系統(tǒng)(VSS)

　　VSS技術(shù)可將網(wǎng)絡(luò)的雙核心虛擬化為單臺設(shè)備，比如使用的Cisco 6509的9插槽設(shè)備將完全被虛擬化成為單臺18槽機(jī)箱的虛擬交換機(jī)。虛擬交換機(jī)性能倍增、管理復(fù)雜度反而減半。具體有如下優(yōu)勢：

　　l 單一管理界面：管理界面完全為單臺設(shè)備管理方式，管理和維護(hù)工作量減輕一半;

　　l 性能翻倍：虛擬交換系統(tǒng)具備兩臺疊加的性能，與其它交換機(jī)通過跨物理機(jī)箱的雙千兆以太網(wǎng)或雙萬兆以太網(wǎng)捆綁技術(shù)，遠(yuǎn)比依靠路由或生成樹的負(fù)載均衡更均勻，帶寬和核心吞吐量均做到真正的翻倍。

　　l 協(xié)議簡單：虛擬交換系統(tǒng)與其它設(shè)備間的動態(tài)路由協(xié)議完全是單臺設(shè)備與其它設(shè)備的協(xié)議關(guān)系，需維護(hù)的路由鄰居關(guān)系數(shù)以二次方根下降，在本系統(tǒng)中可達(dá)4～5倍下降，工作量和部署難度大大降低;虛擬交換系統(tǒng)同時(shí)作為單臺設(shè)備參與生成樹計(jì)算關(guān)系，生成樹計(jì)算和維護(hù)量以二次方根下降，在本系統(tǒng)中可達(dá)4～5倍下降，工作量和部署難度大大降低。

　　l 冗余可靠：虛擬交換系統(tǒng)形成虛擬單機(jī)箱、物理雙引擎的跨機(jī)箱冗余引擎系統(tǒng)，下連接入交換機(jī)原來需要用動態(tài)路由或生成樹實(shí)現(xiàn)冗余切換的，在VSS下全都可以用簡單的鏈路捆綁實(shí)現(xiàn)負(fù)載均衡和冗余，無論是鏈路還是引擎，冗余切換比傳統(tǒng)方式更加迅捷平滑，保持上層業(yè)務(wù)穩(wěn)定運(yùn)行。以前兩個(gè)單引擎機(jī)箱的其中一臺更換引擎，一定會導(dǎo)致數(shù)據(jù)的丟失，而虛擬交換系統(tǒng)里任意一臺更換引擎，數(shù)據(jù)可以保證0丟失。

　　(二)虛擬設(shè)備系統(tǒng)(VDC)

　　VDC技術(shù)則可以實(shí)現(xiàn)將一臺交換機(jī)劃分為多個(gè)虛擬的子交換機(jī)，每個(gè)交換機(jī)擁有獨(dú)立的配置界面，獨(dú)立的生成樹、路由、SNMP、VRRP等協(xié)議進(jìn)程，甚至獨(dú)立的資源分配(內(nèi)存、TCAM、轉(zhuǎn)發(fā)表等等)。它與VSS配合，將在實(shí)現(xiàn)更加靈活的、與物理設(shè)備無關(guān)的跨平臺資源分配能力，為數(shù)據(jù)中心這種底層設(shè)施資源消耗型網(wǎng)絡(luò)提供更經(jīng)濟(jì)高效的組網(wǎng)方式，也為管理和運(yùn)營智能化自動化創(chuàng)造條件。

　　物理設(shè)備虛擬成若干個(gè)邏輯上的獨(dú)立設(shè)備的圖示：

　　1.2.2 網(wǎng)絡(luò)服務(wù)虛擬化

　　在服務(wù)資源整合以及設(shè)備虛擬化的基礎(chǔ)之上，DCE要求每個(gè)虛擬化的網(wǎng)絡(luò)應(yīng)用區(qū)都有自己的業(yè)務(wù)服務(wù)設(shè)施，比如自己的防火墻、IDS、負(fù)載均衡器、SSL加速、……網(wǎng)絡(luò)服務(wù)，這些如果都是物理上獨(dú)占式分配的，將是高成本、低效率且難于維護(hù)管理的。DCE網(wǎng)絡(luò)在提供這些網(wǎng)絡(luò)智能服務(wù)時(shí)都可以以虛擬化的方式實(shí)現(xiàn)各類服務(wù)的資源調(diào)用，思科的DCE網(wǎng)絡(luò)中就可以實(shí)現(xiàn)虛擬防火墻、虛擬IDS、虛擬負(fù)載均衡器、虛擬SSL VPN網(wǎng)絡(luò)……等等，從而實(shí)現(xiàn)網(wǎng)絡(luò)智能服務(wù)的虛擬化。

　　1.2.3 服務(wù)器虛擬化

　　服務(wù)器虛擬化可以使上層業(yè)務(wù)應(yīng)用僅僅根據(jù)自己所需的計(jì)算資源占用要求來對CPU、內(nèi)存、I/O和應(yīng)用資源等實(shí)現(xiàn)自由調(diào)度，而無須考慮該應(yīng)用所在的物理關(guān)聯(lián)和位置。當(dāng)前商用化最為成功的服務(wù)器虛擬化解決方案是VMWare的VMotion系列，微軟的Virtual Server和許多其它第三方廠商(如Intel、AMD等)也正在加入，使得服務(wù)器虛擬化的解決方案將越來越完善和普及。

　　然而人們越來越意識到服務(wù)器虛擬化的系統(tǒng)解決方案中除了應(yīng)用、主機(jī)、操作系統(tǒng)的角色外，網(wǎng)絡(luò)將是一個(gè)更為至關(guān)重要的角色。網(wǎng)絡(luò)將把各個(gè)自由聯(lián)系成為一個(gè)整體，網(wǎng)絡(luò)將是實(shí)現(xiàn)自由虛擬化的橋梁。服務(wù)器虛擬化需要DCE能夠提供以下能力：

　　l 資源的整合：業(yè)務(wù)應(yīng)用運(yùn)行所依賴的物理計(jì)算環(huán)境都需要網(wǎng)絡(luò)實(shí)現(xiàn)連接，然而在傳統(tǒng)網(wǎng)絡(luò)中，傳輸數(shù)據(jù)的數(shù)據(jù)網(wǎng)、互連CPU和內(nèi)存的計(jì)算網(wǎng)、互連存儲的存儲網(wǎng)都是孤立的，這就無法真正實(shí)現(xiàn)與物理無關(guān)的服務(wù)器資源調(diào)度，因此實(shí)現(xiàn)真正意義上徹底的服務(wù)器虛擬化，前面提到的DCE三網(wǎng)一體化交換架構(gòu)是必須的條件。

　　l 網(wǎng)絡(luò)的虛擬機(jī)意識：傳統(tǒng)網(wǎng)絡(luò)是不具備虛擬機(jī)意識的，即在網(wǎng)絡(luò)上傳遞的信息是無法區(qū)別它是來自于哪個(gè)虛擬機(jī)，也無法在網(wǎng)絡(luò)上根據(jù)虛擬機(jī)來提供相應(yīng)的網(wǎng)絡(luò)服務(wù)，當(dāng)虛擬機(jī)遷移，也沒有相應(yīng)的網(wǎng)絡(luò)跟蹤手段保證服務(wù)的全局一致性。不過這些都是DCE正在解決的問題，一些DCE的領(lǐng)導(dǎo)廠商，比如思科，已經(jīng)在推出的商用化DCE產(chǎn)品中提供了相應(yīng)的虛擬機(jī)標(biāo)識機(jī)制，并且思科已經(jīng)聯(lián)合VMware等廠商將這些協(xié)議提交IEEE實(shí)現(xiàn)標(biāo)準(zhǔn)化。

　　l 虛擬機(jī)遷移的網(wǎng)絡(luò)環(huán)境：服務(wù)器虛擬化是依靠虛擬機(jī)的遷移技術(shù)實(shí)現(xiàn)與物理資源無關(guān)的資源共享和復(fù)用的。虛擬機(jī)遷移需要一個(gè)二層環(huán)境，這導(dǎo)致遷移范圍被局限在傳統(tǒng)的VLAN內(nèi)。我們知道Web2.0、云計(jì)算等概念都需要無處不在的數(shù)據(jù)中心，那么如何實(shí)現(xiàn)二層網(wǎng)絡(luò)的跨地域延展呢?傳統(tǒng)的L2 MPLS技術(shù)太復(fù)雜，于是IEEE和IETF正在制定二層多路徑(即二層延展)的新標(biāo)準(zhǔn)，DCE的領(lǐng)導(dǎo)廠商思科公司也提出了一種新的協(xié)議標(biāo)準(zhǔn)Cisco Over the Top Virtualization(OTV)來解決跨城域或廣域網(wǎng)的二層延展性問題，從而為服務(wù)器虛擬化提供可擴(kuò)展的網(wǎng)絡(luò)支撐。

　　1.3 自動化

　　自動化是SODC架構(gòu)中上層自動優(yōu)化的實(shí)現(xiàn)服務(wù)調(diào)用必須條件。在高度整合化和虛擬化的基礎(chǔ)上，服務(wù)的部署完全不需要物理上的動作，資源在虛擬化平臺上可以與物理設(shè)施無關(guān)的進(jìn)行分配和整合，這樣我們只需要將一定的業(yè)務(wù)策略輸入給智能網(wǎng)絡(luò)的策略服務(wù)器，一切的工作都可以按系統(tǒng)自身最優(yōu)化的方式進(jìn)行計(jì)算、評估、決策和調(diào)配實(shí)現(xiàn)?，F(xiàn)在商用的DCE自動化解決方案包括管理自動化和業(yè)務(wù)部署自動化。

　　數(shù)據(jù)中心將在后續(xù)的建設(shè)中逐步完善自動化管理和自動化業(yè)務(wù)部署，但需要在本期通過DCE技術(shù)的實(shí)施打下未來自動化部署的堅(jiān)實(shí)基礎(chǔ)。

　　1.4 綠色數(shù)據(jù)中心

　　DCE技術(shù)的整合化、虛擬化和自動化本身就是在達(dá)到同樣業(yè)務(wù)能力的要求下實(shí)現(xiàn)高效率利用硬件資源、減少總硬件投入、節(jié)約維護(hù)管理成本等方面的最佳途徑，這本身也是綠色數(shù)據(jù)中心的必要條件。

　　另外DCE產(chǎn)品必須在硬件實(shí)現(xiàn)上實(shí)現(xiàn)低功耗、高效率，包括

　　l 利用最新半導(dǎo)體工藝 (越小納米的芯片要比大納米的芯片省電)

　　l 降低邏輯電路的復(fù)雜度 (在接入層使用二層設(shè)備往往要比三層設(shè)備省電)

　　l 減少通用集成電路的空轉(zhuǎn) (使用定制化的專業(yè)設(shè)計(jì)的芯片往往比通用芯片省電)

　　l 等等……

　　由此可見，對于一臺網(wǎng)絡(luò)設(shè)備，在業(yè)務(wù)能力相當(dāng)?shù)那疤釛l件下，越小的功耗就代表越先進(jìn)的技術(shù)。在DCE設(shè)備一般可以做到維持三層的全業(yè)務(wù)萬兆吞吐功耗小于25W、二層的萬兆吞吐功耗小于13W。

　　綜上所述，在本次新一代數(shù)據(jù)中心網(wǎng)絡(luò)的建設(shè)中，將采用不同于傳統(tǒng)以太網(wǎng)技術(shù)的DCE以太網(wǎng)技術(shù)，構(gòu)建面向服務(wù)的高效能數(shù)據(jù)中心網(wǎng)絡(luò)平臺。