用戶名: 密碼: 驗(yàn)證碼:

大型數(shù)據(jù)中心內(nèi)的網(wǎng)絡(luò)“甜點(diǎn)”——阿里巴巴自研DAC之路

摘要:作為數(shù)據(jù)中心物理網(wǎng)絡(luò)中的“第一段高速公路”,DAC在國際大型數(shù)據(jù)中心內(nèi)已有10多年的大規(guī)模使用歷史,國際大型數(shù)據(jù)中心幾乎不使用AOC。自2019年至今,國內(nèi)各大數(shù)據(jù)中心累積使用DAC的數(shù)量已遠(yuǎn)超500萬根,僅阿里云數(shù)據(jù)中心,在2020年就已達(dá)到百萬級部署規(guī)模。

  DAC(Direct Attach Cable),即直連線纜,在ICT領(lǐng)域有著非常廣泛的應(yīng)用,常用于各類IT設(shè)備的計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等高速接口短距離互聯(lián),也通常以其本質(zhì)相稱——高速銅纜。

  作為數(shù)據(jù)中心物理網(wǎng)絡(luò)中的“第一段高速公路”,DAC在國際大型數(shù)據(jù)中心內(nèi)已有10多年的大規(guī)模使用歷史,國際大型數(shù)據(jù)中心幾乎不使用AOC(Active Optical Cable,即有源光纜)。2019年前,國內(nèi)數(shù)據(jù)中心的應(yīng)用狀況恰好相反。

  2018年,阿里巴巴開啟自研DAC之路。自2019年至今,國內(nèi)各大數(shù)據(jù)中心累積使用DAC的數(shù)量已遠(yuǎn)超500萬根,僅阿里云數(shù)據(jù)中心,在2020年就已達(dá)到百萬級部署規(guī)模。

  阿里自研DAC的應(yīng)用和落地,只是整個(gè)阿里云基礎(chǔ)設(shè)施進(jìn)步和創(chuàng)新的眾多方面之一,但卻體現(xiàn)了阿里云基礎(chǔ)設(shè)施整體協(xié)同創(chuàng)新、務(wù)實(shí)求穩(wěn)的思路。

圖1:商用DAC(左)和AOC(右)

  Q&A

  · 在大規(guī)模數(shù)據(jù)中心場景下使用DAC有什么好處?

  · 什么原因?qū)е?A href="http://getprofitprime.com/site/CN/Search.aspx?page=1&keywords=DAC&column_id=ALL&station=%E5%85%A8%E9%83%A8" target="_blank">DAC在國內(nèi)數(shù)據(jù)中心的使用曾相對比較滯后?

  · 阿里巴巴的百萬DAC之路背后有哪些思考和體驗(yàn)?

  · DAC的大規(guī)模應(yīng)用給數(shù)據(jù)中心帶來了哪些改變?

  · 展望未來,DAC數(shù)據(jù)中心的應(yīng)用前景和挑戰(zhàn)是什么?

  01 數(shù)據(jù)中心物理網(wǎng)絡(luò)互聯(lián)

  首先我們看一下數(shù)據(jù)中心內(nèi)物理網(wǎng)絡(luò)高速互聯(lián)鏈路的情況。

圖2:數(shù)據(jù)中心網(wǎng)絡(luò)鏈路概覽

  在阿里云數(shù)據(jù)中心網(wǎng)絡(luò)典型3層CLOS架構(gòu)下,集群內(nèi)用于Spine和Leaf以及Leaf和TOR之間互聯(lián)的網(wǎng)絡(luò)鏈路長度一般在2km以內(nèi),其中Leaf和TOR之間的互聯(lián)長度通常在100m之內(nèi)。這些需要短距和長距光模塊連接的鏈路數(shù)量,占到整個(gè)集群內(nèi)總物理鏈路數(shù)量的1/3;而從服務(wù)器網(wǎng)卡接至TOR的鏈路長度通常在10m之內(nèi),但是其鏈路數(shù)量則占到了總物理鏈路數(shù)的2/3,通常使用DAC或AOC來連接。

  一、DAC和AOC的異同

圖3:DAC和AOC電/光通道

  AOC和DAC兩者在兩端的模塊封裝上采用相同外形和電界面,如SFP、QSFP等各種標(biāo)準(zhǔn),確保和系統(tǒng)側(cè)(交換機(jī)、NIC等)的標(biāo)準(zhǔn)接插。

  AOC的模塊中包含了電、光轉(zhuǎn)換芯片,基本功能如CDR、Retimer/Gearbox、Laser、PD等電光器件,系統(tǒng)側(cè)的電信號調(diào)制到光信號上進(jìn)行傳輸。

  DAC則僅僅是無源銅媒介,包括模塊中直接將高速差分同軸線(twinax cable)焊接起來并外加屏蔽層和外被層作為成纜(cable assembly),電信號從端到端直接傳輸。

  二、AOC的優(yōu)勢和問題

圖4:AOC在“黑盒”交換機(jī)下與NIC互聯(lián)

  1. 標(biāo)準(zhǔn)界面,即插即用。針對AOC光模塊的應(yīng)用,以可插拔模塊和系統(tǒng)端口處為一致性目標(biāo)點(diǎn)(TP1a和TP4),因此,在交換機(jī)“黑盒”時(shí)代,只要交換機(jī)所有端口和光模塊都滿足TP1a和TP4的電信號規(guī)格,AOC便可以即插即用。中間光信號的傳輸在模塊之間閉環(huán),系統(tǒng)用戶也無需關(guān)心。

  2. 光纖支持更長連接距離。眾所周知,光纖的單位長度損耗極低,可支持的傳輸距離遠(yuǎn)超銅纜。

  三、DAC的優(yōu)勢和問題

  對IT設(shè)備的用戶和運(yùn)維者來說,DAC相比AOC有兩個(gè)非常直觀的優(yōu)勢:成本和功耗。

  以2019年25G DAC和AOC為例:

  1. 成本低:DAC的成本是AOC的約1/5。

  2. 功耗低:DAC無源,零功耗;25G AOC功耗大約在1~2瓦/根。

  DAC還有相比AOC擁有更高可靠性和更低延時(shí)的優(yōu)勢,在大規(guī)模部署和對時(shí)延敏感型的業(yè)務(wù)中會(huì)有較明顯的體現(xiàn)。DAC相比AOC在浸沒式液冷環(huán)境中有更強(qiáng)的適應(yīng)性(無需考慮光模塊對液體敏感的光電器件的密封處理)。

  四、DAC未規(guī)?;褂脷w因

  2019年之前,DAC在國內(nèi)數(shù)據(jù)中心未被規(guī)?;褂玫脑蛴袃蓚€(gè):

  1. DAC在網(wǎng)絡(luò)“黑盒”設(shè)備下的運(yùn)營問題:在使用商業(yè)交換機(jī)的時(shí)代,物理網(wǎng)絡(luò)中從TOR到服務(wù)器網(wǎng)卡,一路黑盒,無法做到包括DAC在內(nèi)的“端到端”調(diào)試,而最好選用界面信號相對標(biāo)準(zhǔn)化的AOC即插即用。如果要使用DAC,則面臨“黑盒交換機(jī)”和各種類型網(wǎng)卡的組合適配工作在整個(gè)生命周期內(nèi)都可能無法收斂,顯然對追求“穩(wěn)定”和“運(yùn)營邊際效應(yīng)”的數(shù)據(jù)中心網(wǎng)絡(luò)運(yùn)營是無法接受的。

  2. DAC長度無法滿足各種IDC環(huán)境部署需求的問題:DAC因直接透傳高速電信號,所以長度受限于電信號損耗預(yù)算,通常在10Gbps下不超過7m,25Gbps下不超過5m,56Gbps下不超過3m,112Gbps下不超過2m,而AOC則通??梢宰龅阶铋L30m到100m。

  在國內(nèi)大型互聯(lián)網(wǎng)公司的數(shù)據(jù)中心快速發(fā)展的早期,以租用機(jī)房為主,機(jī)柜功耗上限、機(jī)房散熱能力、機(jī)柜布線通道等限制條件各不相同。TOR通常要跨多個(gè)機(jī)柜來接入服務(wù)器,并且還要照顧不同出線方向的服務(wù)器,造成服務(wù)器至TOR的接入距離在大部分場景下都超過DAC能提供的最長距離,只好選用更長的AOC來支持。

  這一切,隨著2018年阿里云基礎(chǔ)設(shè)施開始進(jìn)行數(shù)據(jù)中心網(wǎng)絡(luò)自研、IDC機(jī)柜自研及超大規(guī)模自建機(jī)房的投入運(yùn)營發(fā)生了改變,在這場盛宴中,阿里把DAC這盤“甜點(diǎn)”端上了臺前。

  02 數(shù)據(jù)中心網(wǎng)絡(luò)白盒化 開出DAC應(yīng)用之花

  2018年開始,阿里開啟白盒交換機(jī)+自研DAC的研發(fā),確立了“以終為始”的原則:以最終大規(guī)模部署時(shí)的網(wǎng)絡(luò)穩(wěn)定性、運(yùn)營效率為導(dǎo)向進(jìn)行總體設(shè)計(jì)。雖然“黑盒”下也存在DAC使用的技術(shù)可行性,但“白盒”才給大規(guī)模運(yùn)營提供了根本保障。

  圖5:DAC在“白盒”交換機(jī)下與NIC互聯(lián)

  DAC互聯(lián)場景下,實(shí)際上兩端芯片(MAC到MAC或者PHY到PHY)之間是一個(gè)完整的電通道。

  TOR交換機(jī)+DAC+NIC每一種連接組合的總loss不同,需要TOR ASIC針對每一種loss設(shè)置合適的Tx EQ均衡參數(shù)來確保接收端的BER滿足無差錯(cuò)傳輸?shù)男枨?,組合情況非常多。

  交換機(jī)“黑盒”下,如果使用DAC,問題就來了:

  首先,新業(yè)務(wù)需求(網(wǎng)卡、線纜)要依賴設(shè)備廠商提供端口參數(shù)更新并在線升級,這對網(wǎng)絡(luò)運(yùn)營的穩(wěn)定性和規(guī)模部署效率是極大的挑戰(zhàn)。

  其次,若妥協(xié)使用Link Training模式,可以讓99%以上的鏈路工作,但是在百萬級別規(guī)模的鏈路數(shù)量里,這個(gè)可靠性量級會(huì)給運(yùn)維帶來沉重的負(fù)擔(dān)。

  阿里云自研白盒交換機(jī)和自研DAC是如何解決上述DAC應(yīng)用問題的?

  1. 白盒下收斂端到端loss組合。阿里在交換機(jī)硬件設(shè)計(jì)時(shí)便考慮了交換機(jī)端口和內(nèi)部鏈路的使用規(guī)劃,設(shè)計(jì)用于下聯(lián)服務(wù)器的端口通道loss較小且loss分布范圍較窄,并且同時(shí)在自研DAC的定義中,基于IEEE 802.3相關(guān)規(guī)范,針對不同長度的DAC,通過使用合適的線徑,收窄自研DAC的總體loss范圍。最后根據(jù)網(wǎng)卡通道的設(shè)計(jì)特征,在總通道loss計(jì)算和仿真中預(yù)留合理和足夠的網(wǎng)卡通道loss budget。這些設(shè)計(jì),并不用付出額外的成本代價(jià)。

  2. 白盒下選用固定均衡參數(shù)。基于以上設(shè)計(jì),總體互聯(lián)通道loss的收窄和可控,使得在實(shí)際中可以選用一套固定的均衡參數(shù)就可以讓所有互聯(lián)組合都能得到裕量足夠的BER性能,這套參數(shù)并不是針對每種組合都是最優(yōu)的參數(shù),但是BER足夠,且鏈路穩(wěn)定可靠。從而避免使用Link Training模式,讓大規(guī)模網(wǎng)絡(luò)運(yùn)營具備邊際效應(yīng)。

  至此,這只是DAC規(guī)?;渴鹪O(shè)計(jì)中最基本的一部分,如何快速落地、讓DAC在IDC真正用得“爽”,還要解決機(jī)柜集成、交付、運(yùn)維的問題,這是更關(guān)鍵的一步。

  03 基礎(chǔ)設(shè)施協(xié)同創(chuàng)新 鑄成阿里DAC規(guī)模部署之路

  就在2019年阿里數(shù)據(jù)中心大規(guī)模成功部署DAC之后,業(yè)內(nèi)迅速出現(xiàn)了一個(gè)新詞——MOR(Middle of Rack),用來戲稱阿里巴巴將TOR(Top of Rack)中置的做法。這個(gè)戲稱在某個(gè)層面卻很形象地說明了阿里在IDC機(jī)柜級別做出的一些獨(dú)具匠心、因地制宜的創(chuàng)新。

  阿里云基礎(chǔ)設(shè)施通過整體設(shè)計(jì)來克服DAC固有的種種短板,讓DAC的可規(guī)模應(yīng)用轉(zhuǎn)化為穩(wěn)定性、能耗、成本、交付和運(yùn)營效率等方面的整體收益。

  首先,打破常規(guī),TOR中置。TOR不一定必須放在Top。阿里將接入層交換機(jī)置于服務(wù)器機(jī)柜中間U位,單柜內(nèi)交換機(jī)到最遠(yuǎn)服務(wù)器的布線距離就縮短為了機(jī)柜高度的一半,單柜內(nèi)最長僅需不超過2m。阿里第一代自研交換機(jī)甚至設(shè)計(jì)了后向前、前向后兩種散熱風(fēng)流方向,來支持不同出線方向的服務(wù)器,從而做到機(jī)柜內(nèi)同側(cè)布線,保證DAC長度需求最小化。后續(xù)的演進(jìn)中,阿里已經(jīng)將服務(wù)器的出線方向統(tǒng)一為前側(cè),交換機(jī)型號歸一。

圖6:傳統(tǒng)機(jī)柜(左)TOR頂置vs阿里自研機(jī)柜(右)TOR中置

  其次,因地制宜,機(jī)柜創(chuàng)新。因?yàn)椴煌瑯I(yè)務(wù)類型的服務(wù)器配置不同,除單柜外,仍然會(huì)有交換機(jī)跨兩柜接入服務(wù)器的需求。因此在交換機(jī)中置的同時(shí),全新的機(jī)柜設(shè)計(jì)將跨柜理線的通道設(shè)計(jì)在了機(jī)柜中部(傳統(tǒng)機(jī)柜跨柜理線需要從柜頂?shù)娜蹼娍状┏龃┤耄┯糜诖┚€。這樣的話,跨兩柜的交換機(jī)到服務(wù)器線纜最長需求2.5m便可以滿足;還有一點(diǎn)考慮:2.5m的長度需求在56G-PAM4可以輕松滿足,甚至未來112G-PAM4速率也有機(jī)會(huì)做到。

圖7:傳統(tǒng)機(jī)柜(左)雙并柜布線vs阿里自研機(jī)柜(右)雙并柜布線SERVER

  第三,布線標(biāo)準(zhǔn)化,助高效集成交付。將DAC從0.75m開始到2.5m之間以0.25m步長定義DAC長度規(guī)格,將中置交換機(jī)到機(jī)柜各個(gè)U位服務(wù)器的布線規(guī)則進(jìn)行標(biāo)準(zhǔn)化定義,線纜長度剛剛夠,而無需額外的彎折和盤線,使得整機(jī)柜集成和交付的效率大大提升,同時(shí)也盡量避免DAC過度彎折帶來的信號完整性性能劣化。

  第四,DAC自研創(chuàng)新,解現(xiàn)場運(yùn)維之憂??紤]到IDC運(yùn)維習(xí)慣了多年的AOC較細(xì)、較軟的布線和運(yùn)維體驗(yàn),阿里在自研DAC的設(shè)計(jì)中特別使用了尼龍編織外被取代傳統(tǒng)的PVC材質(zhì)的外被,使得第一代25G DAC的彎折半徑和柔軟度較標(biāo)準(zhǔn)商用DAC大幅提升,成功幫助IDC現(xiàn)場運(yùn)維從習(xí)慣已久的AOC過渡到DAC

圖8:阿里自研25G DAC(左)和200G 1分2 DAC(右)

  隨著自研交換機(jī)和DAC,以整機(jī)柜集成的形式在阿里云數(shù)據(jù)中心快速規(guī)模化部署,阿里云數(shù)據(jù)中心DAC在2019年起的一年多時(shí)間內(nèi),率先達(dá)到了百萬量級的部署規(guī)模。

  04 開放共贏 結(jié)出國內(nèi)DAC應(yīng)用累累之果

  2020年,在阿里巴巴數(shù)據(jù)中心部署DAC累積百萬規(guī)模、運(yùn)營一年之后,由阿里巴巴牽頭,和騰訊、百度等國內(nèi)大型數(shù)據(jù)中心用戶合作,聯(lián)合立訊、兆龍等國內(nèi)DAC廠商代表,在ODCC發(fā)布了《下一代數(shù)據(jù)中心高速銅纜技術(shù)白皮書》。

《白皮書》

  詳細(xì)闡述了DAC數(shù)據(jù)中心高速互聯(lián)中的應(yīng)用技術(shù),以及從25G-NRZ至56G-PAM4演進(jìn)的方案。

  阿里巴巴以自己的大規(guī)模部署、運(yùn)營結(jié)果,給國內(nèi)用戶們帶來了DAC應(yīng)用的最佳實(shí)踐經(jīng)驗(yàn)和信心。隨后幾年,越來越多的國內(nèi)大型數(shù)據(jù)中心都陸續(xù)將DAC作為物理網(wǎng)絡(luò)“第一段高速公路”的首選,越來越多的合作伙伴也相繼進(jìn)入DAC的研發(fā)、制造、供應(yīng)和集成。

  從2019年至今,國內(nèi)數(shù)據(jù)中心部署DAC的數(shù)量已累計(jì)超過500萬根,而這背后,帶來的是每年數(shù)以億計(jì)的成本降低和數(shù)千萬度電力的能源節(jié)約。

  05 從零到百萬 DAC規(guī)?;渴馂?A href="http://getprofitprime.com/site/CN/Search.aspx?page=1&keywords=%e6%95%b0%e6%8d%ae%e4%b8%ad%e5%bf%83&column_id=ALL&station=%E5%85%A8%E9%83%A8" target="_blank">數(shù)據(jù)中心帶來的改變

  DAC數(shù)據(jù)中心內(nèi)的大規(guī)模部署使用,帶來的并不只有最直觀的成本和能耗收益,還有對數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)、演進(jìn)、業(yè)務(wù)性能的影響。如果從整個(gè)云基礎(chǔ)設(shè)施的角度來看,后者甚至具有更重要的意義。

  一、與業(yè)務(wù)松耦合,讓網(wǎng)絡(luò)輕松演進(jìn)

  1. 網(wǎng)絡(luò)追求單GB成本紅利,演進(jìn)較快。數(shù)據(jù)中心網(wǎng)絡(luò)商用芯片的帶寬基本上維持著每3年翻一倍的演進(jìn)速度,數(shù)據(jù)中心網(wǎng)絡(luò)也會(huì)在第一時(shí)間同步演進(jìn),以追求單GB網(wǎng)絡(luò)帶寬成本的下降紅利,以及新特性的應(yīng)用。

  2. 業(yè)務(wù)長尾且多樣,迭代不同步。在同一個(gè)數(shù)據(jù)中心網(wǎng)絡(luò)內(nèi),同期通常會(huì)有不同速率的業(yè)務(wù)接入需求,比如在200G網(wǎng)絡(luò)下,主力接入是50G服務(wù)器,但同時(shí)仍然會(huì)有25G和100G服務(wù)器業(yè)務(wù)的接入需求。

  3. 利用多種形態(tài)的線纜,使數(shù)據(jù)中心網(wǎng)絡(luò)的演進(jìn)與業(yè)務(wù)迭代松耦合。DAC的使用,非常容易實(shí)現(xiàn)各種特殊形態(tài)線纜,因?yàn)椴煌螒B(tài)的DAC在主體上都是使用相同的高速裸線、制造工藝。DAC提供的低成本、通用性、靈活性、快速交付等特性,能夠高效地支持不同速率的業(yè)務(wù)接入,讓數(shù)據(jù)中心網(wǎng)絡(luò)能夠輕松、快速地演進(jìn)獲得帶寬紅利和新特性。

  阿里云數(shù)據(jù)中心100G網(wǎng)絡(luò)架構(gòu)中,采用25G和100G (NRZ)兩種直連DAC,TOR則對應(yīng)有25G和100G兩種型號。

  阿里云數(shù)據(jù)中心200G網(wǎng)絡(luò)架構(gòu)中,進(jìn)一步將TOR收斂為一款設(shè)備,而使用Breakout形態(tài)如200G 1分2,100G 1分4,50G 1分2等多種DAC線纜,來支持從25G到100G(PAM4)不同速率服務(wù)器接入。網(wǎng)絡(luò)則快速從100G迭代到200G。

  未來阿里云數(shù)據(jù)中心網(wǎng)絡(luò)的迭代和演進(jìn),也將受益于此。

  二、穩(wěn)定性提升,延時(shí)降低

  1. 在普通風(fēng)冷環(huán)境中,DAC的故障率同比AOC降低1個(gè)數(shù)量級以上。由于DAC零功耗,不含有電、光芯片等有源器件,不存在因激光器老化、半導(dǎo)體電應(yīng)力等導(dǎo)致的失效因子。在業(yè)務(wù)運(yùn)行中DAC體現(xiàn)了非常高的穩(wěn)定性,網(wǎng)絡(luò)運(yùn)營輕量化,用戶網(wǎng)絡(luò)體驗(yàn)“絲般順滑”。

  2. 在浸沒式液冷環(huán)境中,DAC更是體現(xiàn)了簡單、可靠的特點(diǎn)。DAC內(nèi)不含有激光器、光波導(dǎo)等對液體敏感器件,不必采用如光模塊所必須的密封工藝,從而極大降低了相應(yīng)的成本,提高了可靠性。阿里數(shù)據(jù)中心DAC通過對材料選用、線纜信號完整性性能設(shè)計(jì),采用一款DAC同時(shí)支持風(fēng)冷和浸沒式液冷環(huán)境。

  3. DAC提供極低的延時(shí)性能。DAC和光纖線纜本身均會(huì)有大約5ns/m的傳輸延時(shí),但是光模塊則因重新時(shí)鐘恢復(fù)(CDR),甚至需要基于DSP的信號均衡技術(shù),引入了額外的信號延時(shí)。在AI計(jì)算、資源池化等場景下,延時(shí)需要格外的控制。PCIE Gen6在64G-PAM4的速率下物理層協(xié)議中為了控制延時(shí)僅僅留了10ns以內(nèi)的FEC延時(shí)開銷預(yù)算,而光模塊DSP-based re-timer芯片就會(huì)帶來幾十納秒的延時(shí)(收+發(fā))。

  三、節(jié)能減排,降本增效

  能耗和采購成本的降低,是從AOC切換到DAC后帶來的最直觀的收益。尤其是當(dāng)匹以數(shù)據(jù)中心百萬級別的使用數(shù)量時(shí),數(shù)字更令人吃驚。

  以100萬根25G直連DAC為例:

  OPEX:每年節(jié)省的電力消耗為>1千萬度;

  CAPEX:每100萬根25G DAC節(jié)省>1億元。

  此外,DAC無需建立如光模塊運(yùn)營中所需的對激光器、模塊溫度等監(jiān)控所需的系統(tǒng),無需關(guān)注光纖端面潔凈度等現(xiàn)場問題。在數(shù)據(jù)中心內(nèi)服務(wù)器部署規(guī)模爆發(fā)式增長的同時(shí),DAC的應(yīng)用幫助IDC現(xiàn)場運(yùn)維、數(shù)據(jù)中心網(wǎng)絡(luò)運(yùn)營效率明顯提升。

  06 展望未來

  DAC以銅為傳輸媒介,本質(zhì)上決定了無論物理網(wǎng)絡(luò)通過提高單通道速率還是增加并行通道數(shù)量的方式來升級鏈路帶寬,DAC的應(yīng)用都會(huì)受到嚴(yán)重挑戰(zhàn)?!案恍摇钡氖?,這兩種方式往往是同時(shí)或交替進(jìn)行的。

  一、挑戰(zhàn):越來越短,越來越粗

  銅纜傳輸線的損耗在3~6dB/m這個(gè)級別,隨著單通道速率的不斷增長,能支持的DAC長度將會(huì)越來越短。如果能支持的最長長度達(dá)不到1.5m~2m,那就失去了DAC應(yīng)用的大部分意義。

  DAC中每一路銅傳輸線的直徑在毫米級別(光纖則在微米級別),4通道→8通道→16通道的scale out使得DAC的直徑幾乎成倍地增加。

  所以在網(wǎng)絡(luò)速率和帶寬不斷提升的過程中,DAC在機(jī)柜內(nèi)布線、可連接長度都有非常大的挑戰(zhàn)。

  二、DAC的未來

  隨著物理網(wǎng)絡(luò)單通道速率邁向224Gbps,銅媒介電通道面臨著非常大的挑戰(zhàn)。但是在高級Serdes技術(shù)的加持下,在材料和工藝不斷進(jìn)步中,使用DAC來滿足數(shù)據(jù)中心超短距網(wǎng)絡(luò)互聯(lián)仍然是可實(shí)現(xiàn)且意義重大的。

  1. 材料和工藝演進(jìn):高速線纜的材料(包括絕緣介質(zhì)材料和導(dǎo)體材料)性能以大約每三年20~30%的速度提升,而信號速率則是每三年翻一倍。當(dāng)前的研究中,一些新的DAC材料工藝和技術(shù)也在不斷地涌現(xiàn),例如在不降低銅導(dǎo)體直徑的情況下,通過新材料和工藝降低絕緣層的厚度,使得總體線徑較??;還有比如通過成纜方式的改變,在同樣線徑下使得線纜更軟更易彎折。

  2. 新的應(yīng)用需求:隨著AI計(jì)算的迅猛增長,AI訓(xùn)練集群內(nèi)的互聯(lián)擴(kuò)展需要高帶寬、低延時(shí)。另外計(jì)算、存儲(chǔ)資源池化和擴(kuò)展,也在提出對低延時(shí)互聯(lián)技術(shù)標(biāo)準(zhǔn)化的需求。DAC的高穩(wěn)定、低延時(shí)的特性可以很好地滿足這些領(lǐng)域的需求。

  3. DAC長度之上的潛在方案:從通信的邏輯上看很簡單,“電中繼”或者“電轉(zhuǎn)光”,滿足超過無源DAC長度極限的需求。

  有源銅纜。通過在DAC的模塊中加入Re-driver或Re-timer,來“中繼”電信號以達(dá)到延長高速電信號傳輸距離(變長),或同等距離下減小線徑(變細(xì))的目的。其成本和功耗介于無源DAC和有源AOC之間,在一定的速率范圍內(nèi)是個(gè)不錯(cuò)的選擇。但是隨著速率上升到112G-PAM4以后,需要有CDR功能的re-timer(甚至DSP-based),后者則又帶來和光模塊相當(dāng)?shù)膫鬏斞訒r(shí)和功耗代價(jià)。

  Direct-drive光模塊。其模塊中不使用CDR(且不使用DSP-based均衡器)從而同比大大降低了傳輸延時(shí),代價(jià)是強(qiáng)依賴于鏈路兩端的芯片來提供對信號的補(bǔ)償和均衡,兩端設(shè)備內(nèi)的通道損耗預(yù)算被縮減。當(dāng)前業(yè)內(nèi)的一些廠商在進(jìn)行基于112G-PAM4速率的Direct-drive光模塊研發(fā),生態(tài)處于早期階段。

  DAC技術(shù),只是數(shù)據(jù)中心物理網(wǎng)絡(luò)互聯(lián)技術(shù)中的一個(gè)小部分,其所帶來的成本、能效、穩(wěn)定性、網(wǎng)絡(luò)性能方面的貢獻(xiàn)是非常明顯的;同時(shí),其局限性和挑戰(zhàn)也一樣明顯。

  面對未來高性能、可預(yù)期數(shù)據(jù)中心網(wǎng)絡(luò)的發(fā)展需求,我們需要的,一定是基礎(chǔ)設(shè)施整體的創(chuàng)新。

內(nèi)容來自:阿里云基礎(chǔ)設(shè)施
本文地址:http://getprofitprime.com//Site/CN/News/2023/02/16/20230216114854223742.htm 轉(zhuǎn)載請保留文章出處
關(guān)鍵字: DAC 阿里巴巴 數(shù)據(jù)中心
文章標(biāo)題:大型數(shù)據(jù)中心內(nèi)的網(wǎng)絡(luò)“甜點(diǎn)”——阿里巴巴自研DAC之路
【加入收藏夾】  【推薦給好友】 
1、凡本網(wǎng)注明“來源:訊石光通訊網(wǎng)”及標(biāo)有原創(chuàng)的所有作品,版權(quán)均屬于訊石光通訊網(wǎng)。未經(jīng)允許禁止轉(zhuǎn)載、摘編及鏡像,違者必究。對于經(jīng)過授權(quán)可以轉(zhuǎn)載我方內(nèi)容的單位,也必須保持轉(zhuǎn)載文章、圖像、音視頻的完整性,并完整標(biāo)注作者信息和本站來源。
2、免責(zé)聲明,凡本網(wǎng)注明“來源:XXX(非訊石光通訊網(wǎng))”的作品,均為轉(zhuǎn)載自其它媒體,轉(zhuǎn)載目的在于傳遞更多信息,并不代表本網(wǎng)贊同其觀點(diǎn)和對其真實(shí)性負(fù)責(zé)。因可能存在第三方轉(zhuǎn)載無法確定原網(wǎng)地址,若作品內(nèi)容、版權(quán)爭議和其它問題,請聯(lián)系本網(wǎng),將第一時(shí)間刪除。
聯(lián)系方式:訊石光通訊網(wǎng)新聞中心 電話:0755-82960080-168   Right