向著224Gbps速率進(jìn)發(fā)的新時(shí)代

  本文來自微信公眾號(hào)：數(shù)據(jù)中心前沿技術(shù)

  在剛剛過去的2020年12月份，Broadcom正式發(fā)布了使用112Gbps速率Serdes的兩款Tomahawk4芯片，整個(gè)網(wǎng)絡(luò)領(lǐng)域在2021年將會(huì)開始正式邁向112Gbps速率時(shí)代。本公眾號(hào)在2019年時(shí)談?wù)撨^的這一新的速率時(shí)代，將要從今年開始逐漸落地并成為可用的產(chǎn)品。當(dāng)然，從Broadcom 112G速率芯片的發(fā)布到我們能夠看到使用這些芯片的交換機(jī)產(chǎn)品實(shí)物，至少還要有一年的時(shí)間。畢竟，按照IEEE 802.3CK小組的最新Roadmap，支持112Gbps速率電信號(hào)的規(guī)范要到2022上半年才會(huì)完全定稿并發(fā)布。

針對(duì)112Gbps速率的IEEE 802.3CK規(guī)范最新Roadmap

  在產(chǎn)業(yè)界正在緊鑼密鼓地為112Gbps速率系統(tǒng)的推出而工作時(shí)，規(guī)范領(lǐng)域的專家們已經(jīng)把目光投向了下一代224Gbps速率標(biāo)準(zhǔn)。畢竟，在新的一個(gè)十年里，可以預(yù)見在數(shù)據(jù)中心和移動(dòng)用戶側(cè)的數(shù)據(jù)流量仍然會(huì)保持指數(shù)級(jí)別的增長(zhǎng)。于是，在2020年6月份OIF率先啟動(dòng)了面向下一代的CEI-224G項(xiàng)目，探索224Gbps電氣信號(hào)的傳輸距離和系統(tǒng)架構(gòu)。在這之后不久，IEEE也啟動(dòng)了Beyond 400Gb/s Ethernet Study Group項(xiàng)目，探索使用224Gbps速率的下一代以太網(wǎng)在技術(shù)上的可行性。從OIF和IEEE這兩大國際標(biāo)準(zhǔn)組織的最新動(dòng)向上可以發(fā)現(xiàn)，他們都認(rèn)為將電和光信號(hào)速率從112Gbps升級(jí)到224Gbps是非常有必要的，但具體升級(jí)路徑和方法，還需要在項(xiàng)目組里進(jìn)行更廣泛、深入的探討。

全球移動(dòng)設(shè)備流量的增長(zhǎng)預(yù)期

  信號(hào)速率提升帶來的最直接的影響就是網(wǎng)絡(luò)芯片交換容量的增長(zhǎng)。在2020年的時(shí)候，我們看到Broadcom、Innovium、Barefoot(Intel)、Xsight Labs等公司都推出了25.6Tbps交換容量的芯片。隨著112Gbps速率的逐漸普及，網(wǎng)絡(luò)芯片的交換容量將會(huì)在接下來的2-3年內(nèi)提升到51.2Tbps。到2025年左右，102.4Tbps交換容量的網(wǎng)絡(luò)芯片也將會(huì)進(jìn)入人們的視野。

交換芯片容量的未來發(fā)展目標(biāo)

  51.2T和102.4T交換容量的網(wǎng)絡(luò)芯片在接下來的十年里先后的出現(xiàn)，將會(huì)推動(dòng)交換機(jī)端口帶寬從目前的400GbE提升到800GbE乃至1.6TbE。對(duì)于800GbE帶寬的IO模塊，可以由8個(gè)112Gbps通道組成。但當(dāng)使用4個(gè)224Gbps通道時(shí)，IO模塊可以獲得更小的體積、更好的功耗和散熱性能。同樣的，最初的1.6TbE帶寬的IO模塊也可以由16個(gè)112Gbps通道構(gòu)成，但這顯然沒有任何的應(yīng)用價(jià)值。只有使用8個(gè)224Gbps通道時(shí)，IO模塊在尺寸、功耗和散熱等工程指標(biāo)上才能滿足用戶設(shè)備實(shí)際應(yīng)用的需求。1.6TbE帶寬的IO模塊未來甚至還會(huì)有采用448Gbps通道速率的可能性，當(dāng)然這將會(huì)是更下一個(gè)速率時(shí)代了。

交換機(jī)端口帶寬從400GbE向1.6TbE的演進(jìn)方式

  信號(hào)速率的提升對(duì)CMOS工藝制程也提出了更高的要求。在使用112Gbps通道速率的Tomahakw4-100G芯片上，Broadcom已經(jīng)采用了目前最新的TSMC 7nm工藝制程。隨著TSMC 5nm和3nm工藝制程在接下來的1-2年內(nèi)先后成熟并商用，使用224Gbps速率的網(wǎng)絡(luò)芯片極有可能會(huì)采用3nm工藝制程來進(jìn)行設(shè)計(jì)。其實(shí)對(duì)于Serdes發(fā)送和接收電路而言，使用最新的CMOS工藝并不一定會(huì)有非常明顯的功耗降低。但對(duì)于網(wǎng)絡(luò)芯片的數(shù)據(jù)包處理邏輯電路，使用最新的工藝制程還是可以顯著地降低功耗和芯片面積的。因此Broadcom、Innovium等公司未來的網(wǎng)絡(luò)芯片也極有可能走上AMD EPYC處理器的架構(gòu)之路，使用多晶片Chiplet技術(shù)來構(gòu)建復(fù)雜的芯片，不同晶片模塊使用不同的工藝制程。

CMOS技術(shù)與信號(hào)速率間的發(fā)展對(duì)應(yīng)關(guān)系

  芯片工藝制程的縮減將會(huì)使得TSMC和Samsung采用更加3D化的晶體管結(jié)構(gòu)。在3nm和2nm時(shí)代，三星將使用GAAFET(環(huán)繞柵極場(chǎng)效應(yīng)晶體管)，也就是納米線(Nano wire)技術(shù);而TSMC將使用MBCFET(多橋通道場(chǎng)效應(yīng)晶體管)，也就是納米片(Nano sheet)技術(shù)。從納米線到納米片，可以看成從二維到三維的躍進(jìn)，能夠大大改進(jìn)電路控制，降低晶體管的漏電流。按照TSMC的計(jì)劃，3nm工藝制程將在2022下半年進(jìn)行風(fēng)險(xiǎn)性試產(chǎn)，在2023年進(jìn)入量產(chǎn)階段。同時(shí)，2nm工藝制程將在2023下半年進(jìn)行風(fēng)險(xiǎn)性試產(chǎn)，在2024年進(jìn)入量產(chǎn)階段。

3nm和2nm時(shí)代的晶體管工藝

  224Gbps信號(hào)速率的到來，不僅對(duì)網(wǎng)絡(luò)芯片的設(shè)計(jì)提出了更高的要求，也將變革交換機(jī)設(shè)備的系統(tǒng)架構(gòu)。在112Gbps速率時(shí)代，如華為這樣的系統(tǒng)廠家已經(jīng)在交換芯片與面板側(cè)的IO模塊之間使用無源電纜進(jìn)行高速信號(hào)傳輸，從而避免使用更為昂貴的PCB板材。在224Gbps速率時(shí)代，交換芯片與面板側(cè)的IO模塊之間將會(huì)更為普遍地使用無源電纜進(jìn)行連接。對(duì)于一些更長(zhǎng)的鏈路，使用帶有均衡器(Retimer)的有源電纜也將變得必要起來。

  對(duì)于板間互聯(lián)的鏈路，使用電信號(hào)的連接目前來看仍然會(huì)是主流方案，畢竟這樣的設(shè)計(jì)方式更為成熟。但這就意味著對(duì)于224Gbps速率長(zhǎng)距鏈路，需要大量地使用均衡器來進(jìn)行信號(hào)中繼。否則，現(xiàn)有的PCB和無源電纜互聯(lián)方案的鏈路損耗將過大，無法保證信號(hào)的正常接收。因此，在進(jìn)行224Gbps速率系統(tǒng)的設(shè)計(jì)時(shí)，設(shè)計(jì)者仍然需要VSR、MR和LR這樣的國際標(biāo)準(zhǔn)作為設(shè)計(jì)指導(dǎo)。

224G速率時(shí)代的交換機(jī)系統(tǒng)架構(gòu)

  除了電纜和均衡器之外，硅光技術(shù)的應(yīng)用將會(huì)是224Gbps速率時(shí)代最大的技術(shù)亮點(diǎn)。在2020年初的時(shí)候，Intel就已經(jīng)展示了使用光電共封裝技術(shù)的Tofino 2交換芯片。隨著硅光技術(shù)的逐步成熟，交換芯片上將直接引出光信號(hào)，電/光轉(zhuǎn)換直接在芯片內(nèi)部完成。這樣一來，224Gbps速率的電信號(hào)只需要在芯片內(nèi)部傳輸很短的距離，鏈路損耗將不再成為電信號(hào)傳輸?shù)钠款i。在交換機(jī)IO面板側(cè)，用戶也不會(huì)再看到大量可插拔光模塊的存在，這不僅可以增加交換機(jī)IO面板側(cè)的密度，還可以大幅降低IO面板側(cè)的功耗。到那時(shí)，采用光電共封裝技術(shù)設(shè)計(jì)的交換機(jī)設(shè)備將會(huì)與市場(chǎng)上現(xiàn)有的設(shè)備在系統(tǒng)結(jié)構(gòu)和外形上產(chǎn)生明顯的差異。

224G速率時(shí)代交換機(jī)中的光電共封裝技術(shù)

  說了這么多224Gbps速率將會(huì)帶來的系統(tǒng)架構(gòu)上的變化，歸根到底，這些變化還是與芯片224Gbps Serdes的具體實(shí)現(xiàn)方式密切相關(guān)。芯片速率升級(jí)無外乎三條路徑：基頻時(shí)鐘的提升、更高等級(jí)的編碼制式和確保信號(hào)正確接收的均衡技術(shù)。

交換芯片Serdes升級(jí)到224Gbps速率的途徑

  在112Gbps速率時(shí)代，為了避免信號(hào)基頻提高太多，業(yè)界普遍使用了PAM4(Pulse Amplitude Modulation)信號(hào)制式。這是以太網(wǎng)信號(hào)從使用了幾十年的NRZ(Non-Return Zero)信號(hào)制式上進(jìn)行的首次變革。在224Gbps速率時(shí)代，如果繼續(xù)沿用PAM4信號(hào)制式，信號(hào)基頻將達(dá)到56GHz，再加上需要考慮時(shí)域信號(hào)在頻域上的多次諧波，頻譜帶寬已經(jīng)遠(yuǎn)遠(yuǎn)超出了現(xiàn)有的PCB材料和電纜所能支持的信號(hào)傳輸頻率范圍。于是，PAM5-PAM8，甚至更高級(jí)別的PAM16成為了224Gbps Serdes的候選對(duì)象。

不同編碼制式對(duì)224Gbps速率的影響

  但更高的PAM信號(hào)制式會(huì)帶來更小的信噪比(SNR)裕量。從時(shí)域信號(hào)的眼圖上就可以明顯地看到，隨著PAM制式的提升，一個(gè)完整的眼圖會(huì)被分割成多個(gè)小眼圖。在使用PAM8信號(hào)制式時(shí)，每個(gè)小眼圖的眼睛張開度(眼高和眼寬)都會(huì)變得很小。高級(jí)信號(hào)制式不僅增加了相鄰信號(hào)之間的干擾，也使得在信號(hào)接收端要有很強(qiáng)的均衡能力才能把受到碼間干擾(Inter Symbol Interference)、抖動(dòng)(Jitter)、噪聲(Noise)等影響的信號(hào)正確恢復(fù)出來。

從NRZ到PAM4再到PAM8的眼圖形態(tài)

  于是，我們極有可能會(huì)在224Gbps速率芯片的接收端看到使用更多階數(shù)的前向反饋均衡(FFE：Feed Forward Equalization)和判決反饋均衡(DFE：Decision Feedback Equalization)模塊，以及使用數(shù)據(jù)位上更長(zhǎng)的連續(xù)比特?cái)?shù)進(jìn)行前向糾錯(cuò)(FEC：Forward Error Correction)的算法均衡。所有的這些信號(hào)接收端的均衡功能都會(huì)增加信號(hào)傳輸?shù)难訒r(shí)，并增加芯片面積和功耗，這就又反過來要求必須采用更先進(jìn)的工藝制程或新的芯片架構(gòu)來設(shè)計(jì)新一代的交換芯片。

更高的信噪比(SNR)要求更強(qiáng)的接收均衡

  如果使用光電共封裝的交換芯片，那么整個(gè)芯片設(shè)計(jì)方式都將發(fā)生變化。由于光信號(hào)在芯片內(nèi)部直接轉(zhuǎn)換為電信號(hào)，這就不需要電信號(hào)的發(fā)送和接收均衡能力都做得很強(qiáng)，從而可以有效地降低信號(hào)傳輸時(shí)延。在現(xiàn)階段來看，光電共封裝的交換芯片可以采用兩步走的方式進(jìn)行迭代演進(jìn)。

光電共封裝交換芯片的演進(jìn)思路

  在第一代的光電共封裝交換芯片里，直接把現(xiàn)有光模塊里面的部件通過硅光技術(shù)集成到交換芯片內(nèi)部，使用超短距的100G-XSR電信號(hào)接口連接兩部分電路，芯片封裝上引出的光纖則直接輸出100Gbps波長(zhǎng)的光信號(hào)。

基于100Gbps XSR接口的第一代光電共封裝芯片

  在第二代的光電共封裝交換芯片里，將進(jìn)一步地把光模塊部件里的PHY模塊(100G-XSR接口和DSP模塊)集成到交換芯片內(nèi)部，光接口部分只保留光電轉(zhuǎn)換和光發(fā)送/接收模塊。這樣一來，就可以在芯片核心Die的外圍集成更多的硅光模塊，從而實(shí)現(xiàn)102.4Tbps這種更高的交換帶寬。

基于DSP技術(shù)的第二代光電共封裝芯片

  當(dāng)然，不論是第一代還是第二代光電共封裝的交換芯片，都面臨著供電、散熱、Chiplet設(shè)計(jì)技術(shù)、加工良率等各種工程問題上的挑戰(zhàn)，實(shí)現(xiàn)起來并不容易。但隨著技術(shù)的不斷進(jìn)步，相信這些工程問題在未來的3-5年內(nèi)一定會(huì)得到解決。

  總 結(jié)

  站在新的一個(gè)十年的開端，必然會(huì)展望未來技術(shù)發(fā)展的方向。112Gbps速率在接下來的2-3年內(nèi)會(huì)逐漸成為網(wǎng)絡(luò)領(lǐng)域的主流。而作為其下一代的224Gbps信號(hào)速率，已經(jīng)開始嶄露頭角，將會(huì)是未來各種展會(huì)、論壇上的熱門話題。不論是OIF還是IEEE，對(duì)224Gbps速率的研究都還在起步階段，隨著時(shí)間的推移，相信會(huì)有更多準(zhǔn)確的分析結(jié)論和更新的設(shè)計(jì)方案被提出。本公眾號(hào)會(huì)繼續(xù)跟進(jìn)，及時(shí)給大家?guī)順I(yè)界最新的研究成果。

  在224Gbps速率時(shí)代，出于成本上的考慮，無源電纜和有源電纜將會(huì)在網(wǎng)絡(luò)設(shè)備的系統(tǒng)設(shè)計(jì)中發(fā)揮更大的作用。在本文中對(duì)這一話題只是簡(jiǎn)單涉及了一下，后面將會(huì)專門寫一篇文章，探討一下224Gbps速率時(shí)代銅退光進(jìn)的光電模塊。敬請(qǐng)期待!