數(shù)據(jù)中心高速銅纜“芯”未來(lái)

  本篇文章轉(zhuǎn)自微信公眾號(hào)“鵝廠網(wǎng)事”，作者：孫敏

  “銅”進(jìn)“光”退的需求

  伴隨著云業(yè)務(wù)的快速發(fā)展，數(shù)據(jù)中心互聯(lián)硬件對(duì)高運(yùn)行穩(wěn)定性和低成本的訴求也越來(lái)越強(qiáng)烈。以25G速率的服務(wù)器到交換機(jī)互聯(lián)方案為例，主要的連接方式有兩種，DAC和AOC。

  DAC(direct attach cable)顧名思義，由于是直連方案，高速通信信號(hào)在設(shè)備之間傳遞，處于透?jìng)鳡顟B(tài)，而常用的AOC(active optical cable)由于需要將電信號(hào)轉(zhuǎn)換成光信號(hào)，再轉(zhuǎn)換成電信號(hào)，存在多次信號(hào)轉(zhuǎn)換的過(guò)程，會(huì)引入相應(yīng)的適配問題，而數(shù)據(jù)中心互聯(lián)硬件故障里面因?yàn)樾盘?hào)或者協(xié)議匹配導(dǎo)致的適配性問題占比在30%以上，而且故障更因定位過(guò)程復(fù)雜、時(shí)間長(zhǎng)，嚴(yán)重的會(huì)影響數(shù)據(jù)中心的交付使用。DAC由于裝配組件少，結(jié)構(gòu)簡(jiǎn)單，相比于AOC在BOM成本上有著明顯的優(yōu)勢(shì)。不僅如此，DAC幾乎沒有功耗，一根25G DAC的線纜功耗在0.1w左右，而同樣速率的AOC功耗在2w左右，相差10倍以上。以20w臺(tái)服務(wù)器接入的規(guī)模為例，一年可以節(jié)省大幾百萬(wàn)的電費(fèi)。為滿足快速交付的要求，數(shù)據(jù)中心安裝布線的時(shí)效非常重要，布線過(guò)程中必然會(huì)存在線纜損傷，從材料及結(jié)構(gòu)上講，銅比玻璃有著更好的機(jī)械應(yīng)力容忍性，因此，DAC也能夠比AOC容忍更多布線過(guò)程中導(dǎo)致的損傷。但由于機(jī)柜功耗的限制，服務(wù)器到交換機(jī)的連接距離很多場(chǎng)景下往往需要達(dá)到甚至超過(guò)7m，所以早期25G服務(wù)器到交換機(jī)連接的方式以AOC(有源光纜)為主，而DAC(直連銅纜)方案，由于理論上只能支持到5m的應(yīng)用，使得其應(yīng)用大為受限。

  25G NRZ的嘗試

  在保證低成本的前提下，如何延長(zhǎng)銅纜連接距離，有效的方式有兩種：一種是基于信號(hào)時(shí)鐘恢復(fù)的Retimer方案，一種是基于信號(hào)放大的Redriver方案，如下圖：Retimer技術(shù)原理：

  Redriver技術(shù)原理：

  顯而易見，以25G為例。在成本，功耗和功能復(fù)雜性等各方面，Repeater方案都有著明顯的優(yōu)勢(shì)，因此我們選擇了Repeater方案。

  根據(jù)信號(hào)傳輸?shù)奶攸c(diǎn)，我們?cè)诙鄠€(gè)不同的頻點(diǎn)和頻率范圍進(jìn)行輸出參數(shù)調(diào)整，使輸出信號(hào)能夠，最終使得極限情況下DAC的連接距離延長(zhǎng)到了10m。但是，理論上設(shè)計(jì)的連接距離，并不意味著最終量產(chǎn)可用，除了成本還要考慮量產(chǎn)一致性和系統(tǒng)的冗余度。通過(guò)多輪的測(cè)試驗(yàn)證，結(jié)合現(xiàn)網(wǎng)故障率容忍度，我們最終確定了25G Linear-ACC的應(yīng)用范圍<8m，這個(gè)距離已經(jīng)可以覆蓋25G服務(wù)器80%的應(yīng)用場(chǎng)景。

  最終，25G相關(guān)的產(chǎn)品帶來(lái)了預(yù)想的收益，通過(guò)DAC+ACC的布線方案，成本相對(duì)于傳統(tǒng)AOC方案，降低了40%，現(xiàn)網(wǎng)故障率由原來(lái)的0.3%降低一個(gè)數(shù)量級(jí)。

  50G PAM4的升級(jí)

  對(duì)于linear-ACC方案的嘗試，25G只是一個(gè)開始，無(wú)論是方案，還是成本，都還沒有做到極致化，進(jìn)入50G PAM4時(shí)代，成本必然進(jìn)一步提高，而系統(tǒng)對(duì)于信號(hào)質(zhì)量的要求也更上了一個(gè)臺(tái)階，ACC的設(shè)計(jì)也需要更加精細(xì)化。在50G PAM4調(diào)制下，我們進(jìn)一步參與到的芯片設(shè)計(jì)上，包括整體方案選擇、參數(shù)調(diào)節(jié)功能優(yōu)化、融入降噪技術(shù)等一系列的工作。從這一代開始，我們給它一個(gè)新的名字TAC(Tencent Active Cable)。

200G 7m TAC產(chǎn)品

  1. 更精細(xì)的成本控制

  通信行業(yè)硬件成本優(yōu)化離不開的大原則：?jiǎn)螐牟牧蠈用嫔现v，InP比Si貴，Cu比Si貴。跟25G一樣，DAC和ACC一定有一個(gè)交界點(diǎn)，同樣的長(zhǎng)度下，ACC一定比DAC便宜;在50G PAM4下，以200G1分2銅纜為例，2.5m就是這個(gè)成本變化的交叉點(diǎn)，超過(guò)2.5m的銅纜應(yīng)用，用ACC不僅性能裕量更大，而且綜合成本更低。

  2. 系統(tǒng)參數(shù)歸一化

  IEEE802.3cd要求50G PAM4調(diào)制下的線纜滿足在13.28GHz下的SDD21小于17dB，而實(shí)際大規(guī)模生產(chǎn)出來(lái)的線纜，超過(guò)2.8m長(zhǎng)的距離，已經(jīng)超出這個(gè)標(biāo)準(zhǔn)。另一方面，雖然50G PAM4調(diào)制下的基準(zhǔn)頻率與25G NRZ相差不大，但對(duì)于信號(hào)輸出強(qiáng)度更加敏感，中高頻的衰減相比于25G NRZ帶來(lái)的誤碼代價(jià)更高，因此在50G PAM4的應(yīng)用和設(shè)計(jì)上我們傾向于更大的冗余度。新一代ACC的設(shè)計(jì)，我們?nèi)∶鸗AC，這里T即有Tencent的意思，也有Tunable的意思，意味著相比25G，我們可以更加靈活的調(diào)制線纜的參數(shù)，使其與系統(tǒng)更加匹配。需要特別說(shuō)的是，系統(tǒng)在識(shí)別銅纜的過(guò)程中，需要對(duì)銅纜的SI進(jìn)行定標(biāo)，這個(gè)定標(biāo)的過(guò)程，我們稱之為Training，如果已知銅纜的SI參數(shù)，并且參數(shù)統(tǒng)一，我們只需要在系統(tǒng)側(cè)輸入一個(gè)匹配參數(shù)，即可快速連接，降低了系統(tǒng)在識(shí)別過(guò)程中的時(shí)間損耗和錯(cuò)誤率，并且由此可能帶來(lái)的鏈路故障。TAC的最大特點(diǎn)就是可以將不同長(zhǎng)度的線纜SI歸一化到一個(gè)極小的范圍，使得不同長(zhǎng)度的線纜，看上去就像是同一個(gè)規(guī)格。這就是“T”的精髓。

  3. 融入降噪設(shè)計(jì)

  剛剛提到，相比較25G NRZ信號(hào)，50G PAM4信號(hào)對(duì)ACC的性能要求高了很多。首先，PAM4信號(hào)單個(gè)眼的信號(hào)能量比相同幅度的NRZ信號(hào)少了9.5dB，所以對(duì)Redriver芯片的噪聲性能要求提高了。其次，PAM4信號(hào)的多電平特性需要Redriver芯片有更好的線性度，從而保持三個(gè)眼張開的一致性。最后，PAM4信號(hào)比同等波特率的NRZ信號(hào)對(duì)上升/下降沿的要求更高，這意味著需要更多的高頻補(bǔ)償。用于50G PAM4 ACC的Redriver芯片需要同時(shí)實(shí)現(xiàn)更低的噪聲，更高的帶寬和線性度。但是，噪聲和帶寬以及Redriver提供的高頻增益是相互矛盾的，為了解決這個(gè)問題，進(jìn)一步優(yōu)化噪聲和均衡能力之間的折中，我們?cè)谛乱淮腞edriver芯片中加入了噪聲抵消技術(shù)(Noise CancellingTechnique，NCT)。其工作原理如下圖：均衡器里的晶體管在Y點(diǎn)的輸出噪聲通過(guò)反饋網(wǎng)絡(luò)同相拷貝到了輸入X點(diǎn)。另一方面，Y點(diǎn)的輸出信號(hào)和X點(diǎn)的輸入信號(hào)是反向的。通過(guò)引入前饋網(wǎng)絡(luò)把X點(diǎn)的信號(hào)和噪聲進(jìn)行反相放大并和Y點(diǎn)的信號(hào)和噪聲相加，可以抵消一部分輸出噪聲，同時(shí)加強(qiáng)了信號(hào)本身。在理想情況下(HFF=-1/HFB)，均衡器里晶體管的噪聲可以被完全抵消。通過(guò)在線性均衡器電路里引入上述噪聲抵消技術(shù)，晶體管的等效高頻噪聲減少了30%。通過(guò)這個(gè)技術(shù)，線性Redriver在提高帶寬和高頻增益的同時(shí)沒有惡化信噪比(Signal-to-Noise Ratio, SNR)。換句話說(shuō)，在保持一樣的帶寬和高頻均衡增益時(shí)，提高了Redriver的輸出SNR。另外，一種新穎的推挽式跨導(dǎo)結(jié)構(gòu)(Push-Pull Transconductance)被用在了新一代線性均衡器里，大大提高了電路的大信號(hào)線性度，使得在提高SNR的同時(shí)，保持了PAM4信號(hào)三個(gè)眼的一致性。

  4. 性能實(shí)測(cè)

  為了驗(yàn)證基于新一代50G PAM4線性Redriver芯片的性能，用7m 28AWG制作的SFP56有源線纜在實(shí)驗(yàn)室里測(cè)試了S-參數(shù)和誤碼率(Bit Error Rate, BER)，測(cè)試環(huán)境和結(jié)果如下圖所示：

  經(jīng)測(cè)試，各項(xiàng)指標(biāo)已經(jīng)超出預(yù)期，7m 28AWG ACC的回波損耗和插入損耗完全滿足和超出了802.3bj標(biāo)準(zhǔn)的要求，COM值達(dá)到了6dB。測(cè)試接收誤碼率，不開FEC下BER在10-9量級(jí)，遠(yuǎn)低于標(biāo)準(zhǔn)要求，開FEC下無(wú)誤碼。線纜整體功耗實(shí)測(cè)小于0.4W，大約是56G PAM4 AOC的1/10。

  結(jié)語(yǔ)

  “光”進(jìn)“銅”退是通信行業(yè)的必然趨勢(shì)，但并不意味著“銅”的消失，在數(shù)據(jù)中心標(biāo)準(zhǔn)化快速發(fā)展，數(shù)據(jù)中心硬件設(shè)計(jì)更加極致化的今天，“光”與“銅”需要結(jié)合自身的優(yōu)勢(shì)，分別承擔(dān)好自己的“角色”，更好的為數(shù)據(jù)中心網(wǎng)絡(luò)服務(wù)。