PCIe3.0光纜設計:光通訊模塊搭配控制器

訊石光通訊網(wǎng) 2014/1/9 14:57:29

  光通訊模塊、控制器搭配得宜 PCIe 3.0光纖纜線設計達陣

  文/Christopher Wong

  對PCIe Express 3.0(PCIe Gen3)機箱間的連接應用來說,光纖技術可提供優(yōu)于同軸電纜的更佳替代選擇。

  雖然串行解串行器(SerDes)轉換技術原本的設計是在個人計算機(PC)主板上承載PCIe Gen1/Gen2總線訊號,但也可簡單應用到同軸電纜上做為數(shù)據(jù)中心與服務器機箱間的互連接口。不過,銅纜的通道特性將會因PCIe Gen3更高信道頻率而大幅度劣化,因此長距離的銅線互連技術將面臨無法滿足導入8Gbit/s PCIe Gen3技術產(chǎn)品對成本、效能、尺寸與重量的要求。

  光纖技術為高信道數(shù)PCIe Gen3接口提供非常具有吸引力的替代方案,例如大幅延長的聯(lián)機距離、更小的尺寸、更輕的重量、更低的功耗、更高的效能,以及更具競爭力的成本。雖然采用光纖的PCIe Gen3互連標準尚在初期制訂階段,但市面上已有做為過渡方案的產(chǎn)品。

  本文將介紹PCIe Gen3電氣標準,以及將目前商用光纖技術應用到低成本PCIe Gen3的挑戰(zhàn),并將使用由PLX和安華高(Avago)共同開發(fā)的解決方案探討PCIe Gen3光學聯(lián)機的效能、成本、模塊外型、尺寸,以及制造上面臨的問題,并提出PCIe Gen3端對端光纖聯(lián)機的設計架構,描述光纖解決方案如何用來支持商業(yè)PCIe應用的全64Gbit/s(雙向128Gbit/s)通訊容量。

  PCIe Gen3傳輸速率翻倍成長

  PCIe總線是提供中央處理器(CPU)與相關周邊,如繪圖顯示適配器、內存、磁盤驅動器和外部輸入輸入(I/O)適配卡等連接的高速串行技術,最初由英特爾(Intel)開發(fā),目前已逐漸成為大部分桌面計算機、工作站及高階服務器的互連標準,同時也逐漸在一些較大型系統(tǒng)中成為被動式背板互連的技術。

  在物理層(PHY Layer)上,PCIe以兩個端點設備間單一或多個點連接實現(xiàn),稱為通道(Lane),每個通道都由兩個低電壓交流耦合差動訊號對組成,形成兩個聯(lián)機端點設備間的高速全雙工比特流(Bitstream)。比特流中使用8b/10b編碼方法嵌入數(shù)據(jù)頻率達到超高數(shù)據(jù)傳輸率。為滿足更高的容量,PCIe信道可經(jīng)過組合形成二、四、八及三十二信道的多信道聯(lián)機,并透過信道傳送封包數(shù)據(jù)。

  當PCIe Gen1標準于2003年推出時,每個通道的連接速度定義為2.5Gbit/s,所采用的8b/10b線路編碼法會降低有效容量20%;PCIe Gen2則將速度加倍為5Gbit/s, 帶來三十二通道的PCIe連接器支持,達到高達160Gbit/s的總比特率。圖1所示為PCIe Gen1與Gen2物理層功能分工。

  

圖1 PCIe Gen1與Gen2物理層功能分工(左)與方塊圖(右) 圖片來源:英特爾

  2010年底定的PCIe Gen3規(guī)格則再一次將信道容量加倍,并以稱為“打散(Scrambling)”的技術取代Gen1與Gen2使用的8b/10b線路編碼方式,可降低信道負擔約1.5%。

  光纖延伸PCIe接口聯(lián)機距離

  由于PCIe技術的高頻訊號須額外利用阻抗受控信道,減低訊號噪聲,且聯(lián)機距離相對較短,因此比較適用于CPU與周邊位置接近的連接。

  先不論技術上的挑戰(zhàn),業(yè)界已對使用電子與光纖纜線延伸PCIe聯(lián)機到機箱間應用具高度的興趣。服務器、交換機及儲存設備間透過PCIe連接時,并不需中介傳輸通訊協(xié)議或是相關的電子零組件,除可降低系統(tǒng)延遲并提高傳輸效率外,使用PCIe還具降低整體系統(tǒng)復雜度、成本及耗電的優(yōu)點。

  為支持這些應用,業(yè)界也制定外部PCIe(External PCI Express, ePCIe)規(guī)格,可將PCIe Gen1的2.5Gbit/s訊號傳輸延伸到數(shù)公尺長的同軸電纜,目前已被應用于包括儲存系統(tǒng)、高效能運算計算機,以及其他需要高容量、多機箱系統(tǒng)互連的產(chǎn)品,例如高階影音系統(tǒng)等。

  雖然更快的訊號會因更長的纜線導致衰減、對參考頻率抖動更為敏感,以及其他訊號完整性問題限制,無法實現(xiàn)較長的纜線距離,業(yè)界目前已針對ePCIe Gen2的纜線規(guī)格進行解決方案的開發(fā),而這些問題在PCIe Gen3 8Gbit/s傳輸速率時,將更加復雜,且需更昂貴的等化與時序解決方案。事實上,光纖是PCIe Gen3芯片與纜線業(yè)者研發(fā)產(chǎn)品時,要使產(chǎn)品兼具較長聯(lián)機距離與更高容量彈性設計較佳考慮,促使光纖成為延伸現(xiàn)有PCIe總線到多機箱互連的銅纜替代方案。

  值得注意的是,當PCIe Gen3開始量產(chǎn)時,光纖纜線將比銅纜解決方案耗電更少且成本更低,這些特性使采用光纖的PCIe成為目前應用于數(shù)據(jù)中心連接服務器、交換機及其他儲存設備其他傳輸接口的良好替代方案。在整個輸出輸入連接使用PCIe還可減少甚至免除通訊協(xié)議轉換芯片的需求,從而降低整體系統(tǒng)成本、功耗及避免通道延遲的問題。

  光纖版PCIe Gen3過渡方案現(xiàn)身

  雖然PCIe-SIG發(fā)表使用光纖的PCIe Gen3標準還需幾年時間,但目前已有商用產(chǎn)品做為過渡方案,使用市面上可取得的PCIe Gen3組件及平行光收發(fā)器模塊,可大幅加速特定應用光學互連產(chǎn)品的開發(fā),滿足無法等待PCIe SIG提出Gen2/Gen3光纖規(guī)格的市場。

  由于PCIe的媒體訪問控制(MAC)與PHY層的接口非常簡單并擁有良好的文件說明,因此可非常容易使用市面上現(xiàn)有的PCIe Gen3交換器,或其他端點組件推動平行光收發(fā)器模塊,而非PCIe Gen3規(guī)格中定義的多信道電氣SerDes驅動器。對PCIe Gen3最適合的高效能應用,較保險的做法是假設它們需要至少八個平行信道容量。

  多通道端點可使用目前市面上多個供貨商的產(chǎn)品實現(xiàn),包括平行光發(fā)射/接收模塊中的垂直腔表面發(fā)射雷射(Vertical Cavity Surface Emitting Laser, VCSEL)數(shù)組。采用VCSEL技術的平行光學模塊可支持多達十二個平行信道,每信道以8Gbit/s或更高速度運作,并提供150公尺的纜線。

  為評估使用商用產(chǎn)品的可行性,本文建立一個概念驗證展示系統(tǒng)(圖2),由內含四十八通道PCIe Gen3交換器適配卡的主控計算機組成,交換器推動十二信道10Gbit/s MiniPOD光學模塊,并使用八個光學信道,另四個則未使用。

  

圖2 概念驗證光學PCIe聯(lián)機展示系統(tǒng)方塊圖

  光學PCIe聯(lián)機設計挑戰(zhàn)多

  本文架構概念驗證系統(tǒng)的一個主要理由是,提供使用商用零組件做為光學PCIe聯(lián)機應用的可能性證明。此外,原型系統(tǒng)開發(fā)與測試也會找出幾個必須解決的問題,特別是在光學領域的PCIe通訊協(xié)議支持上,這些問題包括:

  · 接收器偵測

  平行光收發(fā)器模塊并未提供由PCIe發(fā)射器用來偵測聯(lián)機存在的50奧姆(Ω)阻抗電氣界面。當適當?shù)呢撦d存在時,發(fā)射器會觸發(fā),并以在組件接收端所偵測到的模式運作,特別的是,它會做為開始傳送一系列線路探查訊號的隊列,以便讓接收器計算并做為等化電路設定的參考,在使用標準PCIe MAC組件支持光學聯(lián)機的應用中,發(fā)射器線路探查與等化功能必須被關閉。

  ·電氣待機模式

  PCIe電氣接口包含在無數(shù)據(jù)傳輸時將聯(lián)機變成節(jié)能待機(Electrical IDLE, EIDLE)模式的功能,不過采用光纖聯(lián)機時這個模式可能會造成問題,原因是收發(fā)器較長的暖機時間可能會產(chǎn)生線路跳動或不適當?shù)钠珘?,帶來錯誤的EIDLE偵測或跳離EIDLE狀態(tài)。

  ·頻率

  由于大部分光學PCIe聯(lián)機并不會在相同機架間有兩端點的連接,因此本文須假設它們不會使用相同的重置或系統(tǒng)頻率訊號,在這些應用及本篇文章提供的范例中,并無法在聯(lián)機上實現(xiàn)同步重置或頻率,因此端點必須能夠支持異步頻率運作。

  · 遠程重置

  在大部分應用中,PCIe聯(lián)機的遠程光學適配卡會在主系統(tǒng)前供電,因此遠程電路卡在設計上須能在電源啟動時進行自動重置程序,以便在主控端啟動時能完全初始化并開始進行聯(lián)機。另一個做法是若操作系統(tǒng)能完全由用戶控制,那么系統(tǒng)就能以任何順序啟動,雖然這種方式并不常見,但對客制化應用軟件在系統(tǒng)中定時檢查聯(lián)機狀態(tài)非常需要,在這樣的組態(tài)下,在兩方系統(tǒng)確認完成傳輸準備后,操作系統(tǒng)便可啟動標準的系統(tǒng)列舉與程序動作。

  ·外部訊號

  目前針對同軸電纜定義的PCIe外部纜線規(guī)格,存在光學解決方案無法承載的額外訊號,例如100MHz的纜線參考頻率(RefClk)并不需要,原因是頻率可由PCIe收發(fā)器的資料串流中取得。此外包括SB_RTN單端邊頻帶訊號的回返電氣訊號接腳、CPRSNT#安裝的纜線/下傳子系統(tǒng)上電、CPWRON上傳子系統(tǒng)電源穩(wěn)定通知、CWAKE#喚醒事件的電源管理訊號,以及CPERST纜線PERST#纜線平臺重置等接腳,在使用光纖纜線時也無法使用。

  選擇支持八信道組態(tài)組件

  許多標準完成前的開發(fā)動作須實現(xiàn)商用產(chǎn)品尚未提供的功能,通常以使用現(xiàn)場可編程門陣列(FPGA)及離散組件達成。不過在PCIe Gen3的例子上,市場上已有實現(xiàn)概念驗證系統(tǒng)所需功能的產(chǎn)品,雖然它們并沒有針對這類特殊應用優(yōu)化。

  選擇最適合的光學模塊予本文測試應用范例,將包含幾個考慮,包括信道數(shù)量、外型規(guī)格及兼容性等。雖然PCIe規(guī)格允許二、四、八、十二及十六個信道,但光學模塊通常以八或十二個通道組態(tài)提供,本文選擇八通道組態(tài)的原因是其經(jīng)常使用于高效能PCIe 2.0的設計中,預計也會在PCIe Gen3標準受到歡迎。此外,標準化八信道PCIe端點產(chǎn)品也給設計團隊帶來豐富的組件選擇,其中,由于CXP與MiniPOD模塊容易取得并擁有良好的效能特性,因此成為兩個最具吸引力的選擇。

  MiniPOD模塊機械設計較佳

  本文選擇MiniPOD的原因是其嵌入式平行光學組態(tài)可直接安裝到印刷電路板上,帶來更好的電氣與機械設計。MiniPOD光學模塊的占用面積為18.6毫米(mm)×22毫米,并且可接受十二通道的扁平纜線或圓形纜線。扁平纜線的優(yōu)點包括厚度低及模塊可緊密堆棧;圓型纜線則提供更好的穩(wěn)固度及更高彈性的彎折,圖3為透過扁平纜線耦合并使用業(yè)界標準MTP連接器MiniPOD光學模塊。

  

圖3 十二信道嵌入式平行光纖收發(fā)模塊MiniPOD

  和CXP模塊使用的電路板邊緣安裝不同,MiniPOD光學模塊可簡單安排在電路板中央,并提供高速驅動器連接,將承載8Gbit/s電氣訊號的電路板走線長度減到5吋,進而可將因電容表面效應造成的耗損與失真控制在最低。邊緣安裝解決方案的光學或電氣PCIe纜線可能達到12~20吋,或更長的走線長度,且還需特殊的電路板材料、發(fā)射器去強調、接受器等化及頻率數(shù)據(jù)回復(CDR)等技術解決訊號完整性問題。

  本文范例選擇四十八信道PCIe Gen3交換器做為兩個端點的PCIe控制器,原因是該組件整合用來支持光學領域運作的功能,此交換器可解決的問題,第一為交換器擁有關閉接收器偵測的功能,免除光學纜線提供50Ω阻抗的需求,在此模式,交換器透過對輸入數(shù)據(jù)串流譯碼進行速度協(xié)商。

  PCIe控制器第二個解決的問題是EIDLE,原因是該組件能被設定為忽略可能引發(fā)電氣待機狀態(tài)的數(shù)據(jù)串流變化,在此模式下,PCIe控制器持續(xù)追蹤提供對連接速度協(xié)商要求的特定數(shù)據(jù)符號,因此光學聯(lián)機能進行列舉及聯(lián)機情況、信道和速度信息的通訊,達到完全運作帶寬。

  不過由于此交換器經(jīng)過修改的EIDLE功能無法允許進入或跳出動態(tài)電源管理(Active State Power Management, ASPM)狀態(tài),因此還是存在一個小問題,但可透過實體上解除并重新啟動動作連接來初始化聯(lián)機的維持能力加以解決,然而緩存器管理,如資源重新配置、BAR編程、端點的可能注冊重新編程及訊息遮蔽等就需另外的處理程序。

  第三個可由PCIe控制器解決的問題是,交換器支持數(shù)據(jù)回復用的異步頻率模式,允許PCIe光學聯(lián)機的兩端能夠獨立運作。不過這個異步模式將不支持用來降低印刷電路板上承載PCIe訊號走線輻射電磁干擾的系統(tǒng)展頻頻率(Spread Spectrum Clocking, SSC)。

  利用收發(fā)器/光纖控制器實作光纖版PCIe

  本文提出的概念驗證展示的電路板(圖4)包含內建四十八通道PCIe Gen3交換器適配卡的主控計算機,以及一個搭配交換器的光發(fā)射器與接收器模塊子板,在光學聯(lián)機的另一端,另一個包含光收發(fā)器與接收器模塊的交換器接口卡位于電路板上,藉以提供快速周邊,如固態(tài)硬盤驅動及以太網(wǎng)絡(Ethernet)HBA卡的輸出與數(shù)據(jù)整合。

  

圖4 搭配MiniPOD模塊的適配卡

  實體聯(lián)機的每一端都使用PCIe Gen3交換器芯片進行終端,包含頻率/數(shù)據(jù)回復以及每個高速端口的發(fā)射/接收等化。由于交換器芯片的收發(fā)器選用異步模式運作,因此在光學模塊中并不須進行頻率與數(shù)據(jù)回復,可進一步保留PCIe的低延遲優(yōu)勢。MiniPOD光學模塊在電路板中央位置的設計,電路板走線較短,也可讓交換器芯片的Tx與Rx訊號直接與光學模塊介接,因此只須在兩者間加入交流耦合。

  實現(xiàn)30公尺光纖PCIe Gen3纜線

  上述的實作電路板成功實現(xiàn)在OM3的低成本多模光纖上,實現(xiàn)超過30公尺的PCIe Gen3八通道纜線。這個光纖纜線支持異步運作(無原生SSC,但提供SSC隔離)、僅L0動作狀態(tài)(受控操作系統(tǒng)的聯(lián)機啟動與結束控制)、PCIe普通連接速度協(xié)商與PCIe標準聯(lián)機寬度安排功能。

  但礙于先前所討論的技術問題,此一光纖纜線目前并無法具備PCIe動態(tài)電源管理、帶內同步重置(僅支持帶外獨立重置)功能。由圖5眼圖可說明接收器驅動30公尺纜線時,擁有良好的訊號完整性及無錯誤的數(shù)據(jù)回復。

  

圖5 PCIe Gen3交換器在30公尺光纖數(shù)據(jù)傳輸眼圖

  在本文實作范例中,MiniPOD光學模塊可支持PCIe Gen3以每信道8.0Gbit/s的速度運作,但實際上可支持1G?10.3125 Gbit/s的寬廣傳輸速率,因此這些光學組件可在5.0Gbit/s的PCIe Gen2及2.5Gbit/s的PCIe Gen1運作,不須更改組態(tài)也不會犧牲效能。此一傳輸速率范圍不僅可讓工程師加速實現(xiàn)PCIe Gen3光纖纜線連接,也可做為未來特定應用產(chǎn)品多重速率光學聯(lián)機向后兼容的基礎。

  (本文作者任職于安華高)

新聞來源:新通訊元件雜志<

相關文章

    暫無記錄!