用戶名: 密碼: 驗(yàn)證碼:

清華“太極-Ⅱ”光芯片面世:成果登 Nature,首創(chuàng)全前向智能光計(jì)算訓(xùn)練架構(gòu)

摘要:清華大學(xué)電子工程系方璐教授課題組、自動(dòng)化系戴瓊海院士課題組另辟蹊徑,首創(chuàng)了全前向智能光計(jì)算訓(xùn)練架構(gòu),研制了“太極-II”光訓(xùn)練芯片,實(shí)現(xiàn)了光計(jì)算系統(tǒng)大規(guī)模神經(jīng)網(wǎng)絡(luò)的高效精準(zhǔn)訓(xùn)練。

  ICC訊  8 月 8 日消息,據(jù)清華大學(xué)官方消息,清華大學(xué)電子工程系方璐教授課題組、自動(dòng)化系戴瓊海院士課題組另辟蹊徑,首創(chuàng)了全前向智能光計(jì)算訓(xùn)練架構(gòu),研制了“太極-II”光訓(xùn)練芯片,實(shí)現(xiàn)了光計(jì)算系統(tǒng)大規(guī)模神經(jīng)網(wǎng)絡(luò)的高效精準(zhǔn)訓(xùn)練。

  該研究成果以“光神經(jīng)網(wǎng)絡(luò)全前向訓(xùn)練”為題,于北京時(shí)間 8 月 7 日晚在線發(fā)表于《自然》期刊。

  清華大學(xué)電子系為論文第一單位,方璐教授、戴瓊海教授為論文的通訊作者,清華大學(xué)電子系博士生薛智威、博士后周天貺為共同一作,電子系博士生徐智昊、之江實(shí)驗(yàn)室虞紹良博士參與了該項(xiàng)工作。該課題受到國(guó)家科技部、國(guó)家自然科學(xué)基金委、北京信息科學(xué)與技術(shù)國(guó)家研究中心、清華大學(xué)-之江實(shí)驗(yàn)室聯(lián)合研究中心的支持。

  Nature 審稿人在審稿評(píng)述中指出“本文中提出的想法非常新穎,此類光學(xué)神經(jīng)網(wǎng)絡(luò)(ONN)的訓(xùn)練過(guò)程是前所未有的。所提出的方法不僅有效,而且容易實(shí)現(xiàn)。因此,它有望成為訓(xùn)練光學(xué)神經(jīng)網(wǎng)絡(luò)和其他光學(xué)計(jì)算系統(tǒng)的廣泛采用的工具。”

  據(jù)清華大學(xué)官方介紹,近年間,具有高算力低功耗特性的智能光計(jì)算逐步登上了算力發(fā)展的舞臺(tái)。通用智能光計(jì)算芯片“太極”首次將光計(jì)算從原理驗(yàn)證推向了大規(guī)模實(shí)驗(yàn)應(yīng)用,擁有 160TOPS / W 的系統(tǒng)級(jí)能效,但現(xiàn)有的光神經(jīng)網(wǎng)絡(luò)訓(xùn)練嚴(yán)重依賴 GPU 進(jìn)行離線建模并且要求物理系統(tǒng)精準(zhǔn)對(duì)齊。

  據(jù)論文第一作者、電子系博士生薛智威介紹,在太極-II 架構(gòu)下,梯度下降中的反向傳播化為了光學(xué)系統(tǒng)的前向傳播,光學(xué)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練利用數(shù)據(jù)-誤差兩次前向傳播即可實(shí)現(xiàn)。兩次前向傳播具備天然的對(duì)齊特性,保障了物理梯度的精確計(jì)算。由于不需要進(jìn)行反向傳播,太極-II 架構(gòu)不再依賴電計(jì)算進(jìn)行離線的建模與訓(xùn)練,大規(guī)模神經(jīng)網(wǎng)絡(luò)的精準(zhǔn)高效光訓(xùn)練終于得以實(shí)現(xiàn)。

  論文研究表明,太極-II 能夠?qū)Χ喾N不同光學(xué)系統(tǒng)進(jìn)行訓(xùn)練,并在各種任務(wù)下均表現(xiàn)出了卓越的性能:

  大規(guī)模學(xué)習(xí)領(lǐng)域:突破了計(jì)算精度與效率的矛盾,將數(shù)百萬(wàn)參數(shù)的光網(wǎng)絡(luò)訓(xùn)練速度提升了 1 個(gè)數(shù)量級(jí),代表性智能分類任務(wù)的準(zhǔn)確率提升 40%。

  復(fù)雜場(chǎng)景智能成像:弱光環(huán)境下(每像素光強(qiáng)度僅為亞光子)實(shí)現(xiàn)了能量效率為 5.40×10^6 TOPS / W 的全光處理,系統(tǒng)級(jí)能效提升 6 個(gè)數(shù)量級(jí)。在非視域場(chǎng)景下實(shí)現(xiàn)了千赫茲幀率的智能成像,效率提升 2 個(gè)數(shù)量級(jí)。

  拓?fù)涔庾訉W(xué)領(lǐng)域:在不依賴任何模型先驗(yàn)下可自動(dòng)搜索非厄米奇異點(diǎn),為高效精準(zhǔn)解析復(fù)雜拓?fù)湎到y(tǒng)提供了新思路。

論文鏈接:https://www.nature.com/articles/s41586-024-07687-4

1、凡本網(wǎng)注明“來(lái)源:訊石光通訊網(wǎng)”及標(biāo)有原創(chuàng)的所有作品,版權(quán)均屬于訊石光通訊網(wǎng)。未經(jīng)允許禁止轉(zhuǎn)載、摘編及鏡像,違者必究。對(duì)于經(jīng)過(guò)授權(quán)可以轉(zhuǎn)載我方內(nèi)容的單位,也必須保持轉(zhuǎn)載文章、圖像、音視頻的完整性,并完整標(biāo)注作者信息和本站來(lái)源。
2、免責(zé)聲明,凡本網(wǎng)注明“來(lái)源:XXX(非訊石光通訊網(wǎng))”的作品,均為轉(zhuǎn)載自其它媒體,轉(zhuǎn)載目的在于傳遞更多信息,并不代表本網(wǎng)贊同其觀點(diǎn)和對(duì)其真實(shí)性負(fù)責(zé)。因可能存在第三方轉(zhuǎn)載無(wú)法確定原網(wǎng)地址,若作品內(nèi)容、版權(quán)爭(zhēng)議和其它問(wèn)題,請(qǐng)聯(lián)系本網(wǎng),將第一時(shí)間刪除。
聯(lián)系方式:訊石光通訊網(wǎng)新聞中心 電話:0755-82960080-168   Right