中國(guó)信通院專家李論：面向大模型的智算集群建設(shè)有三個(gè)要點(diǎn)

  ICC訊 9月27日，以“探索AI邊界重構(gòu)數(shù)字場(chǎng)景”為主題2024產(chǎn)學(xué)研融通創(chuàng)新活動(dòng)在北京正式召開(kāi)，26位演講嘉賓齊聚，共話生成式人工智能的關(guān)鍵技術(shù)與應(yīng)用趨勢(shì)，共探AI大模型在7大領(lǐng)域的應(yīng)用落地。中國(guó)信通院人工智能研究所軟硬件與生態(tài)部主任李論發(fā)表了《大模型應(yīng)用落地趨勢(shì)與路徑》主題演講，在詳述大模型的范式變遷與模型演進(jìn)的同時(shí)，強(qiáng)調(diào)了底座支撐作用。她指出，模型的原始創(chuàng)新與大模型訓(xùn)推系統(tǒng)深度耦合，大模型落地時(shí)，計(jì)算能力決定了大模型性能天花板。

2024產(chǎn)學(xué)研融通創(chuàng)新活動(dòng)

  布局重點(diǎn)及建設(shè)要點(diǎn)

  大模型落地過(guò)程中，AI+HPC融合的萬(wàn)卡集群是布局重點(diǎn)，其中蘊(yùn)藏著眾多機(jī)遇，也是難點(diǎn)與卡點(diǎn)。針對(duì)此，李論提出，面向大模型的智算集群建設(shè)有三個(gè)要點(diǎn)：

  一是軟硬高效協(xié)同的新型基礎(chǔ)設(shè)施。整個(gè)人工智能產(chǎn)業(yè)鏈的形態(tài)正發(fā)生變化，早期產(chǎn)業(yè)呈現(xiàn)出明顯的水平化特征，而今天，主導(dǎo)路線變成了大模型、大數(shù)據(jù)、大算力，以模型為核心的產(chǎn)業(yè)鏈上下游關(guān)聯(lián)變革，底層的產(chǎn)業(yè)鏈體系架構(gòu)在向基礎(chǔ)設(shè)施的方向發(fā)展，芯片從單點(diǎn)變成了大規(guī)模的集群，平臺(tái)的集約性等更為凸顯，大模型訓(xùn)推需求上下傳導(dǎo)至產(chǎn)業(yè)鏈各個(gè)環(huán)節(jié)，新型基礎(chǔ)設(shè)施體系正在形成。

  二是算力效能極致優(yōu)化提升。在構(gòu)建底座的過(guò)程中，Scale up(縱向優(yōu)化)和Scale out(水平拓展)相互結(jié)合，對(duì)軟硬件支撐水平和全棧整合能力提出更大挑戰(zhàn)。一方面，硬件與軟件的協(xié)同適配問(wèn)題仍是重點(diǎn);另一方面，規(guī)模擴(kuò)展到千卡、萬(wàn)卡時(shí)，追求線性集群擴(kuò)展能力難度較大，依舊是需要工程界和學(xué)術(shù)界共同解決的問(wèn)題。

  三是支持超大規(guī)模擴(kuò)展的網(wǎng)絡(luò)架構(gòu)。這需要基于自身需求、結(jié)合大模型訓(xùn)練特點(diǎn)推出定制化組網(wǎng)方案，并為更大集群拓展做好準(zhǔn)備。當(dāng)前，面向大語(yǔ)言模型的定制化、國(guó)產(chǎn)化、規(guī)?；募軜?gòu)體系也在不斷出現(xiàn)。

中國(guó)信通院人工智能研究所軟硬件與生態(tài)部主任李論

  挑戰(zhàn)與調(diào)整建議

  對(duì)于底座支撐整體，李論認(rèn)為挑戰(zhàn)包括三個(gè)方面：如何準(zhǔn)確度量智算集群系統(tǒng)的實(shí)際算力?軟硬件協(xié)同不深，如何增強(qiáng)智算生態(tài)韌性?智算建設(shè)浪潮后，如何可持續(xù)運(yùn)營(yíng)與服務(wù)?

  面對(duì)這些問(wèn)題，李論給出了調(diào)整建議：一是提升智算基礎(chǔ)設(shè)施規(guī)劃水平，對(duì)產(chǎn)品技術(shù)選型、應(yīng)用場(chǎng)景需求、市場(chǎng)競(jìng)爭(zhēng)格局、投資收益等進(jìn)行充分調(diào)研、精準(zhǔn)測(cè)算;二是加快推動(dòng)國(guó)產(chǎn)軟硬件廠商兼容適配，推動(dòng)面向大模型的人工智能訓(xùn)推集群建設(shè)的標(biāo)準(zhǔn)化和規(guī)范化;三是引導(dǎo)鼓勵(lì)智算集群差異化發(fā)展運(yùn)營(yíng)，重視智算生態(tài)運(yùn)營(yíng)，結(jié)合區(qū)域特點(diǎn)制定差異化智算生態(tài)發(fā)展策略。

  對(duì)于大模型的未來(lái)發(fā)展，李論也提出了展望：“未來(lái)一段時(shí)間，模型水平發(fā)展仍將遵循規(guī)模定律，計(jì)算在一定情況下決定了大模型規(guī)模的天花板。底層是軟硬高效協(xié)同的大系統(tǒng)，中間層是以Transformer架構(gòu)為核心驅(qū)動(dòng)通用智能探索的大算法，上層模型平臺(tái)是以模型為中心的大生態(tài)?！?