ICC訊 “19世紀(jì)90年代末,尼古拉·特斯拉發(fā)明了AC Generator,而英偉達(dá)發(fā)明了AI Generator,正創(chuàng)造具有無限可能性的Token,這兩者都產(chǎn)生了巨大的市場機(jī)會(huì),而AI Generator也將引發(fā)一場新的工業(yè)革命?!痹谟ミ_(dá)CEO黃仁勛昨日在主題為“開啟產(chǎn)業(yè)革命的全新時(shí)代”的演講中,黃仁勛重申了英偉達(dá)AI Generator的重要性。
顯然,英偉達(dá)有這樣的底氣和實(shí)力。黃仁勛進(jìn)一步表示,價(jià)值3萬億美元的IT行業(yè),即將催生出能夠直接服務(wù)于100萬億美元產(chǎn)業(yè)的創(chuàng)新成果。它不再僅僅是信息存儲(chǔ)或數(shù)據(jù)處理的工具,而是成為AI工廠為每個(gè)行業(yè)生成智能體,這樣的變革以前從未發(fā)生過。我們所處的已不僅僅是一個(gè)AI時(shí)代,而是一個(gè)生成式AI引領(lǐng)的新紀(jì)元。
在全面梳理了AI歷史進(jìn)程以及英偉達(dá)軟硬件革新、生態(tài)合作以及未來路線之外,黃仁勛還總結(jié),AI的下一步將是物理AI,需要基于物理并理解物理定律的AI,而機(jī)器人技術(shù)將基于此快速發(fā)展,未來將徹底改變?nèi)祟惖纳詈凸ぷ鞣绞健?
打造AI超級(jí)工廠 買得越多省得越多
沿著計(jì)算歷史的脈絡(luò),黃偉勛認(rèn)為,行業(yè)發(fā)展至今已有60年的歷史,但只有兩三次重要的技術(shù)變革,包括PC、智能手機(jī)等,但如今生成式 AI 使人類得以再次見證一次技術(shù)變革。
這背后的推進(jìn)力量來自加速計(jì)算和AI。黃仁勛表示,隨著數(shù)據(jù)計(jì)算量以指數(shù)級(jí)增長,CPU的性能擴(kuò)展難以應(yīng)對(duì),導(dǎo)致算力通脹。為此英偉達(dá)發(fā)明了一種創(chuàng)新架構(gòu),將GPU與CPU有效結(jié)合,并持續(xù)架構(gòu)創(chuàng)新提升加速計(jì)算和AI能力。黃仁勛強(qiáng)調(diào)了持續(xù)創(chuàng)新的高性價(jià)比:在短短8年間,英偉達(dá)從第一代Pascal到最新Blackwell B100,8年間GPU的算力增長了1000倍,而能耗降低350倍,將原本需要高達(dá)1000GWh的能量降低到僅需3GWh,且生成一個(gè)token的能耗降至8年前的1/45000。這在PC和數(shù)據(jù)中心行業(yè)都得到了有效印證。
而每一次應(yīng)用的加速都意味著計(jì)算成本的顯著降低,100倍的加速可以帶來高達(dá)97.96%的成本節(jié)省。隨著英偉達(dá)將計(jì)算加速從100倍提升至200倍,再飛躍至1000倍,計(jì)算的邊際成本持續(xù)下降。在過去十年間,英偉達(dá)利用特定算法將計(jì)算的邊際成本降低了驚人的100萬倍,這讓大模型訓(xùn)練成為可行,并引發(fā)全行業(yè)的變革。
在這一過程中,黃仁勛還強(qiáng)調(diào)了軟件在實(shí)施加速計(jì)算中的重要作用?!耙獙?shí)現(xiàn)加速計(jì)算,軟件必須進(jìn)行全面重寫,這也是整個(gè)過程中最具挑戰(zhàn)性的?!秉S仁勛表示,“英偉達(dá)通過在CUDA持續(xù)著力,目前擁有超過350個(gè)軟件庫,包括uDNN深度學(xué)習(xí)庫、計(jì)算光刻平臺(tái)Coolitho、基因測(cè)序庫Pair of Bricks等,成為生態(tài)系統(tǒng)的關(guān)鍵組成部分,使得加速計(jì)算得以廣泛應(yīng)用。”
黃仁勛還提到,CUDA在全球擁有500萬開發(fā)者,覆蓋醫(yī)療保健、金融服務(wù)、計(jì)算機(jī)行業(yè)、汽車行業(yè)等領(lǐng)域,并吸引了OEM和云服務(wù)提供商,從而創(chuàng)造了巨大的機(jī)遇。CUDA已實(shí)現(xiàn)良性的發(fā)展循環(huán),能夠在運(yùn)算基礎(chǔ)不斷增長的情況下,擴(kuò)大生態(tài)系統(tǒng),令成本不斷下降,進(jìn)一步推動(dòng)更多應(yīng)用的加速發(fā)展。
迎接AI時(shí)代“潑天的富貴”,還在于英偉達(dá)已不再是一個(gè)芯片供應(yīng)商,而是一個(gè)難以望其項(xiàng)背的平臺(tái)供應(yīng)商。通過在NVlink、Infiniband以及以太網(wǎng)領(lǐng)域的持續(xù)著力,英偉達(dá)已推出包括配置8款Blackwell芯片的DGX系統(tǒng),其采用空氣冷卻技術(shù),可兼容X86,并已應(yīng)用于已發(fā)貨的服務(wù)器中。此外還有采用液體冷卻技術(shù)的全新系統(tǒng)MGX,共有九個(gè)節(jié)點(diǎn)72個(gè)GPU,從而構(gòu)成了一個(gè)龐大的計(jì)算集群,也帶來了成本和效益的全面提升。
黃仁勛對(duì)比了一組數(shù)據(jù),相較于上一代的8個(gè)GPU,性能提升9倍,同時(shí)帶寬增加了18倍,AI FLOPS(每秒浮點(diǎn)運(yùn)算次數(shù))提升了45倍,而功率僅增加了10倍?!耙粋€(gè)價(jià)值十億美元的數(shù)據(jù)中心,在添加價(jià)值5億美元的GPU后,將轉(zhuǎn)變?yōu)橐粋€(gè)強(qiáng)大的AI工廠,如今這種變革正在全球發(fā)生,而節(jié)省的費(fèi)用是實(shí)實(shí)在在的!”黃仁勛“買得越多、省得越多”的生意經(jīng)看起來仍將通行無阻。
完整的AI超算技術(shù)棧,讓英偉達(dá)深厚的護(hù)城河愈加牢固:NVLink已進(jìn)階到第五代,InfiniBand已廣泛使用并且增長迅速。為適應(yīng)眾多企業(yè)的以太網(wǎng)生態(tài),英偉達(dá)推出了Spectrum X,通過網(wǎng)絡(luò)級(jí)RDMA、阻塞控制、適應(yīng)性路由、噪聲隔離,將以太網(wǎng)改造成了適合GPU之間點(diǎn)對(duì)點(diǎn)通信的網(wǎng)絡(luò),成功地為AI工廠提供了高性能、低延遲的網(wǎng)絡(luò)解決方案。Spectrum-X800提供每秒51.2 TB的速度和256路徑(radix)的支持,為數(shù)萬個(gè)GPU而設(shè)計(jì),一年后推出的X800 Ultra將支持高達(dá)512路徑的512 radix,進(jìn)一步提升了網(wǎng)絡(luò)容量和性能,為數(shù)十萬個(gè)GPU而設(shè)計(jì);再下一代的X1600則可擴(kuò)展至數(shù)百萬個(gè)GPU。
對(duì)此黃仁勛強(qiáng)調(diào),隨著全技術(shù)棧的不斷進(jìn)步,數(shù)百萬個(gè)GPU的數(shù)據(jù)中心時(shí)代已經(jīng)指日可待。
一年升級(jí)一代 將一切推向技術(shù)極限
“隨著數(shù)據(jù)生成的增長,對(duì)計(jì)算能力的需求也將相應(yīng)增加。我們即將邁入一個(gè)新時(shí)代,在這個(gè)時(shí)代中,人工智能將能夠?qū)W習(xí)物理定律,理解并基于物理世界的數(shù)據(jù)進(jìn)行決策和行動(dòng)?!秉S仁勛預(yù)計(jì),AI模型將繼續(xù)擴(kuò)大,對(duì)GPU性能的要求也將越來越高。
因而,英偉達(dá)也在持續(xù)發(fā)力下一代產(chǎn)品路線。在3月的GTC2024大會(huì)重磅發(fā)布Blackwell之后,黃仁勛在此次演講中宣布Blackwell現(xiàn)已開始投產(chǎn),預(yù)計(jì)將于2024年晚些時(shí)候正式發(fā)貨,而下一代Blackwell Ultra GPU將于2025年推出。
不止如此,再下一代AI平臺(tái)名為“Rubin”,將于2026年發(fā)布,Rubin架構(gòu)將首次支持8層HBM4高帶寬存儲(chǔ)。隨后在2027年,將推出Rubin Ultra GPU,將集成12顆HBM4版本。據(jù)悉,Rubin平臺(tái)的其他突出特性還包括高達(dá)3600 GB/s的新一代NVLink 6 Switch,以及高達(dá)1600 GB/s的CX9 SuperNIC組件。據(jù)外媒介紹,Rubin GPU將采用4x光罩設(shè)計(jì),并將使用臺(tái)積電3nm制程,以及CoWoS-L封裝技術(shù)。
我們知道英偉達(dá)的每一代GPU都會(huì)以科學(xué)家名字來命名。這次也不例外,即將推出的最先進(jìn)的Rubin GPU是以維拉·弗洛倫斯·庫珀·魯賓(Vera Florence Cooper Rubin)的名字命名,他是一位開創(chuàng)性的天文學(xué)家,他證實(shí)了暗物質(zhì)的存在。
同時(shí),英偉達(dá)也展示了代號(hào)“Vera”強(qiáng)大的新CPU,將與Rubin GPU同時(shí)推出,將組成Vera Rubin超級(jí)芯片,取代當(dāng)前的Grace Hopper。
黃仁勛著重說,英偉達(dá)將以“一年一代”的節(jié)奏推出新的AI芯片,目前這些芯片都處于100%的全面開發(fā)階段。無論采用何種工藝、封裝、內(nèi)存、光學(xué)技術(shù)等等,英偉達(dá)將一切推向技術(shù)極限,所有芯片都100%兼容,豐富的軟件也將持續(xù)擴(kuò)容。且不僅僅是GPU,而是構(gòu)建整個(gè)平臺(tái),將整個(gè)平臺(tái)集成到AI超級(jí)工廠中,以一年一個(gè)的節(jié)奏構(gòu)建數(shù)據(jù)中心規(guī)模。
摩根大通研報(bào)指出,英偉達(dá)預(yù)計(jì)第二財(cái)季保持增長,主要得益于客戶對(duì)AI/加速計(jì)算計(jì)劃的持續(xù)支出,以及對(duì)其Hopper H100和新H200 GPU平臺(tái)(Blackwell GB200/B200/B100)的強(qiáng)勁需求。預(yù)計(jì)Blackwell相關(guān)新品在第三財(cái)季初步生產(chǎn)出貨,并在第四財(cái)季實(shí)現(xiàn)大規(guī)模出貨。
染指AI PC市場 加碼Arm CPU開發(fā)
在英偉達(dá)的AI工廠藍(lán)圖中,英偉達(dá)推出的加速計(jì)算推理的新型軟件——NIM不可或缺。
據(jù)介紹,這一容器中有大量的軟件,包括用于推理服務(wù)的Triton推理服務(wù)器、優(yōu)化的AI模型、云原生堆棧等等。黃仁勛介紹,全球2800萬開發(fā)者都可下載NIM到自己的數(shù)據(jù)中心,托管使用,在幾分鐘內(nèi)就可輕松構(gòu)建生成式AI應(yīng)用程序。與此同時(shí),NIM還支持Meta Llama 3-8B,可以在加速基礎(chǔ)設(shè)施上生成多達(dá)3倍的token。這樣一來企業(yè)可使用相同的計(jì)算資源,生成更多的響應(yīng)。
而基于NIM打造的各類應(yīng)用,也將迸發(fā)涌現(xiàn),包括數(shù)字人、數(shù)字孿生等等。黃仁勛認(rèn)為,未來更希望以更人性化的方式——即數(shù)字人,來進(jìn)行互動(dòng)。“數(shù)字人不僅具有成為出色交互式代理的潛力,它們還更加吸引人,并可能展現(xiàn)出更高的同理心?!?
黃仁勛認(rèn)為,PC將成為數(shù)字人主要載體。在演講中,黃仁勛披露了英偉達(dá)進(jìn)軍AI PC的企圖心。黃仁勛強(qiáng)調(diào),英偉達(dá)在每一個(gè)RTX GPU中安裝了張量核心處理器,目前全球已有1億臺(tái)GeForce RTX AI PC投入使用,未來將達(dá)到2億臺(tái)。
在本次 Computex 2024展會(huì)上,英偉達(dá)將展示四款新的令人驚嘆的筆記本電腦。黃仁勛表示,“它們都能夠運(yùn)行AI,運(yùn)行由AI增強(qiáng)的應(yīng)用程序,未來的PC將不斷提供多種多樣的AI增強(qiáng),成為非常重要的AI平臺(tái)?!?/strong>
英偉達(dá)此舉大有深意。一方面,AI PC市場將成為AI芯片新的驅(qū)動(dòng)力。據(jù)Gartner最新發(fā)布的預(yù)測(cè)報(bào)告顯示,2023 年全球AI芯片銷售收入為536億美元,2024年將同比增長33%至710億美元,來自 AI PC、汽車和其他通用計(jì)算機(jī)設(shè)備的AI芯片收入將達(dá)334億美元。AI PC將會(huì)引領(lǐng)2024年以后的AI芯片收入增長,預(yù)測(cè)2026年AI PC滲透率將達(dá)100%。
另一方面,以英偉達(dá)在云端AI領(lǐng)域的統(tǒng)治地位,面對(duì)生成式AI開始從云端進(jìn)入到邊緣端的趨勢(shì),英偉達(dá)憑借其強(qiáng)大的GPU能力、近年來在自研Grace Arm CPU上積累的經(jīng)驗(yàn)以及與產(chǎn)業(yè)鏈多年來的深度合作,有望在AI PC市場創(chuàng)造新的市場空間。
有傳言稱,英偉達(dá)著手將推出將下一代 Arm Cortex CPU內(nèi)核與其Blackwell GPU內(nèi)核相結(jié)合的芯片,主要面向Windows on Arm的AI PC領(lǐng)域。
如今的英偉達(dá)四面出擊高歌猛進(jìn),也為國內(nèi)GPU廠商的整合敲響了警鐘。有專家指出,英偉達(dá)不斷加快步伐,突破極限。憑借250億美元的銀行存款和今年預(yù)計(jì)超過1000億美元的收入,以及可能再有500億美元的銀行存款,它有能力突破新的極限,引領(lǐng)行業(yè)走向未來。而如果國內(nèi)繼續(xù)一盤散沙的話,只會(huì)越差越遠(yuǎn)。