ICC訊 “人工智能之火點燃算力需求,AI服務器市場拆解”,詳細介紹了服務器構(gòu)成及市場情況、AIGC帶來服務器變革、訓練&推理帶來服務器增量需求、AI服務器市場迎來高速發(fā)展機遇、AI服務器產(chǎn)業(yè)鏈解析、AI服務器競爭格局。
詳細技術(shù)內(nèi)容參考“高性能計算知識匯總”及“OpenMP編譯原理及實現(xiàn)”,高性能計算應用特征剖析、深度報告:GPU研究框架、《高性能計算和超算專題》。及人工智能之火點燃算力需求,AI服務器市場拆解。
服務器主要硬件包括處理器、內(nèi)存、芯片組、I/O (RAID卡、網(wǎng)卡、HBA卡)、硬盤、機箱(電源、風扇)。以一臺普通的服務器生產(chǎn)成本為例,CPU及芯片組大致占比50%左右,內(nèi)存大致占比15%左右,外部存儲大致占比10%左右,其他硬件占比25%左右。
服務器的邏輯架構(gòu)和普通計算機類似。但是由于需要提供高性能計算,因此在處理能力、穩(wěn)定性、可靠性、安全性、可擴展性、可管理性等方面要求較高。
邏輯架構(gòu)中,最重要的部分是CPU和內(nèi)存。CPU對數(shù)據(jù)進行邏輯運算,內(nèi)存進行數(shù)據(jù)存儲管理。
服務器的固件主要包括BIOS或UEFI、BMC、CMOS,OS包括32位和64位。
服務器市場規(guī)模持續(xù)增長。根據(jù)Counterpoint的全球服務器銷售跟蹤報告,2022年,全球服務器出貨量將同比增長6%,達到1380萬臺。收入將同比增長17%,達到1117億美元。根據(jù)IDC、中商產(chǎn)業(yè)研究院,我國服務器市場規(guī)模由2019年的182億美元增長至2022年的273.4億美元,復合年均增長率達14.5%,預計2023年我國服務器市場規(guī)模將增至308億美元。
競爭格局:根據(jù)IDC發(fā)布的《2022年第四季度中國服務器市場跟蹤報告Prelim》,浪潮份額國內(nèi)領(lǐng)先,新華三次之,超聚變排行第三,中興通訊進入前五。
目前,AIGC產(chǎn)業(yè)生態(tài)體系的雛形已現(xiàn),呈現(xiàn)為上中下三層架構(gòu):①第一層為上游基礎(chǔ)層,也就是由預訓練模型為基礎(chǔ)搭建的AIGC技術(shù)基礎(chǔ)設(shè)施層。②第二層為中間層,即垂直化、場景化、個性化的模型和應用工具。③第三層為應用層,即面向C端用戶的文字、圖片、音視頻等內(nèi)容生成服務。
回顧GPT的發(fā)展,GPT家族與BERT模型都是知名的NLP模型,都基于Transformer技術(shù)。GPT,是一種生成式的預訓練模型,由OpenAI團隊最早發(fā)布于2018年,GPT-1只有12個Transformer層,而到了GPT-3,則增加到96層。其中,GPT-1使用無監(jiān)督預訓練與有監(jiān)督微調(diào)相結(jié)合的方式,GPT-2與GPT-3則都是純無監(jiān)督預訓練的方式,GPT-3相比GPT-2的進化主要是數(shù)據(jù)量、參數(shù)量的數(shù)量級提升。
未來異構(gòu)計算或成為主流
異構(gòu)計算(Heterogeneous Computing)是指使用不同類型指令集和體系架構(gòu)的計算單元組成系統(tǒng)的計算方式,目前主要包括GPU云服務器、FPGA云服務器和彈性加速計算實例EAIS等。讓最適合的專用硬件去服務最適合的業(yè)務場景。
在CPU+GPU的異構(gòu)計算架構(gòu)中,GPU與CPU通過PCle總線連接協(xié)同工作,CPU所在位置稱為主機端(host),而GPU所在位置稱為設(shè)備端(device)。基于CPU+GPU的異構(gòu)計算平臺可以優(yōu)勢互補,CPU負責處理邏輯復雜的串行程序,而GPU重點處理數(shù)據(jù)密集型的并行計算程序,從而發(fā)揮最大功效。
越來越多的AI計算都采用異構(gòu)計算來實現(xiàn)性能加速。
阿里第一代計算型GPU實例,2017年對外發(fā)布GN4,搭載Nvidia M40加速器.,在萬兆網(wǎng)絡(luò)下面向人工智能深度學習場景,相比同時代的CPU服務器性能有近7倍的提升。
CPU適用于一系列廣泛的工作負載,特別是那些對于延遲和單位內(nèi)核性能要求較高的工作負載。作為強大的執(zhí)行引擎,CPU將它數(shù)量相對較少的內(nèi)核集中用于處理單個任務,并快速將其完成。這使它尤其適合用于處理從串行計算到數(shù)據(jù)庫運行等類型的工作。
GPU最初是作為專門用于加速特定3D渲染任務的ASIC開發(fā)而成的。隨著時間的推移,這些功能固定的引擎變得更加可編程化、更加靈活。盡管圖形處理和當下視覺效果越來越真實的頂級游戲仍是GPU的主要功能,但同時,它也已經(jīng)演化為用途更普遍的并行處理器,能夠處理越來越多的應用程序。
AI服務器作為算力基礎(chǔ)設(shè)備持續(xù)增長
AI服務器作為算力基礎(chǔ)設(shè)備,其需求有望受益于AI時代下對于算力不斷提升的需求而快速增長。根據(jù)TrendForce,截至2022年為止,預估搭載GPGPU(General Purpose GPU)的AI服務器年出貨量占整體服務器比重近1%,預估在ChatBot相關(guān)應用加持下,有望再度推動AI相關(guān)領(lǐng)域的發(fā)展,預估出貨量年成長可達8%;2022~2026年復合成長率將達10.8%。
AI服務器是異構(gòu)服務器,可以根據(jù)應用范圍采用不同的組合方式,如CPU + GPU、CPU + TPU、CPU +其他加速卡等。IDC預計,中國AI服務器2021年的市場規(guī)模為57億美元,同比增長61.6%,到2025年市場規(guī)模將增長到109億美元,CAGR為17.5%。
AI服務器構(gòu)成及形態(tài)
AI服務器主要構(gòu)成:以浪潮NF5688M6 服務器為例,其采用NVSwitch實現(xiàn)GPU跨節(jié)點P2P高速通信互聯(lián)。整機8 顆 NVIDIAAmpere架構(gòu)GPU,通過NVSwitch實現(xiàn)GPU跨節(jié)點P2P高速通信互聯(lián)。配置 2顆第三代Intel Xeon可擴展處理器(Ice Lake),支持8塊2.5英寸NVMe SSD orSATA/SASSSD以及板載2塊SATA M.2,可選配1張PCIe 4.0 x16 OCP 3.0網(wǎng)卡,速率支持10G/25G/100G;
可支持10個PCIe 4.0 x16插槽, 2個PCIe 4.0 x16插槽(PCIe 4.0 x8速率), 1個OCP3.0插槽;支持32條DDR4RDIMM/LRDIMM內(nèi)存,速率最高支持3200MT/s,物理結(jié)構(gòu)還包括6塊3000W 80Plus鉑金電源、N+1冗余熱插拔風扇、機箱等。
目前按照GPU數(shù)量的不同,有4顆GPU(浪潮NF5448A6)、8顆GPU(Nvidia A100 640GB)以及16顆GPU(NVIDIA DGX-2)的AI服務器。
AI服務器核心組件包括GPU(圖形處理器)、DRAM(動態(tài)隨機存取存儲器)、SSD(固態(tài)硬盤)和RAID卡、CPU(中央處理器)、網(wǎng)卡、PCB、高速互聯(lián)芯片(板內(nèi))和散熱模組等。
CPU主要供貨廠商為Intel、GPU目前領(lǐng)先廠商為國際巨頭英偉達,以及國內(nèi)廠商如寒武紀、海光信息等。
AI服務器競爭格局
IDC發(fā)布了《2022年第四季度中國服務器市場跟蹤報告Prelim》。從報告可以看到,前兩名浪潮與新華三的變化較小,第三名為超聚變,從3.2%份額一躍而至10.1%,增幅遠超其他服務器廠商。Top8服務器廠商中,浪潮、戴爾、聯(lián)想均出現(xiàn)顯著下滑,超聚變和中興則取得明顯增長。其中,浪潮份額從30.8%下降至28.1%;新華三份額從17.5%下降至17.2%;中興通訊從3.1%提升至5.3%,位居國內(nèi)第5。
聯(lián)想降幅最為明顯,從7.5%下降至4.9%。
據(jù)TrendForce集邦咨詢統(tǒng)計,2022年AI服務器采購占比以北美四大云端業(yè)者Google、AWS、Meta、Microsoft合計占66.2%為最,而中國近年來隨著國產(chǎn)化力道加劇,AI建設(shè)浪潮隨之增溫,以ByteDance的采購力道最為顯著,年采購占比達6.2%,其次緊接在后的則是Tencent、Alibaba與Baidu,分別約為2.3%、1.5%與1.5%。
國內(nèi)AI服務器競爭廠商包括:浪潮信息、新華三、超聚變、中興通訊等。