“算力不能保證我們在通用人工智能技術(shù)上領(lǐng)先，算力是可以買來的，創(chuàng)新的能力是買不來的。”百度創(chuàng)始人李彥宏日前在一次內(nèi)部分享中表示。但無可否認(rèn)，算力是大模型發(fā)展的關(guān)鍵基礎(chǔ)，全球各大科技公司對算力儲(chǔ)備資源的爭奪正愈演愈烈。

以ChatGPT為代表的大語言模型成為人工智能的新范式，大模型的預(yù)訓(xùn)練和推理所需的算力需求也呈現(xiàn)指數(shù)級增長。據(jù)OpenAI分析，2012 年至2018年的6年間，人工智能訓(xùn)練任務(wù)中使用的算力需求便增長了約30萬倍。

(資料圖片僅供參考)

“算力是服務(wù)器產(chǎn)品在使用場景里的一種呈現(xiàn)，算力就是服務(wù)器?！蹦晨萍脊痉?wù)器事業(yè)部負(fù)責(zé)人解釋，自1989年X86服務(wù)器問世，到后來GPU、異構(gòu)計(jì)算的發(fā)展，運(yùn)算能力正從傳統(tǒng)的以 CPU 為主導(dǎo)轉(zhuǎn)向以GPU為主導(dǎo)。

AI場景需要多核、高并發(fā)、高帶寬芯片，支撐強(qiáng)大算力需求的GPU被廣泛應(yīng)用于加速芯片。從這個(gè)角度看，占了全球GPU市場82%份額的英偉達(dá)（Nvidia）成為算力需求大爆發(fā)的贏家。

“一臺(tái)通用計(jì)算服務(wù)器的成本大約在5萬塊錢左右，現(xiàn)在符合美國技術(shù)出口規(guī)范的A800一塊價(jià)格已經(jīng)漲到10萬塊錢，對于投入算力基礎(chǔ)設(shè)施的公司來說，整個(gè)采購成本都在增加。”上述科技公司服務(wù)器事業(yè)部負(fù)責(zé)人說。

當(dāng)然，光有GPU算力仍不夠，“今天的大模型基本都靠分布式、并行式訓(xùn)練的架構(gòu)來支撐，上面需要一個(gè)大規(guī)模分布式軟件優(yōu)化系統(tǒng)來支撐?！甭?lián)想集團(tuán)高級副總裁、首席技術(shù)官芮勇表示。為了抓住AI產(chǎn)業(yè)發(fā)展帶來的新機(jī)遇，聯(lián)想在本月舉行的全球誓師大會(huì)上，還喊出了在服務(wù)器市場超越戴爾、惠普的口號。

算力需求暴增  英偉達(dá)GPU價(jià)格大漲

由于投入大模型的廠商搶購英偉達(dá)A800及存量A100租賃資源，A800的交貨周期被拉長。有渠道商透露，之前拿貨周期大約為一個(gè)月左右，現(xiàn)在基本都得三個(gè)月，甚至更長。

A100是英偉達(dá)2020年5月推出的新一代GPU?！斑@是英偉達(dá)8代GPU史上的一次性能飛躍，其AI訓(xùn)練和推理性能相比于前代V100提升了高達(dá)20倍?！庇ミ_(dá)創(chuàng)始人CEO黃仁勛當(dāng)時(shí)在線上發(fā)布會(huì)中如此形容A100的性能。

A800是英偉達(dá)針對中國市場推出的特供版GPU芯片。2022年10月，美國商務(wù)部祭出高端GPU的出口限令，禁止英偉達(dá)向中國出售包括A100在內(nèi)的高端GPU。為此，英偉達(dá)減性能，推出特供中國的A800，其每秒數(shù)據(jù)傳輸速率只有A100的三分之二。

GPU產(chǎn)品如何影響AI大模型訓(xùn)練？OpenAI聯(lián)合創(chuàng)始人、首席科學(xué)家Ilya  Sutskever在和黃仁勛的“爐邊談話”中如此闡述：“GPU 出現(xiàn)在我們多倫多實(shí)驗(yàn)室，要感謝Geoffrey  Hinton（人工智能教父），他說我們應(yīng)該試試 GPU。最初我們也沒搞懂GPU怎么發(fā)揮作用，但隨著  ImageNet數(shù)據(jù)集的出現(xiàn)，卷積神經(jīng)網(wǎng)絡(luò)非常適合GPU的模型。它讓訓(xùn)練變得非?？?，能做規(guī)模遠(yuǎn)超以前的訓(xùn)練?！?/p>

2016年4月，英偉達(dá)在硅谷發(fā)布深度學(xué)習(xí)超級計(jì)算機(jī)DGX-1，搭載了8塊P100 GPU。據(jù)公開資料顯示，盡管當(dāng)時(shí)DGX-1已經(jīng)收到了近100家公司的訂單，黃仁勛卻把第一臺(tái)捐給了OpenAI。

2016年8月，黃仁勛把第一臺(tái)DGX-1捐給成立還不到一年的OpenAI，此前捐款一億美元的馬斯克也被邀請見證。

“DGX-1對我們的對話和生成式模型研究產(chǎn)生很大的幫助，擴(kuò)大了數(shù)據(jù)量，許多實(shí)驗(yàn)的時(shí)長縮短數(shù)周?！盜lya Sutskever當(dāng)時(shí)表示。

圖為GPT到GPT-3的預(yù)訓(xùn)練大模型參數(shù)的變化

GPT的學(xué)習(xí)能力取決于參數(shù)的規(guī)模。2018年，GPT-1的預(yù)訓(xùn)練大模型參數(shù)為1.1億，2019年發(fā)布的GPT-2提高至15億，2020年GPT-3的預(yù)訓(xùn)練大模型參數(shù)已經(jīng)提高至1750億。

“基本在600—700億個(gè)參數(shù)以上，大模型就‘開竅了’，模型就不用再重新訓(xùn)練，參數(shù)也不用再去調(diào)整了?！避怯赂嬖V記者。

AI芯片是大模型實(shí)行預(yù)訓(xùn)練和推理任務(wù)的算力基座，高端GPU的數(shù)量基本決定了一個(gè)廠商能夠練多大的模型，在各大企業(yè)逐鹿大模型時(shí)，GPU廠商英偉達(dá)賺的盆滿缽滿。

據(jù)市場調(diào)查機(jī)構(gòu)  TrendForce 數(shù)據(jù)顯示，如果以英偉達(dá) A100 顯卡的處理能力計(jì)算，GPT-3.5大模型需要2萬塊GPU來處理訓(xùn)練數(shù)據(jù)。目前英偉達(dá)  A100 顯卡的售價(jià)在 10000-15000 美元之間，預(yù)估英偉達(dá)可以賺3億美元（約20多億人民幣）。

賣芯片僅是英偉達(dá)收割這波新AI紅利的一部分。為了解決部分企業(yè)“買不起卡”的問題，英偉達(dá)已與多家云服務(wù)供應(yīng)商合作，推出云端人工智能DGX  Cloud。企業(yè)可以按月租、通過瀏覽器使用DGX Cloud集群，擴(kuò)展大型多節(jié)點(diǎn)AI訓(xùn)練。DGX Cloud起價(jià)為每個(gè)實(shí)例每月36999美元。

受AI芯片銷量提升的推動(dòng)，今年以來偉達(dá)股價(jià)累計(jì)漲幅超過了90%。

云廠商開啟算力儲(chǔ)備競賽

業(yè)內(nèi)一種公認(rèn)說法是，做好AI大模型的算力門檻是1萬枚英偉達(dá)A100芯片。為了構(gòu)建大規(guī)模AI算力集群，頭部云廠商紛紛采購高性能芯片，用于訓(xùn)練和部署尖端的人工智能。

微軟是首個(gè)采購英偉達(dá)高端GPU以構(gòu)建算力集群的云廠商。據(jù)英偉達(dá)去年11月公告，微軟Azure上部署了數(shù)萬枚A100/H100高性能芯片。

在AI算力儲(chǔ)備方面，谷歌CEO桑達(dá)爾.皮查伊（Sundar Pichai）表示，除了使用自己研發(fā)的芯片為AI模型提供動(dòng)力外，谷歌云也使用英偉達(dá)的芯片處理器。

在國內(nèi)，為發(fā)展大模型，并以云的方式滿足客戶AI算力需求，阿里、百度、騰訊等紛紛開啟了算力儲(chǔ)備賽。

據(jù)一份流傳的“阿里AI專家交流紀(jì)要”顯示：阿里云上至少有上萬片的A100，整體能達(dá)到10萬片。阿里云今年芯片采購量在1萬枚左右，其中6000枚是H800；百度年初緊急下單3000臺(tái)  8卡的A800服務(wù)器，共2.4萬張卡，預(yù)計(jì)全年百度會(huì)有A800和H800共5萬枚的需求。

現(xiàn)在A800價(jià)格已經(jīng)漲到10萬元，這意味著僅芯片采購這一項(xiàng)，頭部云廠商的投入就在十億元以上。

為節(jié)省算力成本，一些互聯(lián)網(wǎng)企業(yè)走上了芯片自研之路。例如谷歌推出的定制化ASIC芯片TPU，百度基于FPGA打造的昆侖芯，阿里平頭哥自研的神經(jīng)網(wǎng)絡(luò)加速芯片含光800等。

有消息稱，除了采購英偉達(dá)芯片外，阿里云也會(huì)使用平頭哥的自研芯片，每年采購量大約3000枚。

此外，國內(nèi)的芯片設(shè)計(jì)企業(yè)，例如寒武紀(jì)、海光、壁仞、燧原等也瞄準(zhǔn)了AI芯片市場，希望從這波大模型訓(xùn)練潮中分一杯羹。

據(jù)稱，阿里云也會(huì)采購國產(chǎn)芯片，例如寒武紀(jì)MLU370，性能是A100的60-70%。今年阿里云對寒武紀(jì)MLU370的采購量大約在2000張，主要用于CV等小模型的訓(xùn)練或推理上。

由于芯片數(shù)量決定算力的規(guī)模，廣義上講，算力的硬技術(shù)就是AI芯片。但AI芯片不能直接作用于各種應(yīng)用場景，而是以服務(wù)器核心組建的形式存在。作為算力的發(fā)動(dòng)機(jī)，服務(wù)器規(guī)模是統(tǒng)計(jì)算力的直觀指標(biāo)之一。

中國信通院《中國算力白皮書（2022）》按照服務(wù)器算力總量估算（年服務(wù)器出貨規(guī)?！廉?dāng)年服務(wù)器平均算力）稱，全球算力規(guī)模美國占比34%，中國占比33%，歐洲占比14%，日本占比5%，其他國家或地區(qū)占比14%。

另據(jù)2022年第60期“全球TOP 500 超級計(jì)算機(jī)”排行榜顯示，中國有兩臺(tái)計(jì)算機(jī)入圍此次榜單中的 TOP 10，共有 162 臺(tái)計(jì)算機(jī)入圍 TOP 500 總榜單。不過，此前超算中心更多是應(yīng)用在科研、軍事、醫(yī)療、高能物理、氣象觀測等方方面面。

GPU服務(wù)器拯救“賣鏟人”

如果說涌入AI大模型賽道的企業(yè)是“淘金者”，浪潮、聯(lián)想、中興通訊等服務(wù)器供應(yīng)商扮演的則是“賣鏟人”的角色。

此前，在全球云服務(wù)市場持續(xù)低迷的背景下，部分服務(wù)器廠商陷入營收和凈利潤雙下滑的窘境。

以國內(nèi)服務(wù)器出貨量第一的浪潮信息（IDC數(shù)據(jù)，2022年市占率28.1%）為例。浪潮信息99%的收入來自服務(wù)器。2023年第一季度，公司營收94億元，同比下降45.59%，凈利潤1.94億元，同比下降40.06%。

服務(wù)器廠商的客戶主要分為互聯(lián)網(wǎng)云廠商、電信運(yùn)營商、數(shù)據(jù)中心服務(wù)商、地方大數(shù)據(jù)產(chǎn)業(yè)園等。其中，互聯(lián)網(wǎng)云廠商和電信運(yùn)營商的采購占大頭，服務(wù)器采購量占比分別約為40%和15%。

作為服務(wù)器采購的大頭，互聯(lián)網(wǎng)云廠商提貨量減少是部分服務(wù)器廠商業(yè)績下滑的主要原因之一。“一般而言，互聯(lián)網(wǎng)對服務(wù)器的需求快于其他行業(yè)的增長，去年是一個(gè)比較特殊的年份（大部分互聯(lián)網(wǎng)公司降本增效），考慮經(jīng)營現(xiàn)金流的情況，互聯(lián)網(wǎng)企業(yè)在服務(wù)器采購方面比較謹(jǐn)慎，反而是從5G轉(zhuǎn)向云及算力網(wǎng)絡(luò)布局的運(yùn)營商在大規(guī)模采購服務(wù)器?！蹦撤?wù)器廠商相關(guān)負(fù)責(zé)人透露。

從中國移動(dòng)、中國電信、中國聯(lián)通三大運(yùn)營商公布財(cái)報(bào)數(shù)據(jù)看，三大運(yùn)營商在2023年增加了算力支出。

需要指出的是，在去年1495萬臺(tái)服務(wù)器出貨量中，搭載 GPGPU（General Purpose GPU）的 AI服務(wù)器的出貨量僅為13萬臺(tái)（據(jù)Trendforce數(shù)據(jù)），僅占整體服務(wù)器采購量的1%。

中興通訊COO謝峻石稱，未來服務(wù)器市場空間很大，據(jù)第三方數(shù)據(jù)，全球服務(wù)器市場規(guī)模約1000億美元，中國服務(wù)器市場規(guī)模約1800億元，預(yù)計(jì)未來五年年復(fù)合增長率達(dá)9%。據(jù)透露，預(yù)計(jì)今年年底，中興通訊將推出支持大帶寬ChatGPT類模型的GPU服務(wù)器。

“ChatGPT引爆新一輪人工智能革命，上游云廠商及運(yùn)營商對GPU服務(wù)器及加速計(jì)算的需求會(huì)持續(xù)上漲，布局GPU服務(wù)器的廠商在未來將迎來新的增長點(diǎn)?！鄙鲜龇?wù)器廠商相關(guān)負(fù)責(zé)人表示。

聯(lián)想集團(tuán)ISG（基礎(chǔ)設(shè)施方案業(yè)務(wù)）總裁Kirk   Skaugen稱，從硬件角度上來講，每臺(tái)服務(wù)器上面的GPU的數(shù)量是增長了，據(jù)第三方機(jī)構(gòu)預(yù)測，每臺(tái)服務(wù)器的售價(jià)可能會(huì)有10到15倍的增長。目前，聯(lián)想在全球服務(wù)器市場排名第三，排在前面的是戴爾、惠普?！拔覀儽容^看重高速增長，如果從數(shù)據(jù)上來講，希望是兩倍于市場的增長或者是市場10%的占有率。”

編輯/new