下一篇12p_国产精品白浆无码浪潮av_国产精品videossex国产高清_亚洲 制服 丝袜日韩 第一页_97久久精品无码一区二区三区

您當(dāng)前的位置:首頁 >> 快訊 >  >> 
天天短訊!算力軍備競賽重啟:低配版英偉達(dá)GPU國內(nèi)炒至10萬元
來源: 富途牛牛      時(shí)間:2023-05-06 18:37:34

“算力不能保證我們在通用人工智能技術(shù)上領(lǐng)先,算力是可以買來的,創(chuàng)新的能力是買不來的。”百度創(chuàng)始人李彥宏日前在一次內(nèi)部分享中表示。但無可否認(rèn),算力是大模型發(fā)展的關(guān)鍵基礎(chǔ),全球各大科技公司對算力儲(chǔ)備資源的爭奪正愈演愈烈。

以ChatGPT為代表的大語言模型成為人工智能的新范式,大模型的預(yù)訓(xùn)練和推理所需的算力需求也呈現(xiàn)指數(shù)級增長。據(jù)OpenAI分析,2012 年至2018年的6年間,人工智能訓(xùn)練任務(wù)中使用的算力需求便增長了約30萬倍。


(資料圖片僅供參考)

“算力是服務(wù)器產(chǎn)品在使用場景里的一種呈現(xiàn),算力就是服務(wù)器?!蹦晨萍脊痉?wù)器事業(yè)部負(fù)責(zé)人解釋,自1989年X86服務(wù)器問世,到后來GPU、異構(gòu)計(jì)算的發(fā)展,運(yùn)算能力正從傳統(tǒng)的以 CPU 為主導(dǎo)轉(zhuǎn)向以GPU為主導(dǎo)。

AI場景需要多核、高并發(fā)、高帶寬芯片,支撐強(qiáng)大算力需求的GPU被廣泛應(yīng)用于加速芯片。從這個(gè)角度看,占了全球GPU市場82%份額的英偉達(dá)(Nvidia)成為算力需求大爆發(fā)的贏家。

“一臺(tái)通用計(jì)算服務(wù)器的成本大約在5萬塊錢左右,現(xiàn)在符合美國技術(shù)出口規(guī)范的A800一塊價(jià)格已經(jīng)漲到10萬塊錢,對于投入算力基礎(chǔ)設(shè)施的公司來說,整個(gè)采購成本都在增加。”上述科技公司服務(wù)器事業(yè)部負(fù)責(zé)人說。

當(dāng)然,光有GPU算力仍不夠,“今天的大模型基本都靠分布式、并行式訓(xùn)練的架構(gòu)來支撐,上面需要一個(gè)大規(guī)模分布式軟件優(yōu)化系統(tǒng)來支撐?!甭?lián)想集團(tuán)高級副總裁、首席技術(shù)官芮勇表示。為了抓住AI產(chǎn)業(yè)發(fā)展帶來的新機(jī)遇,聯(lián)想在本月舉行的全球誓師大會(huì)上,還喊出了在服務(wù)器市場超越戴爾、惠普的口號。

算力需求暴增  英偉達(dá)GPU價(jià)格大漲

由于投入大模型的廠商搶購英偉達(dá)A800及存量A100租賃資源,A800的交貨周期被拉長。有渠道商透露,之前拿貨周期大約為一個(gè)月左右,現(xiàn)在基本都得三個(gè)月,甚至更長。

A100是英偉達(dá)2020年5月推出的新一代GPU?!斑@是英偉達(dá)8代GPU史上的一次性能飛躍,其AI訓(xùn)練和推理性能相比于前代V100提升了高達(dá)20倍?!庇ミ_(dá)創(chuàng)始人CEO黃仁勛當(dāng)時(shí)在線上發(fā)布會(huì)中如此形容A100的性能。

A800是英偉達(dá)針對中國市場推出的特供版GPU芯片。2022年10月,美國商務(wù)部祭出高端GPU的出口限令,禁止英偉達(dá)向中國出售包括A100在內(nèi)的高端GPU。為此,英偉達(dá)減性能,推出特供中國的A800,其每秒數(shù)據(jù)傳輸速率只有A100的三分之二。

GPU產(chǎn)品如何影響AI大模型訓(xùn)練?OpenAI聯(lián)合創(chuàng)始人、首席科學(xué)家Ilya  Sutskever在和黃仁勛的“爐邊談話”中如此闡述:“GPU 出現(xiàn)在我們多倫多實(shí)驗(yàn)室,要感謝Geoffrey  Hinton(人工智能教父),他說我們應(yīng)該試試 GPU。最初我們也沒搞懂GPU怎么發(fā)揮作用,但隨著  ImageNet數(shù)據(jù)集的出現(xiàn),卷積神經(jīng)網(wǎng)絡(luò)非常適合GPU的模型。它讓訓(xùn)練變得非???,能做規(guī)模遠(yuǎn)超以前的訓(xùn)練?!?/p>

2016年4月,英偉達(dá)在硅谷發(fā)布深度學(xué)習(xí)超級計(jì)算機(jī)DGX-1,搭載了8塊P100 GPU。據(jù)公開資料顯示,盡管當(dāng)時(shí)DGX-1已經(jīng)收到了近100家公司的訂單,黃仁勛卻把第一臺(tái)捐給了OpenAI。

2016年8月,黃仁勛把第一臺(tái)DGX-1捐給成立還不到一年的OpenAI,此前捐款一億美元的馬斯克也被邀請見證。

“DGX-1對我們的對話和生成式模型研究產(chǎn)生很大的幫助,擴(kuò)大了數(shù)據(jù)量,許多實(shí)驗(yàn)的時(shí)長縮短數(shù)周?!盜lya Sutskever當(dāng)時(shí)表示。

圖為GPT到GPT-3的預(yù)訓(xùn)練大模型參數(shù)的變化

GPT的學(xué)習(xí)能力取決于參數(shù)的規(guī)模。2018年,GPT-1的預(yù)訓(xùn)練大模型參數(shù)為1.1億,2019年發(fā)布的GPT-2提高至15億,2020年GPT-3的預(yù)訓(xùn)練大模型參數(shù)已經(jīng)提高至1750億。

“基本在600—700億個(gè)參數(shù)以上,大模型就‘開竅了’,模型就不用再重新訓(xùn)練,參數(shù)也不用再去調(diào)整了?!避怯赂嬖V記者。

AI芯片是大模型實(shí)行預(yù)訓(xùn)練和推理任務(wù)的算力基座,高端GPU的數(shù)量基本決定了一個(gè)廠商能夠練多大的模型,在各大企業(yè)逐鹿大模型時(shí),GPU廠商英偉達(dá)賺的盆滿缽滿。

據(jù)市場調(diào)查機(jī)構(gòu)  TrendForce 數(shù)據(jù)顯示,如果以英偉達(dá) A100 顯卡的處理能力計(jì)算,GPT-3.5大模型需要2萬塊GPU來處理訓(xùn)練數(shù)據(jù)。目前英偉達(dá)  A100 顯卡的售價(jià)在 10000-15000 美元之間,預(yù)估英偉達(dá)可以賺3億美元(約20多億人民幣)。

賣芯片僅是英偉達(dá)收割這波新AI紅利的一部分。為了解決部分企業(yè)“買不起卡”的問題,英偉達(dá)已與多家云服務(wù)供應(yīng)商合作,推出云端人工智能DGX  Cloud。企業(yè)可以按月租、通過瀏覽器使用DGX Cloud集群,擴(kuò)展大型多節(jié)點(diǎn)AI訓(xùn)練。DGX Cloud起價(jià)為每個(gè)實(shí)例每月36999美元。

受AI芯片銷量提升的推動(dòng),今年以來偉達(dá)股價(jià)累計(jì)漲幅超過了90%。

云廠商開啟算力儲(chǔ)備競賽

業(yè)內(nèi)一種公認(rèn)說法是,做好AI大模型的算力門檻是1萬枚英偉達(dá)A100芯片。為了構(gòu)建大規(guī)模AI算力集群,頭部云廠商紛紛采購高性能芯片,用于訓(xùn)練和部署尖端的人工智能。

微軟是首個(gè)采購英偉達(dá)高端GPU以構(gòu)建算力集群的云廠商。據(jù)英偉達(dá)去年11月公告,微軟Azure上部署了數(shù)萬枚A100/H100高性能芯片。

在AI算力儲(chǔ)備方面,谷歌CEO桑達(dá)爾.皮查伊(Sundar Pichai)表示,除了使用自己研發(fā)的芯片為AI模型提供動(dòng)力外,谷歌云也使用英偉達(dá)的芯片處理器。

在國內(nèi),為發(fā)展大模型,并以云的方式滿足客戶AI算力需求,阿里、百度、騰訊等紛紛開啟了算力儲(chǔ)備賽。

據(jù)一份流傳的“阿里AI專家交流紀(jì)要”顯示:阿里云上至少有上萬片的A100,整體能達(dá)到10萬片。阿里云今年芯片采購量在1萬枚左右,其中6000枚是H800;百度年初緊急下單3000臺(tái)  8卡的A800服務(wù)器,共2.4萬張卡,預(yù)計(jì)全年百度會(huì)有A800和H800共5萬枚的需求。

現(xiàn)在A800價(jià)格已經(jīng)漲到10萬元,這意味著僅芯片采購這一項(xiàng),頭部云廠商的投入就在十億元以上。

為節(jié)省算力成本,一些互聯(lián)網(wǎng)企業(yè)走上了芯片自研之路。例如谷歌推出的定制化ASIC芯片TPU,百度基于FPGA打造的昆侖芯,阿里平頭哥自研的神經(jīng)網(wǎng)絡(luò)加速芯片含光800等。

有消息稱,除了采購英偉達(dá)芯片外,阿里云也會(huì)使用平頭哥的自研芯片,每年采購量大約3000枚。

此外,國內(nèi)的芯片設(shè)計(jì)企業(yè),例如寒武紀(jì)、海光、壁仞、燧原等也瞄準(zhǔn)了AI芯片市場,希望從這波大模型訓(xùn)練潮中分一杯羹。

據(jù)稱,阿里云也會(huì)采購國產(chǎn)芯片,例如寒武紀(jì)MLU370,性能是A100的60-70%。今年阿里云對寒武紀(jì)MLU370的采購量大約在2000張,主要用于CV等小模型的訓(xùn)練或推理上。

由于芯片數(shù)量決定算力的規(guī)模,廣義上講,算力的硬技術(shù)就是AI芯片。但AI芯片不能直接作用于各種應(yīng)用場景,而是以服務(wù)器核心組建的形式存在。作為算力的發(fā)動(dòng)機(jī),服務(wù)器規(guī)模是統(tǒng)計(jì)算力的直觀指標(biāo)之一。

中國信通院《中國算力白皮書(2022)》按照服務(wù)器算力總量估算(年服務(wù)器出貨規(guī)?!廉?dāng)年服務(wù)器平均算力)稱,全球算力規(guī)模美國占比34%,中國占比33%,歐洲占比14%,日本占比5%,其他國家或地區(qū)占比14%。

另據(jù)2022年第60期“全球TOP 500 超級計(jì)算機(jī)”排行榜顯示,中國有兩臺(tái)計(jì)算機(jī)入圍此次榜單中的 TOP 10,共有 162 臺(tái)計(jì)算機(jī)入圍 TOP 500 總榜單。不過,此前超算中心更多是應(yīng)用在科研、軍事、醫(yī)療、高能物理、氣象觀測等方方面面。

GPU服務(wù)器拯救“賣鏟人”

如果說涌入AI大模型賽道的企業(yè)是“淘金者”,浪潮、聯(lián)想、中興通訊等服務(wù)器供應(yīng)商扮演的則是“賣鏟人”的角色。

此前,在全球云服務(wù)市場持續(xù)低迷的背景下,部分服務(wù)器廠商陷入營收和凈利潤雙下滑的窘境。

以國內(nèi)服務(wù)器出貨量第一的浪潮信息(IDC數(shù)據(jù),2022年市占率28.1%)為例。浪潮信息99%的收入來自服務(wù)器。2023年第一季度,公司營收94億元,同比下降45.59%,凈利潤1.94億元,同比下降40.06%。

服務(wù)器廠商的客戶主要分為互聯(lián)網(wǎng)云廠商、電信運(yùn)營商、數(shù)據(jù)中心服務(wù)商、地方大數(shù)據(jù)產(chǎn)業(yè)園等。其中,互聯(lián)網(wǎng)云廠商和電信運(yùn)營商的采購占大頭,服務(wù)器采購量占比分別約為40%和15%。

作為服務(wù)器采購的大頭,互聯(lián)網(wǎng)云廠商提貨量減少是部分服務(wù)器廠商業(yè)績下滑的主要原因之一。“一般而言,互聯(lián)網(wǎng)對服務(wù)器的需求快于其他行業(yè)的增長,去年是一個(gè)比較特殊的年份(大部分互聯(lián)網(wǎng)公司降本增效),考慮經(jīng)營現(xiàn)金流的情況,互聯(lián)網(wǎng)企業(yè)在服務(wù)器采購方面比較謹(jǐn)慎,反而是從5G轉(zhuǎn)向云及算力網(wǎng)絡(luò)布局的運(yùn)營商在大規(guī)模采購服務(wù)器?!蹦撤?wù)器廠商相關(guān)負(fù)責(zé)人透露。

從中國移動(dòng)、中國電信、中國聯(lián)通三大運(yùn)營商公布財(cái)報(bào)數(shù)據(jù)看,三大運(yùn)營商在2023年增加了算力支出。

需要指出的是,在去年1495萬臺(tái)服務(wù)器出貨量中,搭載 GPGPU(General Purpose GPU)的 AI服務(wù)器的出貨量僅為13萬臺(tái)(據(jù)Trendforce數(shù)據(jù)),僅占整體服務(wù)器采購量的1%。

中興通訊COO謝峻石稱,未來服務(wù)器市場空間很大,據(jù)第三方數(shù)據(jù),全球服務(wù)器市場規(guī)模約1000億美元,中國服務(wù)器市場規(guī)模約1800億元,預(yù)計(jì)未來五年年復(fù)合增長率達(dá)9%。據(jù)透露,預(yù)計(jì)今年年底,中興通訊將推出支持大帶寬ChatGPT類模型的GPU服務(wù)器。

“ChatGPT引爆新一輪人工智能革命,上游云廠商及運(yùn)營商對GPU服務(wù)器及加速計(jì)算的需求會(huì)持續(xù)上漲,布局GPU服務(wù)器的廠商在未來將迎來新的增長點(diǎn)?!鄙鲜龇?wù)器廠商相關(guān)負(fù)責(zé)人表示。

聯(lián)想集團(tuán)ISG(基礎(chǔ)設(shè)施方案業(yè)務(wù))總裁Kirk   Skaugen稱,從硬件角度上來講,每臺(tái)服務(wù)器上面的GPU的數(shù)量是增長了,據(jù)第三方機(jī)構(gòu)預(yù)測,每臺(tái)服務(wù)器的售價(jià)可能會(huì)有10到15倍的增長。目前,聯(lián)想在全球服務(wù)器市場排名第三,排在前面的是戴爾、惠普?!拔覀儽容^看重高速增長,如果從數(shù)據(jù)上來講,希望是兩倍于市場的增長或者是市場10%的占有率。”

編輯/new

標(biāo)簽:

X 關(guān)閉

X 關(guān)閉