英偉達已經(jīng)供不上貨了。

坊間曾傳出一份報告，報告稱今年年初百度緊急下單了3000台包含8張芯片的A800服務器（相當于2.4萬張A800芯片），預計全年會有A800和H800共5萬枚需求。無獨有偶，阿裡(lǐ)雲預計也將(jiāng)在今年一萬枚左右芯片，其中6000枚是H800。

有知情人士透露，A800、H800芯片目前正遭到包括服務器、互聯網廠商的國(guó)内公司“哄搶”，“H800國(guó)内開(kāi)始出貨了，但本來産量也不多。A800國(guó)内今年一年出貨的量，超過(guò)一半在互聯網公司，”該知情人士稱，“H800出貨更少，剩下客戶新訂的可能(néng)最快要到12月才能(néng)交付。”

在這(zhè)一輪由Chat GPT掀起(qǐ)的大模型創業潮裡(lǐ)，AI芯片成(chéng)了搶手貨，其中GPU最爲明顯。

唯一的“硬通貨”

随著(zhe)現象級AI産品Chat GPT的走紅，以大型語言模型爲代表的前沿AI技術走向(xiàng)聚光燈之下。不少相關企業都(dōu)接連推出了自己的大模型，百度、阿裡(lǐ)、360、商湯等國(guó)内企業紛紛宣布入局AI大模型。

在技術架構層面(miàn)，AI芯片可分爲GPU（圖形處理器）、ASIC（專業集成(chéng)電路）、FPGA（現場可編程門陣列）和類腦芯片。Chat GPT背後(hòu)的算力支撐主要來自GPU或CPU+FPGA。由于具備并行計算能(néng)力，可兼容訓練和推理，GPU目前被(bèi)廣泛應用。

大模型對(duì)于GPU的要求極高。一方面(miàn)是對(duì)于GPU的數量有要求。根據Semianalysis的測算，Chat GPT每天在計算硬件成(chéng)本方面(miàn)的運營成(chéng)本爲69萬美元。Open AI需要約3,617台HGX A100服務器（2.8萬個GPU）來爲Chat GPT提供服務。

另一方面(miàn)，對(duì)于GPU自身的性能(néng)也有要求。黃仁勳在一次會議上表示：“當前唯一可以實際處理Chat GPT的GPU是英偉達HGX A100。”A100由540億個晶體管組成(chéng)，打包了第三代Tensor核心，并具有針對(duì)稀疏矩陣運算的加速功能(néng)，對(duì)于AI推理和訓練來說特别有用。此後(hòu)，英偉達還(hái)推出A100的替代者——H100，該芯片由台積電5nm定制版本制程（4N）打造，單塊芯片包含800億晶體管，一舉成(chéng)爲最強。

一時間，GPU成(chéng)爲了各大企業走向(xiàng)AI時代的唯一“硬通貨”。

除了前文提到的國(guó)内兩(liǎng)家巨頭企業在購買GPU外，4月14日，國(guó)内第四大雲廠商騰訊宣布推出新一代的高性能(néng)計算集群，該集群采用騰訊雲自研服務器，搭載了英偉達最新的中國(guó)特供版GPU H800，服務器間的連接帶寬高達3.2Tbps。騰訊稱，該服務器集群算力性能(néng)較前代提高了3倍，將(jiāng)騰訊自研的“混元NLP大模型”訓練時間由11天縮短至4天。

随著(zhe)國(guó)内大模型不斷推出，GPU的數量還(hái)遠遠不夠滿足。據前人工智能(néng)NLP企業首席科學(xué)家、千芯科技董事(shì)長(cháng)陳巍測算，國(guó)内如果想要直接訓練出一個GPT-3級别的大模型，最少需要3000到5000枚A100級别的AI芯片。以保守情況估計，目前國(guó)内A100級别的AI芯片缺口在30萬枚左右。

“瘋狂”購買的不止是國(guó)内企業，海外巨頭也在搶購。

2022年11月發(fā)布Chat GPT-3之後(hòu)，Open AI背後(hòu)的金主微軟表示，已經(jīng)購買了超過(guò)一萬枚英偉達A100 GPU芯片，爲Chat GPT構建AI計算集群。前不久，馬斯克也爲了推進(jìn)推特内部的新AIGC項目，直接購買了約1萬個GPU。

不過(guò)，地主家的存糧也不多，據消息人士透露，從2022年末，微軟就實行了GPU資源配額供給，但今年1月以來審批時間越來越長(cháng)，如今部分申請需要等待幾天甚至幾周才能(néng)獲批。同時，微軟向(xiàng)英偉達預訂的數萬枚GPU芯片，交貨無期。

GPU價格攀升

如此巨大的需求，推動著(zhe)本就昂貴的GPU價格再度上漲。

截止5月5日，英偉達最新發(fā)布的旗艦AI芯片H100在ebay上的售價達到4萬美元一枚。記者搜索eBay時發(fā)現，目前共有6家店鋪挂牌銷售H100芯片，其售價普遍達到4.5萬美元左右。相較于之前零售商報價的3.6萬美元，提價明顯。

國(guó)内方面(miàn)，AI應用的主力芯片——由英偉達2020年發(fā)布的A100，價格也在飛速飙升。從年初到現在的5個月内，A100的價格從原來的6萬元一路飙升到10萬元，漲幅超過(guò)50%。業内人士預測由于美國(guó)的禁令，國(guó)内相關芯片的價格將(jiāng)持續上漲。

去年年底，英偉達推出A100“閹割版”（帶寬被(bèi)限制）——A800顯卡，價格也在同步上漲。記者了解到目前A800在京東官網的定價爲89999元。但實際上A800現在處于“有價無市”的情況，供應緊張，真實成(chéng)交價格高于平台報價。

即便按89999元一顆A800芯片的價格計算，1萬顆的成(chéng)本就是約人民币9億元。A800目前在浪潮、新華三等國(guó)内服務器廠商手中是稀缺品，一次隻能(néng)采購數百片。有業内人士感歎：“一天一個價，一天比一天貴。”

《芯片戰争》的作者Chris Miller在接受采訪時也做出預測：“對(duì)于用于AI的特定類型的芯片，實際上已經(jīng)出現了繁榮和一些已經(jīng)變得明顯的短缺。而且似乎對(duì)這(zhè)些類型芯片的需求隻會增長(cháng)。”

代工産能(néng)堪憂

英偉達已經(jīng)供不上貨了。

作爲最強GPU，英偉達自然選擇了擁有全球最先進(jìn)制程的台積電進(jìn)行獨家代工。具體來看，英偉達的A100、A800采用的是台積電7nm工藝、H100則是由台積電5nm定制版（4N）打造。

今年3月，台積電收到了英偉達增加的代工訂單，其産品就是A100、H100，并且也包括爲國(guó)内市場設計的A800系列GPU的代工訂單。

在5nm-7nm制程這(zhè)塊，原本今年台積電的産能(néng)利用率并不算高點。5nm方面(miàn)，去年四季度台積電就面(miàn)臨多家客戶消減訂單；7nm方面(miàn)，台積電也預測在今年上半年不再處于過(guò)去3年的高點。

現實情況卻出乎意料，Chat GPT的火熱帶來的不僅僅是對(duì)于英偉達訂單的需求，同樣(yàng)也助力了AMD等企業。業内人士表示，AMD也獲得了不少客戶的急單需求，并且已經(jīng)向(xiàng)台積電加大了訂單量，其産品制程同樣(yàng)覆蓋5nm和7nm家族。

台積電各公司銷售額占比（2022年随機預測）

台積電先進(jìn)制程的份額中，各家占比不同。根據日本精密加工研究所所長(cháng)湯之上隆的預測，2022年的排名依次爲：蘋果（25.4%）、AMD（9.2%）、聯發(fā)科（8.2%）、Broadcom（8.1%）、高通（7.6%）、英特爾（7.2%）、英偉達（5.8%）。可以看到，英偉達僅在第七。并且占據台積電25.4%營收的蘋果，更是壟斷了台積電80-90%的尖端制程。

随著(zhe)去年年底，特斯拉大量訂購了台積電的4nm/5nm制程訂單，想將(jiāng)其用于全自動駕駛汽車。巨大的訂單量，使得特斯拉一躍拉成(chéng)爲台積電的第七大客戶，英偉達順次排到了第八。

在前七大客戶的訂單沖擊下，英偉達的訂單不免也將(jiāng)受到擠壓。

并且，遠水救不了近火，芯片代工本來就需要較長(cháng)時間。去年8月，受到美國(guó)禁令的影響，英偉達直接對(duì)台積電下了“超級急件(super hot runs)”訂單。這(zhè)批“超級急件”總量約5000片，交期將(jiāng)大幅縮短，從原本預估的5至6個月，壓縮爲2至3個月，最快10月底至11月初開(kāi)始交貨。

由此來看，即使英偉達現在下單台積電，正常情況下GPU的量産仍需要一段時間。

吊死在英偉達一棵樹上？

業内有人甚至以2021年席卷全球的缺芯潮，來類比眼下的GPU短缺：成(chéng)千上萬的AI初創公司、甚至是大型雲服務商，將(jiāng)如當年因缺少關鍵芯片而停産的車企，或因缺少GPU面(miàn)臨相似困境。

不過(guò)，也并非所有客戶都(dōu)“吊死在英偉達一棵樹上”，很多人將(jiāng)目标光投向(xiàng)了英偉達的競争對(duì)手，比如AMD的GPU、Cerebras的WSE，Cerebras表示自家WSE-2是”地球上最快的”AI處理器”。

今年1月，AMD預告了重磅産品AMD Instinct MI300，MI300被(bèi)稱爲“世界上第一款在數據中心集成(chéng)的CPU+GPU”，MI300加速器專爲領先的高性能(néng)計算（HPC）和AI性能(néng)而設計，借助3D封裝技術將(jiāng)CPU和加速計算單元集成(chéng)在一起(qǐ)，總共有1460億個晶體管，預計在今年問世。蘇姿豐表示，該芯片可以將(jiāng)推理建模過(guò)程的時間從幾個月縮短至幾周。

據了解，大約在5年前，微軟就開(kāi)始研發(fā)一種(zhǒng)芯片，内部代号「雅典娜」（Athena），300人共同研發(fā)，專爲訓練大型語言模型（LLM）而設計。如果順利，微軟將(jiāng)通過(guò)Athena將(jiāng)每顆芯片成(chéng)本降低三分之一，從而爲Chat GPT發(fā)展提供重要動力。

與此同時，英特爾也率先掀起(qǐ)了GPU價格戰。J.Gold Associates分析師Jack Gold表示，英特爾的GPU定價“相當激進(jìn)，尤其是一些低端産品”；一些超大規模的廠商很有可能(néng)會向(xiàng)自家客戶提供英特爾的高端GPU。

值得注意的是，面(miàn)對(duì)衆多大模型的算力需求，黃仁勳在2023年3月宣布英偉達將(jiāng)開(kāi)展一項新的雲租賃服務——向(xiàng)B端租賃用于開(kāi)發(fā)Chat GPT等人工智能(néng)技術的超級計算機。

不過(guò)，此舉看似開(kāi)源，實則價格不菲——租賃這(zhè)種(zhǒng)包含8個A100或H100旗艦芯片的價格爲3.7萬美元/月，約合人民币25.4萬元。

如此來看，AI仍舊是富人的遊戲。