來(lái)源：滿天芯 作者：Vert

    隨著ChatGPT帶火的AI熱潮持續(xù)升溫，行業(yè)內(nèi)布局大型語(yǔ)言模型的企業(yè)逐漸增多，對(duì)算力的需求也在顯著提高。目前英偉達(dá)GPU價(jià)格不僅水漲船高，交貨周期也被拉長(zhǎng)，部分新訂單可能要到12月才能交付。 

    據(jù)集微網(wǎng)消息，有代理商透露，英偉達(dá)A100價(jià)格從去年12月開(kāi)始上漲，截至今年4月上半月，5個(gè)月價(jià)格累計(jì)漲幅達(dá)到37.5%；同期A800價(jià)格累計(jì)漲幅達(dá)20.0%。同時(shí)，英偉達(dá)GPU交貨周期也被拉長(zhǎng)，之前拿貨周期大約為一個(gè)月，現(xiàn)在基本都需要三個(gè)月或更長(zhǎng)。甚至，部分新訂單“可能要到12月才能交付”。

    供需的巨大鴻溝面前，在這一情形之下，眾多客戶也不得不“勒緊腰帶”。據(jù)集微網(wǎng)文章指出，國(guó)內(nèi)可用于訓(xùn)練AI大模型的A100大約有4萬(wàn)-5萬(wàn)個(gè)，供應(yīng)相當(dāng)吃緊，一些云服務(wù)廠商已嚴(yán)格限制內(nèi)部使用這些先進(jìn)芯片，以將其保留至需要強(qiáng)力運(yùn)算的任務(wù)。

    值得一提的是，類似的事情在微軟內(nèi)部也早已發(fā)生。3月已有外媒報(bào)道指出，微軟內(nèi)部陷入AI服務(wù)器硬件短缺的窘境，不得不對(duì)AI硬件資源采取“配額供給”機(jī)制，限制公司內(nèi)部其他AI工具開(kāi)發(fā)團(tuán)隊(duì)的資源用量。

    拉長(zhǎng)時(shí)間線來(lái)看，有GPU業(yè)內(nèi)人士指出，實(shí)際上從去年6月起，英偉達(dá)就已宣布上調(diào)A100價(jià)格，漲幅20%左右，渠道商在加緊囤貨。至于英偉達(dá)A800，在ChatGPT火爆之前就已出現(xiàn)漲價(jià)，但反映到市場(chǎng)則有一定的滯后性，趕上ChatGPT爆火這一時(shí)間點(diǎn)，更放大了這一現(xiàn)象。

    GPU業(yè)內(nèi)人士表示：“英偉達(dá)GPU漲價(jià)與ChatGPT有一定的關(guān)聯(lián)性，且交貨周期也受到了連帶的影響，導(dǎo)致市場(chǎng)上出現(xiàn)了眾多炒卡的行為。”

    此外，在海外電商平臺(tái)上，英偉達(dá)新旗艦級(jí)GPU H100的價(jià)格在4月中旬就已炒到了超過(guò)4萬(wàn)美元。

    如今各家科技巨頭爭(zhēng)相推出自家大模型，GPU需求量持續(xù)攀升。OpenAI指出，AI大模型要持續(xù)取得突破，所需要消耗的計(jì)算資源每3~4個(gè)月就要翻一倍，資金也需要通過(guò)指數(shù)級(jí)增長(zhǎng)獲得匹配。

    業(yè)內(nèi)人士也表示，AI大模型訓(xùn)練成本之一是基礎(chǔ)算力，如果價(jià)格持續(xù)上漲，無(wú)論是互聯(lián)網(wǎng)、AI大廠、還是創(chuàng)業(yè)新貴，要追加的投入都可能遠(yuǎn)超當(dāng)初。

    眾所周知，芯片能力直接影響著高算力訓(xùn)練效果和速度，相較于基于CPU芯片的通用算力，AI所需的智能算力則主要基于GPU、GPGPU及AISC等AI芯片所提供算力，用于人工智能的訓(xùn)練和推理。其中，GPU是一種專門(mén)用于處理圖形、視頻、游戲等高性能計(jì)算的硬件設(shè)備，憑借相較于其他硬件在算力方面的較大優(yōu)勢(shì)脫穎而出，同時(shí)隨著英偉達(dá)A100、H100等型號(hào)產(chǎn)品的發(fā)布，前款產(chǎn)品在AI推理時(shí)吞吐量是CPU的249倍。GPU已成為當(dāng)前AI算力的核心硬件。

    中金公司研報(bào)表示，多GPU互聯(lián)能力加強(qiáng)可以提高并行計(jì)算能力，因而算力提升對(duì)GPU數(shù)量的要求日益提高。隨著單GPU的計(jì)算能力越來(lái)越難以應(yīng)對(duì)深度學(xué)習(xí)對(duì)算力的需求，英偉達(dá)已經(jīng)開(kāi)始用多個(gè)GPU去解決問(wèn)題。對(duì)此，業(yè)內(nèi)分析認(rèn)為，高端GPU的數(shù)量基本決定了一個(gè)廠商能夠練多大的模型，后期將成為業(yè)內(nèi)判斷企業(yè)大模型能力的重要指標(biāo)。

    據(jù)TrendForce數(shù)據(jù)顯示，如果以英偉達(dá) A100 顯卡的處理能力計(jì)算，GPT-3.5大模型需要2萬(wàn)塊GPU來(lái)處理訓(xùn)練數(shù)據(jù)。亦有業(yè)內(nèi)公認(rèn)看法，做好AI大模型的算力門(mén)檻是1萬(wàn)枚A100芯片。

    目前，全球GPU市場(chǎng)主要由英偉達(dá)、英特爾和AMD三家巨頭壟斷，去年Q4獨(dú)立GPU份額分別為85%、6%、9%。其中，人工智能、云端計(jì)算和獨(dú)立GPU主要為英偉達(dá)主導(dǎo)，A100和H100最高浮點(diǎn)算力分別實(shí)現(xiàn)19.5 TFLOPS 和67 TFLOPS。