在今日的Hot Chips 2024大會上，英偉達公布了下一代GPU架構(gòu)Blackwell的更多細節(jié)信息，以及未來的產(chǎn)品路線圖。

　　會議期間，英偉達架構(gòu)總監(jiān)Ajay Tirumala和Raymond Wong對Blackwell平臺進行了初步介紹，并解釋了這些技術(shù)如何協(xié)同工作，在提高能源效率的同時為AI和加速計算性能提供新的標(biāo)準(zhǔn)。

　　為Blackwell做好準(zhǔn)備

　　英偉達Blackwell是通用計算全棧矩陣的終極解決方案，由多個英偉達芯片組成，包括Blackwell GPU、Grace CPU、BlueField數(shù)據(jù)處理單元、ConnectX網(wǎng)絡(luò)接口卡、NVLink交換機、Spectrum以太網(wǎng)交換機和Quantum InfiniBand交換機。

　　它涵蓋了從CPU和GPU計算，到用于互連的不同類型的網(wǎng)絡(luò)。這是芯片到機架和互連，而不僅僅是GPU。它是有史以來單個GPU所擁有的最強AI計算、內(nèi)存帶寬和互連帶寬。通過使用高帶寬接口（NV-HBI），可在兩個GPU芯片之間提供10TB/s的帶寬。

　　此外，英偉達還引入了新的FP4和FP6精度。降低計算精度是提高性能的一種眾所周知的方法。通過英偉達的Quasar量化系統(tǒng)，可以找出哪些方面可以使用較低的精度，從而減少計算和存儲。英偉達表示，用于推理的FP4在某些情況下可以接近BF16性能。

　　NVLink交換機芯片和NVLink交換機托盤（tray）旨在以更低的功耗推送大量數(shù)據(jù)。英偉達演示了GB200 NVL72和NVL36。其中，NVL72包含36個Grace GPU和72個Blackwell GPU，專為萬億參數(shù)AI而設(shè)計。GB200 NVL 72作為一個統(tǒng)一系統(tǒng)，對大語言模型（LLM）推理性能提升高達30倍，釋放了實時運行數(shù)萬億個參數(shù)模型的能力。

　　英偉達表示，隨著AI模型尺寸的增加，在多個GPU上拆分工作負載勢在必行。而Blackwell足夠強大，可以在一個GPU中處理專家模型。

　　最后，英偉達還展示了2024年至2028年的產(chǎn)品路線圖。2026年的1.6T ConnectX-9似乎表明了英偉達對PCIe Gen7的需求，因為PCIe Gen6 x16無法處理1.6T的網(wǎng)絡(luò)連接。

　　Blackwell的技術(shù)突破

　　今年3月，英偉達在GTC 2024開發(fā)者大會上發(fā)布了新的GPU架構(gòu)Blackwell。Blackwell得名于美國數(shù)學(xué)家David Blackwell，是英偉達最新一代的AI芯片與超級計算平臺。與Grace數(shù)據(jù)中心CPU、新一代網(wǎng)絡(luò)芯片等產(chǎn)品一起，面向生成式AI共同組成完整解決方案。

　　英偉達稱，Blackwell擁有6項革命性技術(shù)，可支持多達10萬億參數(shù)的模型進行AI訓(xùn)練和實時大語言模型（LLM）推理。

　　1．全球最強大的芯片：Blackwell架構(gòu)GPU擁有2080億個晶體管，確保了芯片具有極高的計算能力和復(fù)雜性；采用臺積電4納米工藝制造，提高了芯片的集成度，降低了功耗和發(fā)熱量；配備192GB的HBM3E顯存，極大提升了芯片的數(shù)據(jù)處理能力和效率。

　　2．第二代Transformer引擎：結(jié)合Blackwell Tensor Core技術(shù)和TensorRT-LLM和NeMo Megatron框架中的英偉達先進動態(tài)范圍管理算法，Blackwell將通過新的4位浮點AI支持雙倍的計算和模型大小推理能力。

　　3．第五代NVLink：為提高數(shù)萬億參數(shù)和混合專家AI模型的性能，最新一代英偉達NVLink為每個GPU提供了突破性的1.8TB/s的雙向吞吐量，確保最復(fù)雜LLM之間多達576個GPU之間的無縫高速通信。

　　4.RAS引擎：Blackwell支持的GPU包含一個專用引擎，實現(xiàn)可靠性、可用性和服務(wù)性。此外，Blackwell架構(gòu)還增加了芯片級功能，利用基于AI的預(yù)防性維護進行診斷和預(yù)測可靠性問題。這可以最大限度地延長系統(tǒng)正常運行時間，并提高大規(guī)模部署AI的彈性。

　　5．安全人工智能：先進的機密計算功能可在不影響性能的情況下保護AI模型和客戶數(shù)據(jù)，并支持新的本機接口加密協(xié)議，進一步增強了芯片的安全性。

　　6．解壓縮引擎：專用解壓縮引擎支持最新格式，加快數(shù)據(jù)庫查詢，提供數(shù)據(jù)分析和數(shù)據(jù)科學(xué)的最高性能。

　　英偉達CEO黃仁勛稱，Blackwell不只是芯片，而是一個全新的平臺。它將是英偉達歷史上、乃至整個計算機歷史上最成功的產(chǎn)品。

　　Blackwell的市場影響

　　Blackwell架構(gòu)的推出受到了全球各大云提供商、服務(wù)器制造商以及頭部AI企業(yè)的青睞，如亞馬遜、谷歌和微軟等。英偉達表示，Blackwell正在被全球各大云服務(wù)提供商采用。同時，AI公司、電信提供商和一系列其他技術(shù)企業(yè)也有著強勁的需求。

　　Blackwell的發(fā)布預(yù)示著AI的又一個突破時刻的到來，一經(jīng)發(fā)布便得到了微軟CEO薩蒂亞·納德拉（Satya Nadella）、Alphabet CEO桑達爾·皮查伊（Sundar Pichai）、亞馬遜CEO安迪·賈西（Andy Jassy）、OpenAI CEO薩姆·奧特曼（Sam Altman），以及其他知名科技領(lǐng)袖和名人的支持。

　　至關(guān)重要的是，Blackwell是一個更大的生態(tài)系統(tǒng)戰(zhàn)略的一部分。黃仁勛稱：“Blackwell不僅是系統(tǒng)的核心芯片，它實際上還是一個平臺。它基本上就是一個計算機系統(tǒng)。”

　　Nvidia還將使用Blackwell來提升其在軟件領(lǐng)域的地位和雄心。領(lǐng)先的AI開發(fā)商已經(jīng)依賴Nvidia的CUDA軟件來創(chuàng)建由該公司處理器驅(qū)動的應(yīng)用程序，而高性能Blackwell處理器的吸引力應(yīng)有助于確?？蛻衾^續(xù)使用其軟件。

　　該戰(zhàn)略甚至延伸得更遠。黃仁勛在GTC的一次會議上稱：“你可以制造芯片讓軟件運行得更好，但沒有軟件你就無法創(chuàng)造一個新的市場。我們的獨特之處在于，我相信我們是唯一一家能夠創(chuàng)造自己市場的芯片公司?！?/p>

　　隨著基于Blackwell架構(gòu)的GPU GB200的發(fā)布，英偉達似乎正在為創(chuàng)建新類別的AI軟件應(yīng)用程序打開大門。反過來，此類軟件的推出、擴展和持續(xù)發(fā)展可能會對其超高端GPU產(chǎn)生更大的需求。

　　Blackwell的延遲

　　本月初有報道稱，英偉達的下一代Blackwell系列AI芯片因設(shè)計缺陷問題被迫推遲發(fā)布，這一決定可能對包括Meta、谷歌和微軟在內(nèi)的大客戶造成影響。

　　據(jù)悉，Blackwell芯片的大規(guī)模生產(chǎn)原計劃于今年第三季度開始，并于第四季度開始交付。但道，在準(zhǔn)備大規(guī)模生產(chǎn)時，臺積電的工程師發(fā)現(xiàn)了設(shè)計問題，導(dǎo)致生產(chǎn)受阻。

　　報道稱，由于臺積電封裝技術(shù)CoWoS的復(fù)雜性，英偉達將推遲Blackwell GPU的出貨時間至2025年第一季度。

　　瑞銀（UBS）分析師認為，英偉達首批Blackwell芯片最多延遲4~6周出貨，即推遲到2025年1月底。為此，許多客戶會改而采購交貨時間短的H200芯片。

　　而摩根士丹利的分析師相對樂觀，認為Blackwell芯片的生產(chǎn)僅會暫停約兩周，并可在2024年第四季度通過臺積電的努力趕上進度。

　　整體而言，分析師認為有關(guān)Blackwell芯片推遲上市的擔(dān)憂可能被夸大了，預(yù)計這不會對英偉達的營收或需求產(chǎn)生重大影響。

　　英偉達CEO黃仁勛表示，Blackwell GPU的研發(fā)預(yù)算約為100 億美元，上市后單價會在3~4萬美元。鑒于當(dāng)前訓(xùn)練和部署AI的強勁需求，該價格也并未超出市場預(yù)期。

　　“反英偉達”聯(lián)盟

　　包括Alphabet、高通和英特爾在內(nèi)的公司正在聯(lián)手創(chuàng)建一個組織“UXL基金會”，旨在阻止英偉達在AI領(lǐng)域建立無可爭議的主導(dǎo)地位。

　　UXL基金會旨在創(chuàng)建一個軟件套件，幫助在更廣泛的處理器上運行AI應(yīng)用程序，并減少對英偉達平臺的依賴。

　　據(jù)報道，UXL基金會目前正在招募微軟、亞馬遜和其他有影響力的科技公司。因此，盡管許多科技界的知名人士對Blackwell的能力感到興奮，但可以理解的是，人們對更廣泛的AI領(lǐng)域過度依賴英偉達的生態(tài)系統(tǒng)持抵制態(tài)度。

　　在某種程度上，UXL基金會的成立說明了英偉達目前的競爭地位有多強。該公司在用于AI和其他加速計算應(yīng)用的GPU市場上占據(jù)了大約90%的份額，而Blackwell的推出可能有助于它繼續(xù)保持甚至擴大其主導(dǎo)地位。

　　與不斷擴大的專用軟件工具相結(jié)合，英偉達正在重塑AI領(lǐng)域，而其競爭對手和潛在競爭對手還有很多工作要做。