除了大量預定臺積電產能外，英偉達還斥巨資拿下了HBM3內存的供應合同。消息人士稱，該公司從美光和 SK海力士那里預購了700億至1萬億韓元的HBM3內存。雖然沒有關于這些款項具體用途的信息，但業界普遍認為其目的在于確保2024年HBM供應穩定。

此外，還有業內人士透露，三星電子、SK海力士、美光三大存儲公司明年的HBM產能已完全售罄。業界認為，由于AI行業半導體公司之間的激烈競爭，HBM市場預計將在未來兩年內實現快速增長。

根據現有爆料信息，英偉達正準備推出兩款配備HBM3E內存的產品：配備141GB HBM3E 的H200 GPU以及GH200超級芯片，因此英偉達需要大量HBM內存。

H200是目前世界上最強的AI芯片，也是世界上首款采用HBM3e的GPU，基于NVIDIAHopper架構打造，與H100相互兼容，可提供4.8 TB/s速度。

在人工智能方面，英偉達表示，HGX H200在Llama 2（700 億參數 LLM）上的推理速度比H100快了一倍。HGX H200將以4路和8路的配置提供，與H100系統中的軟件和硬件兼容。它將適用于每一種類型的數據中心（本地、云、混合云和邊緣），并由 Amazon Web Services、Google Cloud、Microsoft Azure 和 Oracle Cloud Infrastructure 等部署，將于 2024 年第二季度推出。