NVIDIA H100

 

GPU 大廠輝達 (NVIDIA)  推出首款採用 Hopper 架構的 GPU 產品 NVIDIA H100，這款 GPU 封裝了 800 億個電晶體，是全球最大且效能最強大的加速器，具突破性的功能，例如革命性 Transformer Engine 及具高度擴展性 NVLink 互連技術，可用於推動極大規模的 AI 語言模型、深度推薦系統、基因組學和複雜的數碼孿生等領域的發展。

採用 Hopper 架構的 H100 GPU 為加速大規模 AI 及高效能運算樹立了新標準，並帶來六項突破性創新：

1.   H100 擁有 800 億個電晶體，採用台積電 4N 製程、專為滿足 NVIDIA 加速運算需求而設計，在加速 AI、高效能運算、記憶體頻寬、互連和通訊方面具有重大進展，包括每秒近 5TB 外部連接速度。H100 是首款支援 PCIe Gen5 及首款使用 HBM3 的 GPU 產品，提供每秒 3TB 記憶體頻寬。20 個 H100 GPU 足以支撐全世界的網絡流量，可以運行先進的推薦系統和大型語言模型，即時使用各項數據進行推論。

2.   Transformer 已是自然語言處理的首選標準模型，是史上最重要的深度學習模型之一。相比前一代產品，H100 加速器的 Transformer Engine 能夠將這些網絡速度提高六倍，又不失其精度。

3.   多執行個體 GPU (Multi-Instance GPU；MIG) 技術可以將一個 GPU 分割成七個較小、完全隔離的執行個體以處理各類工作。Hopper 架構在雲端環境為每個 GPU 執行個體提供安全的多租戶配置，將 MIG 的能力較前一代擴大高達七倍。

4.   H100 是全球首款具有機密運算能力的加速器，可以在處理 AI 模型和客戶數據時加以保護。對於醫療看護和金融服務等對隱私極為敏感的產業，在進行聯邦學習時同樣能運用機密運算，在共享的雲端基礎設施上也同樣可行。

5.   為加快最大型 AI 模型的運作速度，以 NVLink 配備全新的外部 NVLink 交換器，將 NVLink 變成伺服器以外的垂直擴展網絡，相比使用 NVIDIA HDR Quantum InfiniBand 的前一代產品，能以超過九倍的頻寬連接多達 256 個 H100 GPU。

6.   與使用 CPU 相比，全新 DPX 指令將用於眾多演算法 (包括路線最佳化及基因組學) 的動態規畫執行速度加快高達 40 倍，與使用前一代的 GPU 相比，速度加快了七倍，包括為動態倉庫環境中的自主機械人車隊尋找最佳路線的 Floyd-Warshall 演算法，以及用於 DNA 和蛋白質分類及折疊的序列比對 Smith-Waterman 演算法。

H100 的多項技術創新擴大了 NVIDIA 在 AI 推論和訓練的領先地位，使 NVIDIA 能夠利用巨大 AI 模型做到即時和沉浸式應用。H100 讓聊天機械人可以使用全球最強大的單體 transformer 語言模型 Megatron 530B，傳輸量超過前一代產品達 30 倍，同時滿足即時對話式 AI 所需的次秒級延遲。H100 同時讓研究人員和開發人員能夠訓練像是 Mixture of Experts 這類大規模模型，包含 3950 億個參數，能將速度提高達九倍，將訓練時間從過去所需的數週減少到數日便能完成。

H100 預計將有 SXM 和 PCIe 兩種規格，以滿足各種伺服器的設計要求，同時推出一款融合加速器，將 H100 GPU 搭配 NVIDIA ConnectX-7 400Gb/s InfiniBand 及 Ethernet SmartNIC，而 H100可以部署在各類型數據中心內，包括企業內部、雲端、混合雲和邊緣。預計今年第三季透過全球各大雲端服務供應商及電腦製造商供貨，也可以直接向NVIDIA購買。