在最新發布的 SemiAnalysis InferenceMAX 基準測試中，Signal65 分析了 Deepseek-R1 0528 混合專家（MoE）模型的推理表現，結果顯示英偉達（NVIDIA）的 GB200 NVL72 機架系統在性能上大幅領先於同規模的 AMD Instinct MI355X 集羣。

混合專家模型的特點在於能夠根據任務類型激活最適合的 “專家” 進行處理，這種設計提高了效率，但在大規模擴展時可能導致節點之間的通信延遲和帶寬壓力，成為計算瓶頸。

英偉達通過 “極致協同設計” 策略，優化了 GB200 NVL72 的架構。該系統通過緊密互聯 72 顆芯片，並配備高達 30TB 的共享內存，顯著提升了數據傳輸效率，解決了延遲問題。根據測試數據，GB200 NVL72 在相似配置下的每個 GPU 吞吐量高達 75 tokens / 秒，其性能是 AMD MI355X 的 28 倍。

對於超大規模雲計算公司而言，整體擁有成本（TCO）是非常重要的考量指標。Signal65 結合 Oracle 雲定價數據指出，GB200 NVL72 不僅性能強勁，成本效益也令人矚目。其每 token 的相對成本僅為 AMD 方案的十五分之一，並且提供了更高的交互速率。

儘管英偉達在混合專家模型領域佔據主導地位，AMD 仍有其競爭優勢。報告指出，AMD 的 MI355X 憑藉高容量的 HBM3e 內存，在稠密模型環境中仍然是一個具備競爭力的選項。

目前，AMD 尚未推出新的機架級解決方案來應對 GB200 NVL72 的挑戰。然而，隨着 AMD Helios 平台與英偉達 Vera Rubin 平台的競爭逐漸白熱化，未來在機架級擴展方案上的較量將更加激烈。