本文詳細介紹如何通過跨數據中心網絡互聯技術將分佈式數據中心連接成大型AI工廠，涵蓋網絡架構、距離感知算法和性能優化等核心技術要點。

傳統數據中心互聯的挑戰

AI擴展極其複雜，訓練和推理的新技術不斷對數據中心提出更高要求。雖然數據中心能力快速擴展，但其基礎設施受到基本物理限制的影響，這些限制對算法和模型沒有影響。電力供應、冷卻能力和空間限制限制了AI工廠的物理佔地面積。

為了持續增長，需要建設新的數據中心，而遠距離連接成為將這些資源彙集在一起以協同處理單個訓練或分解推理工作負載的關鍵因素。

傳統上，使用基於"現成"商用硅片的長距離以太網連接數據中心時，主要目標是確保數據成功到達目的地。由於距離可能很長且延遲很高，擁塞的可能性也很高，其影響可能極為嚴重。

為了緩解這一挑戰並防止數據包丟失，現成的以太網供應商創建了採用深度數據包緩衝器的解決方案，能夠吸收大量的網絡流量突發。雖然這些深度緩衝交換機是長途服務提供商和電信公司的解決方案，但它們給AI帶來了問題。

特別是，具有深度緩衝的交換機本身就會遭受更高的延遲。此外，當緩衝區開始變滿時，它必須"排空"。對於AI工作負載，這種情況是不可預測的，會導致大量抖動或數據傳遞的差異。這種減震技術帶來的高延遲和不可預測性對於訓練和分解推理性能來説是有問題的，這些工作負載本質上是同步的，需要網絡提供可預測的性能。

什麼是跨規模網絡？

跨規模網絡是一種新型AI計算結構連接類別，可被視為與現有縱向擴展和橫向擴展連接選項正交的新維度。通過用於跨規模網絡的Spectrum-XGS以太網，可以將不同規模和距離的多個數據中心統一為一個大型AI工廠。網絡首次能夠為跨地理分離數據中心的大規模單作業AI訓練和推理提供所需性能。

圖1. AI所需的三種網絡類型：縱向擴展、橫向擴展和跨規模

Spectrum-XGS以太網如何實現跨規模網絡？

Spectrum-XGS以太網是某中心Spectrum-X以太網平台的新技術補充。它基於相同的Spectrum-X以太網交換機和ConnectX-8 SuperNICs硬件組合，並利用用於數據中心內橫向擴展連接的相同軟件和庫堆棧。

通過Spectrum-XGS以太網，連接是在長距離（超過500米）的AI工廠之間進行的。這可能意味着園區內建築物之間的連接，或者跨越城市甚至州和國家的數十或數百英里的連接。為了使跨規模連接可行，負責確保高有效帶寬和性能隔離的算法必須發展。

距離感知算法在跨規模網絡中的作用

長距離傳輸數據的挑戰之一是延遲增加的影響——即使是以光的形式通過光纖傳輸的數據也是如此。數據以每米5納秒的速率在玻璃 strands 中傳播。這意味着行進1公里需要5微秒。這些數字在絕對意義上可能看起來很小，但對於GPU到GPU的通信，每一微秒都很重要。

Spectrum-XGS以太網具有改進的基於遙測的擁塞控制和自適應路由算法，這些算法圍繞通信設備之間的距離進行了優化。每當建立連接時，網絡都會記錄兩個設備是否在數據中心內。

這有助於交換機瞭解自適應路由負載平衡的最佳方法，並通知SuperNIC處理擁塞控制的注入速率。在網絡級別，這使Spectrum-XGS以太網能夠整體處理通信而不會產生額外延遲。

Spectrum-XGS以太網技術對跨規模網絡的一些關鍵優勢包括：

• 集成統一的網絡架構：Spectrum-X以太網橫向擴展和Spectrum-XGS以太網跨規模都基於相同的硬件、軟件和庫。這導致了一種統一的工作負載管理和網絡運營方法，這是現成以太網無法實現的。
• 端到端基於遙測的擁塞控制：統一架構還實現了全局網絡可見性方法。通過來自數據中心內外的全面遙測數據，可以處理基於遙測的擁塞管理，而無需深度緩衝交換。
• 智能自動調整負載平衡：Spectrum-X以太網AI結構既具有距離感知能力，又具有某中心集合通信庫感知能力，能夠考慮和補償可能因站點而異的網絡流量模式，並動態調整閾值和限制以確保最高性能。
• 最小化跨規模工作負載的延遲：Spectrum-XGS以太網經過調整可提供可預測的結果。這使網絡能夠考慮和補償長距離傳輸的數據流，減輕任何進一步的延遲損失，而不會因深度緩衝引入任何抖動風險。
• 彈性跨規模容量：由於相同的硬件可用於橫向擴展和跨規模，網絡資源可以重新分配以支持數據中心內或數據中心間的流量。現成的淺緩衝以太網交換機不能重新用於長途連接。

Spectrum-XGS以太網的性能優勢

為了展示Spectrum-XGS以太網對跨規模性能的影響，某中心工程師在10公里距離的多個站點上運行了NCCL原語，並將結果與現成以太網進行了比較。結果（如下圖2所示）非常顯著：

圖2. 與現成以太網相比，Spectrum-XGS以太網將性能提高高達1.9倍

與現成以太網相比，Spectrum-XGS以太網提供高達1.9倍的NCCL全歸約帶寬。最大的加速發生在較大的消息大小上，這在AI訓練工作負載中最常見。這些對NCCL性能的改進轉化為AI應用程序更快的作業完成時間。

跨規模網絡如何提高AI工廠的投資回報率？

Spectrum-XGS以太網增強了AI基礎設施的可替代性。通過引入一種使數據中心能夠在任何距離上通信而不會降低性能的技術，Spectrum-XGS以太網創建了在橫向擴展和跨規模網絡之間共享的通用架構。基於Spectrum-XGS以太網構建的以太網數據中心可以輕鬆組合在一起作為一個整體運行，無論距離遠近。

基於Spectrum-XGS構建的以太網數據中心可以無縫組合，作為單個系統運行，無論它們相距多遠。這使得關鍵任務AI基礎設施能夠彙集資源，併為高級AI工作負載持續提供價值。