動態

詳情 返回 返回

DGX Spark 雙機互連實測 Qwen3-235B 模型 - 動態 詳情

前段時間我們使用單台 DGX Spark 測試了 gpt-oss-120b 模型性能。今天,我們通過一根 200 Gbps 帶寬的 QSFP 線纜連接兩台 DGX Spark,並測試了一個參數更大的模型:Qwen3-235B,看看性能如何。

整體測試下來,單用户生成速度為 10 tokens/s,但預填充速度還不錯,單用户可達 1000 tps,詳細測試數據如下:

生成速度

圖片

知識庫應用(輸入4K)

圖片

知識庫應用(輸入4K)方面,單用户生成速度也有 10 tokens/s,首字時延在 4s 左右。

以下是實際測試過程:

https://www.bilibili.com/video/BV1eGyhBDEAk/?aid=115462310465...

user avatar u_16776161 頭像 aitinggedejinzhengu 頭像 u_17569005 頭像 yeshan333 頭像 binghe001 頭像 haijun_5e7e16c909f52 頭像 reddish 頭像 apachekylin 頭像 wenweneryadedahuoji 頭像 meirenlideshuizhurou 頭像 howiecong 頭像 gedyh 頭像
點贊 17 用戶, 點贊了這篇動態!
點贊

Add a new 評論

Some HTML is okay.