动态

详情 返回 返回

DGX Spark 雙機互連實測 Qwen3-235B 模型 - 动态 详情

前段時間我們使用單台 DGX Spark 測試了 gpt-oss-120b 模型性能。今天,我們通過一根 200 Gbps 帶寬的 QSFP 線纜連接兩台 DGX Spark,並測試了一個參數更大的模型:Qwen3-235B,看看性能如何。

整體測試下來,單用户生成速度為 10 tokens/s,但預填充速度還不錯,單用户可達 1000 tps,詳細測試數據如下:

生成速度

圖片

知識庫應用(輸入4K)

圖片

知識庫應用(輸入4K)方面,單用户生成速度也有 10 tokens/s,首字時延在 4s 左右。

以下是實際測試過程:

https://www.bilibili.com/video/BV1eGyhBDEAk/?aid=115462310465...

user avatar u_16776161 头像 aitinggedejinzhengu 头像 u_17569005 头像 yeshan333 头像 binghe001 头像 haijun_5e7e16c909f52 头像 reddish 头像 apachekylin 头像 wenweneryadedahuoji 头像 meirenlideshuizhurou 头像 howiecong 头像 gedyh 头像
点赞 17 用户, 点赞了这篇动态!
点赞

Add a new 评论

Some HTML is okay.