零售行業正在探索應用 AI 升級客户體驗，同時優化內部流程。面對多重應用場景以及成本優化壓力，團隊可採用成本相對可控的方案，來應對多重場景的前期項目預演和落地，避免短期內大規模投入造成的資源浪費。

客户體驗 AI 場景的研究目前集中在 AI 客服，內部流程主要是 AI 營銷、合同生成、合規審查和供應鏈優化等。在項目研究和前期預演階段，採用NVIDIA RTX™ 系列的高性能GPU，進行本地化部署大模型，已經可以經濟又高效地應對多數的 AI 場景開發。

1、AI 客服場景與適配算力

很多零售企業在轉型中開始基於 DeepSeek 搭建客服，客服場景以對話交互為主，輸入與輸出較短，對併發、首字延遲有一定需求。接下來列舉幾個常用模型場景，以及我們所測試的算力方案數據。

• 選擇模型 DeepSeek-R1 32B（FP16），採用4卡NVIDIA RTX™ 5000 Ada（單卡32GB顯存）的方案，可以支持約64個用户同時進行簡單問答，來保障首字時延控制大約在1秒以內；採用 8卡 NVIDIA RTX™ 5000 Ada 則可以支持至120多個併發，首字時延保持在2秒以內。

測試數據來源：贊奇科技
本表所列成本預估具有動態調整特性，如想及時瞭解最新價格可聯繫文末小助手。

• 選擇模型 DeepSeek-R1 70B（FP16），採用 8卡NVIDIA RTX™ 5880 Ada（單卡48GB顯存） 的平台方案，能夠應對80多個併發，首字時延控制在3秒以內。

測試數據來源：贊奇科技
本表所列成本預估具有動態調整特性，如想及時瞭解最新價格可聯繫文末小助手。

• 通義千問 QWQ 32B 模型因其回答問題邏輯性強，逐漸被用户所認可，性能直逼 DeepSeek 滿血版，採用4卡NVIDIA RTX™ 5000 Ada （單卡32GB顯存）時，併發數在100以內時，平均用户吞吐率可以達到 14 tokens/s。

*測試數據來源：贊奇科技
*本表所列成本預估具有動態調整特性，如想及時瞭解最新價格可聯繫文末小助手。
*數據測試環境：4卡測試環境：CPU：Intel(R)Xeon(R) w5-3433，內存：256GB DDR5，硬盤：1TB。
8卡測試環境：CPU：英特爾® 至強® Silver 4314，內存：256GB DDR4，硬盤：3.84TB。

2、AI 營銷場景與適配算力

依託 DeepSeek 模型逐步開發企業自有的智能營銷工作流，可以極大地降本增效。該場景則以知識庫場景為主，需要流暢地對海量文檔、數據庫信息進行檢索和輸出內容，長輸入長輸出場景居多，對於併發、時延、吞吐率都有一定要求。

對於小型團隊來説，採用4卡 NVIDIA RTX 5000 Ada 的機型方案，可以應對基本的擴散模型訓練、文生圖、文生視頻等生成式 AI 設計需求，也能應對 AI 營銷文案製作、數據分析處理等應用，可預期達到的性能效果如下：

• 採用 DeepSeek-R1 32B（FP16）模型，長輸入、長輸出的場景中，能夠支持64個併發，保證流暢地信息檢索和輸出；
• 採用通義千問 QWQ 32B （FP16）模型，長輸入長輸出的場景裏，能夠較好地支持到80個併發。

*測試數據來源：贊奇科技
*本表所列成本預估具有動態調整特性，如想及時瞭解最新價格可聯繫文末小助手。

對於大型項目或團隊來説，搭載 8卡 NVIDIA RTX 5880 Ada 並行計算，預期的性能效果如下：

• 採用 DeepSeek-R1 32B（FP16）模型，長輸入、長輸出的場景中，能夠很好地支持80個併發；
• 採用 DeepSeek-R1 70B（FP16）模型，長輸入、長輸出的場景中，可以較好地支持16個併發。

*測試數據來源：贊奇科技
*測試環境同上
*本表所列成本預估具有動態調整特性，如想及時瞭解最新價格可聯繫文末小助手。

生成式 AI 設計項目中，ComfyUI 工作流可以較好地幫助企業快速地製作產品營銷圖/視頻，更快地迭代營銷方案。所涉及的模型如 SDXL，Flux 等，在高 batch size 情形下的訓練和推理，GPU 顯存建議在24GB以上。我們測試了一些 batch size 模型訓練和推理的場景數據，供大家在 GPU 選型時做參考：

*以上數據使用電商數據集進行測試，數據來源於贊奇科技
*數據測試環境：
GPU: NVIDIA RTX 5000 Ada (32GB) 1 / NVIDIA RTX 5880 Ada (48GB) 1
CPU: Intel i5-12600KF (3.7GHz) *1，
內存：64GB，系統：win 11

在生成式 AI+三維可視化結合開發產品配置器、線上導購、數字人導購員等數字孿生場景中，NVIDIA RTX GPU 既可以進行 AI 訓練推理，又因為其具有 RT core，也可以用於支持圖形可視化場景，這是其獨到的優勢。這類數字孿生的營銷場景，需要由 NVIDIA RTX 5000 Ada 或 NVIDIA RTX 5880 Ada 來做助力，才能運行得起較為複雜的模型和高併發的場景。

3、其他 AI 應用場景

其他 AI 應用場景例如合同生成、合規審查、供應鏈優化、用户行為分析等，需要實時處理大量數據，進行復雜的模型推理與分析，可採取四卡乃至八卡 NVIDIA RTX 5880 Ada 的方案，憑藉高顯存與超強的並行計算能力來執行較為複雜的 AI 任務。例如合同生成，同樣也是大語言模型推理中，主要涉及長輸入、長輸出的場景，數據可參考上方 AI 營銷場景的數據。

供應鏈優化、用户行為分析等場景，需具體依據用户的數據庫、系統等信息來做判斷，贊奇目前開放免費為用户諮詢評估，具體可複製下方鏈接登記。

‎​rlzqlo1asm.feishu.cn/share/base/form/shrcnCbOVoltOXPQjFxveqrrIQb

以上數據均為測試得出，為用户高效地選型提供參考。但涉及到用户的多重場景和特殊需求，建議大家提前做機器測試，以調整至最優方案。下面列出上方提到的兩個型號顯卡的具體參數。

這兩個型號均為 NVIDIA RTX Ada Lovelace 架構的頂配顯卡，AI 能力與圖形性能都遠遠超過了上一代安培架構“卡皇”——NVIDIA RTX™ A6000。

NVIDIA RTX 系列高性能顯卡參數概覽

*與NVIDIA產品相關的圖片或視頻（完整或部分）的版權均歸NVIDIA Corporation所有。