博客 / 列表

極市平台 - 驍龍大賽-技術分享第6期——直播問題&答疑整理（創達）

Q1：在 QAI AppBuilder 上部署 DDColor 時，常見的性能瓶頸在哪裏？有哪些優先級最高的優化手段？ A1： 主要的性能瓶頸出現在 CPU 的前處理與後處理環節。前處理中包含大量 OpenCV 操作，例如顏色空間轉換、圖像縮放、通道拆分合並等，這些操作都在CPU上執行,對於高分辨率的圖像,會消耗大量的計算資源,成為顯著的性能瓶頸。後處理同樣包含了大量的CPU計算，例如圖像縮

算法 , 知識 , 人工智能 , 程序員

極市平台 - 驍龍大賽-技術分享第6期——直播問題&答疑整理（騰訊）

Q1：老師，想問問在 NPU 上部署 LLM 或多模態模型時，有什麼選擇模型規模、架構或量化策略的經驗可以給備賽選手參考嗎？ A1： 在本地部署大模型時，最核心的限制通常是設備資源，因此一般優先選擇小型或輕量級模型，例如 1B 以下參數規模。對於 7B 模型，通常需要 16GB 以上內存才能穩定運行。除了模型權重本身的佔用，還需要考慮上下文長度，因為更長的 context 會顯著增加推理過程

算法 , 運維 , 教程 , 知識 , 人工智能

極市平台 - 驍龍大賽-技術分享第5期（下）

6. 如果模型結構是自定義的（非主流架構），在 NPU 上部署會不會很困難？是否支持自定義算子？ 答覆：我們的 QAIRT 是支持自定義算子的，正如第一個問題中提到的，只要模型能夠通過TensorFlow，PyTorch 或 ONNX Runtime推理，基本都能轉換到 NPU 上來運行。 7. AppBuilder 是否支持模型蒸餾或知識蒸餾？ 答覆：請注意， QAI AppBuilder 是專

觀點 , 資訊 , 教程 , 知識 , 後端

極市平台 - 驍龍大賽-技術分享第5期（上）

1. 在 QAI AppBuilder 中部署模型時，哪些情況會導致模型“不兼容”？如何判斷模型能否在 NPU 上運行？ 答覆：沒有“不兼容模型”這種説法，理論上所有能夠通過TensorFlow，PyTorch 或 ONNX Runtime推理的模型，都可以轉換成 QNN 上下文二進制格式並運行在NPU上的。 大家容易遇到的比較難處理的問題通常不是模型能不能轉換，不是模型能不能跑在NPU上，

觀點 , 資訊 , 知識 , 後端

極市平台 - 驍龍大賽-技術分享第5期乾貨彙總來啦——直播問題&答疑整理

1. 在 QAI AppBuilder 中部署模型時，哪些情況會導致模型“不兼容”？如何判斷模型能否在 NPU 上運行？ 答覆：沒有“不兼容模型”這種説法，理論上所有能夠通過TensorFlow，PyTorch 或 ONNX Runtime推理的模型，都可以轉換成 QNN 上下文二進制格式並運行在NPU上的。 大家容易遇到的比較難處理的問題通常不是模型能不能轉換，不是模型能不能跑在NPU上，

觀點 , 資訊 , 教程 , 知識 , 後端

極市平台 - 驍龍大賽-技術分享第4期——直播問題&答疑整理

Q1：使用 Qualcomm AI Stack 做端側部署時，如果模型精度出現下降，該從哪些環節排查？量化、算子兼容性、編譯參數之間有什麼調優建議？ A1：出現精度下降時，通常需要做逐層對比，確認從哪一層開始偏差。可以檢查該層的量化參數（如 encoding 是否異常）、activation 的分佈，以及該層在量化轉換過程中的輸出情況。根據這些信息進一步定位是否是量化參數、算子支持情況或中間

觀點 , 資訊 , 教程 , 知識 , 後端

極市平台 - 驍龍大賽-技術分享第三期乾貨彙總——答疑篇

Q1：GenieAPIService 調用本地NPU上的大語言模型時，對設備有什麼性能要求？內存或算力要達到什麼水平？ A1： 目前，只要是驍龍AI PC，都能夠運行 GenieAPIService 調用本地 NPU 的大語言模型。市場上在售的驍龍 AI PC 都可以滿足模型運行的基本條件。至於內存需求，主要取決於想要運行的模型大小，以及系統本身在待機狀態下的可用內存。一般來説，如果運

觀點 , 資訊 , 教程 , 程序員 , 後端

極市平台 - 驍龍大賽直播乾貨彙總

上期課程中我們瞭解了在驍龍 AI PC 上使用 QAI AppBuilder 工具絲滑部署AI模型的核心方法，省流版教程： 用户指南： https://github.com/quic/ai-engine-direct-helper/blob/main/docs/user_guide.md 開源社區： https://github.com/quic/ai-engine-direct-helper 直

資訊 , 教程 , 開發 , 知識 , 後端

極市平台 - 手把手教你在移動端跑模型｜驍龍AI大賽公開課三：QAI AppBuilder移動端實戰與跨平台模型部署工具教程

上期課程中我們瞭解了在驍龍 AI PC 上使用 QAI AppBuilder 工具絲滑部署AI模型的核心方法，省流版教程： 用户指南：https://github.com/quic/ai-engine-direct-helper/blob/main/docs/user_guide.md 開源社區：https://github.com/quic/ai-engine-direct-help

資訊 , 教程 , 知識 , 後端

極市平台 - 終端側AI實戰指南+QAI AppBuilder實戰教學+QAI AppBuilder移動端實戰與跨平台模型部署工具教程

驍龍AI大賽的直播中的問題和及答疑在此彙總 第一期 第一期中，高通技術公司的講師團隊帶來了終端側AI技術前沿與AI工具鏈解析，針對大家在開發過程中遇到的典型問題進行在線解析： 問：Qualcomm AI Stack 裏有沒有實用工具能提升模型在手機端的推理速度？ 答：Qualcomm AI Stack工具鏈非常完善，無論是浮點模型（FP16）還是定點模型（INT4/8/16），都能靈活選擇不同量化

資訊 , 教程 , 知識 , 後端