驍龍AI大賽的直播中的問題和及答疑在此彙總
第一期
第一期中,高通技術公司的講師團隊帶來了終端側AI技術前沿與AI工具鏈解析,針對大家在開發過程中遇到的典型問題進行在線解析:
問:Qualcomm AI Stack 裏有沒有實用工具能提升模型在手機端的推理速度?
答:Qualcomm AI Stack工具鏈非常完善,無論是浮點模型(FP16)還是定點模型(INT4/8/16),都能靈活選擇不同量化精度,以提升端側運行速度。同時還提供多種功耗模式(burst、pauseable、default),方便開發者在不同性能需求下靈活調優。
問:從模型轉換到最終在NPU上跑起來,哪一步最容易踩坑?
答:模型轉換是最關鍵的一步。若算子不被支持,就需要替換,這會比較耗時。建議開發者提前查看 Qualcomm Runtime 文檔 中的算子列表。同時,量化模型時一定要準備足夠的樣本數據(幾百到幾千條),否則容易出現精度問題。
問:有沒有轉換好的大模型可以直接下載?
答:可以前往Hugging Face(https://huggingface.co/qualcomm) 或模型廣場
(https://www.aidevhome.com/data/models/)下載,目前已經開放了包括 Qwen 2-7B、Phi-3.5、Stable Diffusion 1.5 等主流大語言和視覺模型,開發者可直接調用使用。
可以發現,端側AI模型部署其實並不難,關鍵在於熟練使用高通AI工具鏈。
第二期
第二期公開課聚焦驍龍AI PC應用開發,帶來玩轉QAI AppBuilder的詳細指南,幫助開發者快速掌握在PC上開發和部署AI應用的核心技巧。
我們瞭解了在驍龍 AI PC 上使用 QAI AppBuilder 工具絲滑部署AI模型的核心方法,省流版教程:
- 用户指南:
https://github.com/quic/ai-engine-direct-helper/blob/main/docs/user_guide.md - 開源社區:
https://github.com/quic/ai-engine-direct-helper
由高通技術公司(中國) 資深產品市場經理朱元堃、高通技術公司(中國)高級資深工程師黃維兩位專家聯合帶來,聚焦終端側AI的最新架構、工具生態與實戰落地,直擊驍龍平台的AI創新核心,助力開發者快速上手進行開發! - 瞭解驍龍平台的AI核心能力
全面解析全新一代驍龍移動平台與最新AI引擎,揭示Hexagon NPU融合Scalar、Vector、Tensor加速器的先進架構設計,助力開發者精準理解終端側AI的算力優勢。 - 掌握從系統適配到性能調優全流程
從硬件適配到算力調優,講師將分享如何在高通平台上實現AI模型的性能最大化,幫助開發者在競賽與實際項目中搶佔技術先機。 - AI Runtime 實操演示
講師將以實際項目案例展示AI模型從轉換、量化到部署的全路徑操作,瞭解它如何支持不同平台(移動、XR、汽車、物聯網等)的AI部署,使開發者能夠更高效地實現複雜AI應用,推動創新和技術進步。 - 專家在線答疑,助力開發者突破瓶頸
直播設有深度答疑環節,來自高通技術公司的專家將針對模型部署、工具使用及優化問題進行專業解答,幫助開發者解決參賽過程中的關鍵難題。
第三期(待更新)
QAI AppBuilder移動端實踐全解析
深入講解QAI AppBuilder工具,重點介紹如何在 Android平台上部署與運行AI模型。並結合詳細案例,解析開發中的重點與難點:
如何在Android平台上高效部署與運行 AI 模型
如何在移動端運行經典的計算機視覺(CV)模型
如何在移動端運行經典的計算機視覺(CV)模型
如何將這些模型集成到真實App中,快速完成移動端AI應用開發
AI PC模型部署進階之路
——ONNX Runtime實踐指南
AI PC模型部署進階之路——ONNX Runtime實踐指南
回到驍龍AI PC平台上,掌握ONNX Runtime的實戰應用。嘉賓講師將演示如何通過ONNX Runtime實現跨平台AI模型部署,使模型既能在移動設備端高效運行,也能在PC端靈活適配,幫助開發者真正實現 “一次訓練,多端部署” 的目標。
以上內容來自2025驍龍AI大賽