博客 / 詳情

返回

終端側AI實戰指南+QAI AppBuilder實戰教學+QAI AppBuilder移動端實戰與跨平台模型部署工具教程

驍龍AI大賽的直播中的問題和及答疑在此彙總

第一期

第一期中,高通技術公司的講師團隊帶來了終端側AI技術前沿與AI工具鏈解析,針對大家在開發過程中遇到的典型問題進行在線解析:

問:Qualcomm AI Stack 裏有沒有實用工具能提升模型在手機端的推理速度?

答:Qualcomm AI Stack工具鏈非常完善,無論是浮點模型(FP16)還是定點模型(INT4/8/16),都能靈活選擇不同量化精度,以提升端側運行速度。同時還提供多種功耗模式(burst、pauseable、default),方便開發者在不同性能需求下靈活調優。

問:從模型轉換到最終在NPU上跑起來,哪一步最容易踩坑?

答:模型轉換是最關鍵的一步。若算子不被支持,就需要替換,這會比較耗時。建議開發者提前查看 Qualcomm Runtime 文檔 中的算子列表。同時,量化模型時一定要準備足夠的樣本數據(幾百到幾千條),否則容易出現精度問題。

問:有沒有轉換好的大模型可以直接下載?

答:可以前往Hugging Face(https://huggingface.co/qualcomm) 或模型廣場

(https://www.aidevhome.com/data/models/)下載,目前已經開放了包括 Qwen 2-7B、Phi-3.5、Stable Diffusion 1.5 等主流大語言和視覺模型,開發者可直接調用使用。

可以發現,端側AI模型部署其實並不難,關鍵在於熟練使用高通AI工具鏈。

第二期

第二期公開課聚焦驍龍AI PC應用開發,帶來玩轉QAI AppBuilder的詳細指南,幫助開發者快速掌握在PC上開發和部署AI應用的核心技巧。

我們瞭解了在驍龍 AI PC 上使用 QAI AppBuilder 工具絲滑部署AI模型的核心方法,省流版教程:

  • 用户指南:
    https://github.com/quic/ai-engine-direct-helper/blob/main/docs/user_guide.md
  • 開源社區:
    https://github.com/quic/ai-engine-direct-helper
    由高通技術公司(中國) 資深產品市場經理朱元堃、高通技術公司(中國)高級資深工程師黃維兩位專家聯合帶來,聚焦終端側AI的最新架構、工具生態與實戰落地,直擊驍龍平台的AI創新核心,助力開發者快速上手進行開發!
  • 瞭解驍龍平台的AI核心能力
    全面解析全新一代驍龍移動平台與最新AI引擎,揭示Hexagon NPU融合Scalar、Vector、Tensor加速器的先進架構設計,助力開發者精準理解終端側AI的算力優勢。
  • 掌握從系統適配到性能調優全流程
    從硬件適配到算力調優,講師將分享如何在高通平台上實現AI模型的性能最大化,幫助開發者在競賽與實際項目中搶佔技術先機。
  • AI Runtime 實操演示
    講師將以實際項目案例展示AI模型從轉換、量化到部署的全路徑操作,瞭解它如何支持不同平台(移動、XR、汽車、物聯網等)的AI部署,使開發者能夠更高效地實現複雜AI應用,推動創新和技術進步。
  • 專家在線答疑,助力開發者突破瓶頸
    直播設有深度答疑環節,來自高通技術公司的專家將針對模型部署、工具使用及優化問題進行專業解答,幫助開發者解決參賽過程中的關鍵難題。

第三期(待更新)

QAI AppBuilder移動端實踐全解析

深入講解QAI AppBuilder工具,重點介紹如何在 Android平台上部署與運行AI模型。並結合詳細案例,解析開發中的重點與難點:

如何在Android平台上高效部署與運行 AI 模型

如何在移動端運行經典的計算機視覺(CV)模型

如何在移動端運行經典的計算機視覺(CV)模型

如何將這些模型集成到真實App中,快速完成移動端AI應用開發

AI PC模型部署進階之路

——ONNX Runtime實踐指南

AI PC模型部署進階之路——ONNX Runtime實踐指南

回到驍龍AI PC平台上,掌握ONNX Runtime的實戰應用。嘉賓講師將演示如何通過ONNX Runtime實現跨平台AI模型部署,使模型既能在移動設備端高效運行,也能在PC端靈活適配,幫助開發者真正實現 “一次訓練,多端部署” 的目標。

以上內容來自2025驍龍AI大賽

user avatar dragonir 頭像 chazhoudeqingchun 頭像 wodingshangniliao 頭像 fedl 頭像 yaha_5f66c6f02983e 頭像 phytium_developers 頭像 hanhoudedengshanxie_66641de47decd 頭像 duokeli 頭像 seu_duter 頭像 sectrend 頭像 software_arch 頭像 jueqiangqingtongsan 頭像
14 位用戶收藏了這個故事!

發佈 評論

Some HTML is okay.