Q1：GenieAPIService 調用本地NPU上的大語言模型時，對設備有什麼性能要求？內存或算力要達到什麼水平？
A1：
目前，只要是驍龍AI PC，都能夠運行 GenieAPIService 調用本地 NPU 的大語言模型。市場上在售的驍龍 AI PC 都可以滿足模型運行的基本條件。至於內存需求，主要取決於想要運行的模型大小，以及系統本身在待機狀態下的可用內存。一般來説，如果運行 7B 級別的大語言模型，在系統佔用較低的情況下，16GB 內存的設備即可滿足推理需求；如果配備 32GB 內存，則運行會更加流暢穩定，模型加載速度也會更快。

Q2：在 PC 端完成了模型調試，想把項目遷移到手機上繼續開發，需要改動的地方多嗎？在跨平台部署時，如果 Android 端和 PC 端的 SDK 版本或驅動不同，模型精度或性能會有差異嗎？
A1：
這個問題可以分兩部分來看。首先是從 PC 遷移到手機端時的改動量，這與開發方式有關。
如果是傳統的計算機視覺 (CV) 類模型，在 PC 上使用 C++ 開發且沒有依賴系統特定的功能庫（例如Windows平台相關的庫），那麼遷移到手機端相對容易。如果應用中使用了依賴於特定平台的接口或功能，則需要針對這些部分進行適配。如果是在 PC 上通過 Python 開發的應用，直接在手機端運行的情況會比較少見。也可以考慮使用跨平台框架，例如 Flet，這類框架能讓 GUI 應用既能在 PC 上運行，也能打包成 APK 部署到 Android 設備上。但是否滿足具體項目需求，仍需開發者自行評估。
對於使用 Python 實現的推理邏輯，在遷移到手機端時，通常需要將模型的前後處理邏輯和界面部分改寫為 C++ 或 Android 的 Java 實現。
如果是大語言模型 (LLM) 類應用，且通過 GenieAPIService 實現的，那麼遷移工作量較小，主要是把 GUI 客户端改為基於 Android框架的版本，服務端部分可以直接在後台運行。
第二個問題關於跨平台部署時 SDK 或驅動版本差異的影響。Android 和 PC 端的驅動確實存在差異，但如果應用是通過我們提供的標準 QAIRT SDK 運行時庫和 QAI AppBuilder 接口來實現模型加載與推理，兩端是兼容的。同一模型在兩個平台之間遷移時，建議儘量使用相同版本的 QAIRT SDK 運行時庫和 QAI AppBuilder 工具，這樣能避免不必要的問題。模型精度基本不會因為版本差異而變化，性能主要取決於不同平台 NPU 的算力。

Q3：在 Android 端用 QAI AppBuilder 跑模型時，如果模型比較大，比如超 1GB 的 LLM，怎麼在內存和加載速度之間做平衡？
A3：
根據我們的經驗，在較新的驍龍移動平台上運行 3B 或 7B 的大語言模型都是可行的。以 7B 模型為例，通常需要 4 到 5GB 的內存空間。對於聊天類或文本生成類應用，這樣的規模在 PC 或手機端都能流暢運行。加載速度和推理響應時間在多數情況下都能滿足實時交互的需求。只要設備內存充足且系統資源佔用不高，就可以實現較好的模型加載和響應性能。

Q4：請問在移動設備NPU上能跑多大參數量的LLM?比如7B、13B模型可以嗎?
A4：
在最新一代的驍龍移動平台上，運行 7B 或 8B 規模的大語言模型沒有問題，推理性能表現也很不錯。如果模型規模進一步擴大，比如 13B 級別，那麼在移動端運行的難度會顯著增加，對內存和帶寬的要求也更高。目前建議移動端主要運行 7B 以下的模型，能夠兼顧響應速度和能耗控制。

Q5：老師您好！請問這些技術可以用來做本地AI助手嗎？
A5：
完全可以。通過我們提供的 GenieAPIService，就能在驍龍 AI PC 或移動端設備上直接運行本地大語言模型。實現過程非常簡單。
首先，將編譯好的 GenieAPIService APK 安裝到目標設備上；其次，按照文檔指引將模型文件複製到指定目錄，並完成基礎配置；最後，啓動服務即可在端側 NPU 上運行大模型。值得一提的是，GenieAPIService 的接口設計與 OpenAI 的 API 兼容，因此可以直接在本地環境中調用相同的接口完成模型推理。
開發者只需要在自己的 GUI 應用中調用相關接口即可觸發推理過程。推理採用流式輸出方式，模型的回答會像在線聊天一樣逐字生成，這種實時輸出體驗非常適合本地 AI 助手類的應用場景。

Q6：如果遇到模型在NPU上運行出錯,有什麼常見的調試方法和工具推薦嗎?
A6:
常見調試方法與工具：

1. 啓用 QNN 日誌（設置環境變量 QNN_LOG_LEVEL=DEBUG，輸出模型加載、張量處理、推理執行日誌）；
2. 用 QNN Profiler 工具，查看 NPU 算力佔用、層執行狀態，定位算子不兼容或張量維度不匹配問題；
3. 用倉庫tools/convert/model_check.py驗證模型格式；
4. 核對輸入輸出：數據類型（FP16/INT8）、維度需與模型元數據一致；
5. 確認 SDK 與驅動版本匹配；
6. 參考 samples 中的錯誤處理邏輯，排查資源不足、模型路徑錯誤等問題。

Q7：老師請問CV模型在NPU上運行的實時性如何?能達到實時視頻處理的幀率嗎?
A7:
CV 模型在 NPU 上的實時性表現優異，多數場景可滿足實時視頻處理。輕量 CV 模型（如 BEiT 分類、MobileNet 適配版）幀率可達 60fps+；目標檢測（YOLO 輕量版）30-45fps。驍龍 PC / 新一代手機 NPU（如 X Elite）支持 Burst 模式和多圖並行優化，1080p 分辨率下，主流 CV 任務（分類、檢測、分割）可穩定達到 30fps 以上的實時標準。複雜模型經量化優化後，仍能平衡精度與幀率，完全適配實時視頻處理需求。

Q8：想問實際開發中,模型量化對精度有影響嗎?有什麼好的平衡策略嗎?
A8:
量化會帶來輕微精度損失，可通過以下策略平衡：

1. 優先使用高通 QNN 量化工具（支持 PTQ/INT8），關鍵層（輸出層、迴歸層）保留 FP16；
2. 用覆蓋業務場景的校準數據集優化量化參數，避免分佈偏移導致的精度衰減；
3. 直接選用Hugging Face (https://huggingface.co/qualcomm) 或 (https://www.aidevhome.com/data/models/) 預量化模型，已驗證精度損失可控；
4. 採用混合量化：核心層 FP16、普通層 INT8，若精度下降超閾值，可減少量化範圍；
5. 量化後通過準確率、mAP 等指標驗證，確保滿足業務要求。

Q9：想問一下,QAl AppBuilder和Android Studio是什麼關係?需要同時安裝使用嗎
A9:
兩者無強制依賴，無需同時安裝，是協作關係。QAI AppBuilder 是高通 NPU 模型部署工具集，負責推理邏輯適配、模型轉換與執行；Android Studio 是 Android 開發 IDE，負責 UI 搭建、權限管理（如 NPU 訪問權限）、APK 打包。Android 端開發時，可通過 JNI 將 QAI AppBuilder 的 C++ 推理庫集成到 Android Studio 項目，或使用前者提供的 Android 端 samples 模板；純 PC 開發僅需 QAI AppBuilder，Android Studio 僅在需開發移動端應用時使用。

Q10：GenieAPlService支持哪些主流的LLM模型?Llama、Gemma這些都可以部署嗎?
A10:
GenieAPIService 支持主流開源 LLM 的 QNN 適配版，包括 Llama 3.1/3.2（7B/4B）、Qwen2 7B SSD、 Phi3.5等。

1. 模型格式為 QNN 兼容格式（含.bin 權重、tokenizer.json、配置文件）；
2. 可以從aidevhome.com下載預適配模型。

Q11：通過GenieAPlService調用本地NPU運行的LLM,相比雲端API有哪些優勢和劣勢?延遲能降低多少?
A11： 優勢：離線運行無網絡依賴、數據本地留存保護隱私、無調用次數 / 成本限制、低延遲（7B 模型單輪響應 100-300ms）；
劣勢：模型規模受限（主流支持 7B/8B）、需自行維護模型更新。
相比雲端 API，延遲降低 60%-80%（雲端網絡良好時 500-1500ms，網絡差時差距更大）。複雜多輪對話中，本地 NPU 的低延遲優勢更明顯，但大模型部署受限於本地硬件算力與內存。

Q12：對於隱私敏感的應用場景,端側部署是不是更有優勢?性能損失可以接受嗎?
A12：
對於隱私敏感場景（如醫療數據處理、金融隱私信息分析、個人私密交互），端側部署的優勢極為突出。依託 QAI AppBuilder 的本地 NPU 推理能力，所有數據全程在設備內處理，無需上傳雲端，徹底規避網絡傳輸中的數據泄露風險，也無需依賴第三方服務器，完全符合隱私保護法規（如 GDPR、個人信息保護法）對數據本地化的要求，從源頭築牢隱私安全防線。
性能損失方面完全可接受：高通 NPU 的異構計算架構 + QAI AppBuilder 的深度優化（如 Burst 模式、算子適配、混合量化），能最大程度抵消端側部署的性能損耗。實際使用中，多數場景（如本地 AI 助手對話、隱私數據分類）的響應速度、推理幀率與雲端差異極小，無明顯感知，完全能平衡隱私安全與使用體驗。

Q13：請問用ONNX Runtime部署模型,需要對原始模型做特殊轉換嗎?流程複雜嗎?
A13：通過ONNX Runtime部署模型，不需要對原始模型做轉換，使用標準的ONNX模型就可以直接部署運行。

以上內容來自2025驍龍人工智能創新應用大賽