目錄 1. Mixture-of-experts (MoE) 1.1 優勢 1.2 結構 1.3 訓練 2. Low-rank adaptation (LoRA) 3. 數的精度 -- 混合精度 + 量化操作 Task1:DenseMLPWithLoRA 一、任務背景 二、任務要求 Task2:Sparse ML