@MoE / 博客 RSS 訂閱

Jan 02 2026

火雲大軍 - 程序員應該熟悉的概念(5)MoE

MoE(Mixture of Experts,專家混合模型）)是當前大模型（尤其是 GPT-4、Gemini、Mixtral、DeepSeek 等）架構中非常核心的一個概念。 MoE 的思想非常直白：不同的 專家/Expert 只負責處理自己擅長的那一類輸入，而不是讓整個模型的所有參數都去處理所有任務。 也就是説： 一個 MoE 模型內部其實

指尖人生 , llm , 人工智能 , transformer , 深度學習 , MoE

收藏 評論