一階矩

標籤

貢獻1

21

01:29 PM · Nov 18 ,2025

@u_14405

暱稱fjfdh

Last seen

@一階矩 / 博客 RSS 訂閱

Nov 18 2025

fjfdh - 優化器(Optimizer)（SGD、Momentum、AdaGrad、RMSProp、Adam）_sgd優化器

一、動量優化器（Momentum） 1、核心思想模擬物理中的 “動量” 概念，通過積累歷史梯度的 “慣性” 來加速收斂，減少震盪。解決 SGD（隨機梯度下降）在溝壑區域（梯度方向頻繁變化）收斂慢、震盪大的問題。 2、公式（1）動量變量（積累歷史梯度）（2）參數更新其中，γ為動量因子（通常

自適應 , 一階矩 , 人工智能 , 深度學習 , 稀疏數據 , 前端開發 , Javascript

1