一、梯度下降(Gradient Descent) 1. 基本概念 梯度下降(Gradient Descent) 是一種用於 最小化代價函數 J(w,b)J(w,b)J(w,b)的優化算法。 它的思想相當直觀: 環顧四周,選擇讓代價函數下降最快的方向,然後沿着該方向走一步。然後在新的位置重複這個過程,直到到達最低點。這種“下山”的過程,就是梯度下降
迴歸與梯度下降 迴歸在數學上來説是給定一個點集,能夠用一條曲線去擬合之,如果這個曲線是一條直線,那就被稱為線性迴歸,如果曲線是一條二次曲線,就被稱為二次迴歸,迴歸還有很多的變種,如本地加權迴歸、邏輯迴歸,等等。 用一個很簡單的例子來説明迴歸,這個例子來自很多的地方,也在很多的開源軟件中看到,比如説weka。大概就是,做一個房屋