一.寫在前面 本節主要講的是上一節學習圖中的按目標分類的橙色方塊中的regression,即所要解決的問題的解為數值。本節由一個案例貫穿,即預測神奇寶貝進化後的戰鬥力,挺有趣的一個案例。本節略長,請耐心看,相信會有收穫的,做我們這行的最重要的就是要有耐心。 二.案例説明 所要研究的案例是想要預測神奇寶貝進化後的戰鬥力用cp值表示,具體案例描述如下圖2-1
一、梯度下降(Gradient Descent) 1. 基本概念 梯度下降(Gradient Descent) 是一種用於 最小化代價函數 J(w,b)J(w,b)J(w,b)的優化算法。 它的思想相當直觀: 環顧四周,選擇讓代價函數下降最快的方向,然後沿着該方向走一步。然後在新的位置重複這個過程,直到到達最低點。這種“下山”的過程,就是梯度下降
迴歸與梯度下降 迴歸在數學上來説是給定一個點集,能夠用一條曲線去擬合之,如果這個曲線是一條直線,那就被稱為線性迴歸,如果曲線是一條二次曲線,就被稱為二次迴歸,迴歸還有很多的變種,如本地加權迴歸、邏輯迴歸,等等。 用一個很簡單的例子來説明迴歸,這個例子來自很多的地方,也在很多的開源軟件中看到,比如説weka。大概就是,做一個房屋
畫出\(P(blue|x)\)的等高線可以看出在概率為0.5時還是能較好的分開兩組數據 可以看出判別式模型中,完全是依據數據進行的分析,沒有添加任何人為的假設(對於任意的分佈\(z\)都滿足\(z=wx+b\)的形式),直接根據貝葉斯後驗概率進行的推導。 至此兩種模型都講完,這兩者模型各有優缺點,當數據很少的時候,或許