線性迴歸是機器學習中最基礎、最常用的算法之一,主要用於預測連續數值(如房價、温度、銷售額等)。它通過建立一個線性關係模型,來擬合輸入特徵與目標變量之間的關係 一、基本概念 1.線性迴歸的定義 線性迴歸是一種監督學習算法,用於預測一個連續的目標變量(輸出)。 模型形式為: 其中: 是目標變量(預測值) 是輸入特徵
期望、方差是統計學中的核心概念,廣泛應用於機器學習的模型評估、特徵分析、正則化方法等領域。以下是對它們的系統講解,包括定義、性質、計算方法及實際應用 一、期望(Expectation) 1. 定義 期望是隨機變量在大量實驗中的“平均值”,用於描述其中心趨勢。 離散隨機變量: 連續隨機變量:
前言:本筆記是對近日閲讀keynote“Troubleshooting Deep Neural Networks”的總結。 keynote來源: http://josh-tobin.com/troubleshooting-deep-neural-networks
1. 簡單列子: 一個損失函數L與參數x的關係表示為: 則 加上L2正則化,新的損失函數L為 :(藍線) 最優點在黃點處,x的絕對值減少了,但依然非零。 如果加上L1正則化,新的損失函數L為 :(粉線)
在深度學習實踐中,你是否曾遇到過這樣的困境:模型在訓練集上表現完美,準確率高達99%,但一到測試集就“原形畢露”,準確率驟降至60%;模型參數越來越多,訓練過程中損失函數震盪不止,始終無法穩定收斂。這些問題的核心,往往指向同一個“元兇”——過擬合。而過擬合的剋星,正是正則化技術。今天,我們就從正則化的核心原理入手,全面拆解從基礎的L1/L2正則化,到進階的Dropout、早停,再
今天咱們和大家一起聊聊關於 XGBoost 的一個算法案例:XGBoost 在股市波動預測中的應用。 當然,僅僅作為算法模型的學習,切勿用於真實情況。 下面,咱們從原理到案例,好好説説~ XGBoost原理 XGBoost(eXtremeGradient Boosting)是一個基於梯度提升決策樹(GBDT)實現的高效分佈式機器學