tag 損失函數

標籤
貢獻19
73
07:01 PM · Nov 16 ,2025
u_16213631 頭像 u_12855 頭像 u_13066 頭像 u_16099188 頭像 u_16213669 頭像 u_16175455 頭像 u_16213457 頭像 u_15996251 頭像 u_16213334 頭像 u_16099236 頭像 u_16099328 頭像 u_16099194 頭像

@損失函數 / 博客 RSS 訂閱

u_16099236 頭像

是大魔術師 - diceloss與交叉熵的權重

1.信息量與信息熵 香農在他著名的論文”通信的數學原理“（A Mathematic Theory of Communication）中提出了”信息熵“的概念，解決了信息的度量問題，並且量化出信息的作用。 一條信息的信息量與其不確定性有着直接的關係。比如説，我們要搞清楚一件非常非常不確定的事，或是我們一無所知的事情，就需要了解大量的信息。相反，

互信息 , 損失函數 , 人工智能 , 深度學習 , diceloss與交叉熵的權重 , 概率分佈

收藏 評論

u_16018702 頭像

架構師李哲 - PPO最強，DPO一般？一文帶你瞭解常見三種強化學習方法，文末有大模型微調神器！

很多人第一次接觸各家大模型時，都會覺得它們的回答能帶來意想不到的驚喜，但有時，AI回答又怪怪的、囉嗦、甚至有點危險。 這背後，其實就是一個核心問題：對齊（Alignment）。 預訓練讓模型會“説話”，但對齊訓練，才讓模型更符合人類偏好：更有用、更安全、更有温度。在當下的大模型時代，有三種常被提到的對齊方法：PPO、DPO和KTO。 本期，LLaMA-F

強化學習 , 數據 , 損失函數 , 人工智能 , 深度學習

收藏 評論

u_16099240 頭像

陌陌香閣 - 圖像顯著目標檢測模型

和昨天的那篇U²Net同作者，但是更早一點。 大多數深度學習方法→在顯著性預測時側重於區域預測→但現在他們創建了一個新的損失函數→也考慮了目標的邊界。 顯著性預測→我們人類擅長於此→關注給定的圖像或視頻中的“重要”目標。(但沒有很多方法考慮目標的邊界)。現在有很多深度學習模型結合了不同的表示方式。

code , 圖像顯著目標檢測模型 , 損失函數 , 人工智能 , 深度學習 , 計算機視覺

收藏 評論

u_16099200 頭像

數據探索者 - Transformer入門教程（二）模型設計(一)_transformer開發

本文詳細介紹瞭如何利用JAX及其神經網絡庫Haiku，從零開始構建並訓練一個完整的Transformer模型。內容涵蓋自注意力機制、線性層、歸一化層、嵌入層的實現，以及如何結合Optax優化器構建訓練循環，為理解和使用JAX進行深度學習開發提供了實用指南。 使用JAX從零構建Transformer模型全流程解析 在本教程中，我們將探討如何使用JAX開發神經網絡。而Tr

歸一化 , 神經網絡 , 損失函數 , 後端開發 , Python

收藏 評論

u_16213653 頭像

mob64ca14092155 - 深度學習 知識蒸餾原理詳解 蒸餾原理和過程

目錄 背景 模型結構 模型效果 實現代碼 背景 模型結構 訓練過程 實現代碼 前言 本文主要介紹知識蒸餾原理，並以BERT為例，介紹兩篇BERT蒸餾論文及代碼，第一篇論文是在下游任務中使用BiLSTM對BERT蒸餾，第二篇是對Transformer蒸餾，即TinyBert。

深度學習 知識蒸餾原理詳解 , 損失函數 , 人工智能 , 深度學習 , 概率分佈 , Git

收藏 評論

u_16175443 頭像

mob649e8156b567 - llama預訓練默認損失函數

llama預訓練默認損失函數是指在進行LLaMA（Large Language Model Meta AI）模型的預訓練時使用的損失計算方法。使用合適的損失函數是提升模型訓練性能的關鍵。接下來，我將詳細記錄解決“llama預訓練默認損失函數”問題的整個過程。 環境配置 首先，確保你擁有一個合適的環境來進行LLaMA模型的預訓練。以下是整個環境配置的流程圖，以及相關的配置代碼。

數據集 , 損失函數 , aigc , 數據預處理

收藏 評論

u_13539 頭像

jowvid - interval regression模型

邏輯迴歸（Logistic Regression）是機器學習中的一種分類模型，由於算法的簡單和高效，在實際中應用非常廣泛。本文作為美團機器學習InAction系列中的一篇，主要關注邏輯迴歸算法的數學模型和參數求解方法，最後也會簡單討論下邏輯迴歸和貝葉斯分類的關係，以及在多分類問題上的推廣。 邏輯迴歸 問題 實際工作中，我們可能會遇到如下問題：

機器學習 , 數據 , 雲計算 , 損失函數 , 雲原生

收藏 評論

u_16213667 頭像

mob64ca140c75c7 - vfl損失公式表達

1. 總述 Focal loss主要是為了解決one-stage目標檢測中正負樣本比例嚴重失衡的問題。該損失函數降低了大量簡單負樣本在訓練中所佔的權重，也可理解為一種困難樣本挖掘。 2. 損失函數形式 Focal loss是在交叉熵損失函數基礎上進行的修改，首先回顧二分類交叉上損失： 是經過激活函數的輸出，所以在0

vfl損失公式表達 , 損失函數 , 權重 , 人工智能 , 計算機視覺 , 目標檢測

收藏 評論

u_16099194 頭像

數據大俠客 - sklearn linearregression畫出損失函數曲線和曲面

1. 簡單列子： 一個損失函數L與參數x的關係表示為： 則 加上L2正則化，新的損失函數L為 ：（藍線） 最優點在黃點處，x的絕對值減少了，但依然非零。 如果加上L1正則化，新的損失函數L為 ：（粉線）

數據 , 雲計算 , 損失函數 , 正則化 , 雲原生

收藏 評論

u_16099328 頭像

墨染青絲 - 吳恩達深度學習網課 通俗版筆記——（02.改善深層神經網絡）第三週 超參數調試、Batch正則化和程序框架

本週為第二課的第三週內容，你會發現這周的題目很長，實際上，作為第二課的最後一週內容，這一週是對基礎部分的最後補充。 在整個第一課和第二課部分，我們會了解到最基本的全連接神經網絡的基本結構和一個完整的模型訓練，驗證的各個部分。 之後幾課就會進行更多的實踐和進階內容介紹，從“通用”走向“特化”。

多分類 , 二分類 , 損失函數 , 後端開發 , Python

收藏 評論

u_16213631 頭像

mob64ca1403c772 - 迴歸任務的決策擬合

一.寫在前面 　　本節主要講的是上一節學習圖中的按目標分類的橙色方塊中的regression，即所要解決的問題的解為數值。本節由一個案例貫穿，即預測神奇寶貝進化後的戰鬥力，挺有趣的一個案例。本節略長，請耐心看，相信會有收穫的，做我們這行的最重要的就是要有耐心。 二.案例説明 　　所要研究的案例是想要預測神奇寶貝進化後的戰鬥力用cp值表示，具體案例描述如下圖2-1

機器學習 , 迴歸任務的決策擬合 , 梯度下降 , 數據 , 損失函數 , 人工智能

收藏 評論

u_16213334 頭像

mob64ca12d8c182 - llama 模型架構 損失函數

llama 模型架構 損失函數的描述：在當今的深度學習領域，LLaMA（Large Language Model Meta AI）已成為一個熱門的基礎模型。其架構設計與損失函數的選取對模型的性能至關重要。因此，在本文中，我將深挖 LLaMA 模型架構以及其對應的損失函數，逐步解析這些概念的本質。 背景描述 LLaMA 模型的設計理念源於大規模預訓練與高效的 fine-tuning

User , 損失函數 , aigc , ci

收藏 評論

u_15996251 頭像

明日cto - 機器學習——線性迴歸

線性迴歸是機器學習中最基礎、最常用的算法之一，主要用於預測連續數值（如房價、温度、銷售額等）。它通過建立一個線性關係模型，來擬合輸入特徵與目標變量之間的關係 一、基本概念 1.線性迴歸的定義 線性迴歸是一種監督學習算法，用於預測一個連續的目標變量（輸出）。 模型形式為： 其中： 是目標變量（預測值） 是輸入特徵

機器學習 , 線性迴歸 , yyds乾貨盤點 , 損失函數 , 人工智能 , 正則化

收藏 評論

u_16213457 頭像

mob64ca12f66e6c - llama_factorylora微調使用的什麼損失函數

llama_factorylora微調使用的損失函數是一個值得探討的話題，尤其是當我們關注如何在基於Llama模型的自然語言處理任務上獲得更好的微調結果時。本文將介紹llama_factorylora微調使用的損失函數的背景、抓包與解析過程、報文結構、交互過程、性能優化以及工具鏈集成等方面。 協議背景 在自然語言處理任務中，模型的微調有助於提升特定任務的性能。llama_fact

字段 , wireshark , 損失函數 , aigc

收藏 評論

u_16175455 頭像

mob649e8159b30b - diffusion 損失函數優化

在深度學習領域，使用“擴散模型”進行生成任務時，損失函數的優化至關重要。尤其是在處理複雜的圖像、文本或聲音數據時，優化這些模型可以大大提高生成的質量和效率。我們在我的項目中遇到了“擴散損失函數優化”的問題，下面詳細記錄了我們的探索過程。 問題背景 在處理圖像生成時，我們應用了一種擴散模型，該模型通過逐步去噪的方式生成高質量的圖像。針對的用户場景是生成藝術風格的圖像，以供設計師在創

User , 損失函數 , aigc , ci

收藏 評論

u_16213669 頭像

mob64ca140ce312 - 生成對抗網絡判別器輸入

生成對抗網絡(Generative Adversarial Networks, GAN)是一種深度學習模型，是近年來複雜分佈上無監督學習最具前景的學習方法之一。 GAN 主要包括了兩個部分，即生成器 generator 與判別器 discriminator。生成器主要用來學習真實圖像分佈從而讓自身

tensorflow , 生成對抗網絡判別器輸入 , 損失函數 , 生成器 , 人工智能 , 深度學習

收藏 評論

u_16099188 頭像

互聯網小思悟 - 機器學習 損失率 範圍 機器翻譯的損失函數

1、損失函數（代價函數） 損失函數（loss function）是用來估量模型的預測值f(x)與真實值Y的不一致程度，它是一個非負實值函數,通常使用L(Y, f(x))來表示，損失函數越小，模型的魯棒性就越好。損失函數和代價函數是同一個東西，目標函數是一個與它們相關但更廣的概念。 上面三個圖的函數依次為 , ,

機器學習 損失率 範圍 , 機器學習 , 擬合 , 損失函數 , 人工智能 , 歷史數據

收藏 評論

u_13066 頭像

hochie - 哪種情況下邏輯迴歸函數可能不是最佳選擇 邏輯迴歸不是迴歸

邏輯不邏輯，迴歸非迴歸。 回想當年初次學習邏輯迴歸算法時，看到”邏輯迴歸“這個名字，第一感覺是這是一個與線性迴歸類似的迴歸類別的算法，只不過這個算法突出”邏輯“，或者與某個以”邏輯“命名的知識點有關。可後來卻發現，這是一個坑死人不償命的名字——邏輯迴歸算法不是迴歸算法，是分類算法，也與邏輯無關，要説有關也僅是因為它的英文名字是Loginstics，音譯為邏輯而已（所以也有資料稱之

機器學習 , 線性迴歸 , 數據 , 損失函數 , 人工智能 , 哪種情況下邏輯迴歸函數可能不是最佳選擇

收藏 評論

u_12855 頭像

西門吹雪 - 正則化損失函數代碼 pytorch

前言 L1、L2在機器學習方向有兩種含義：一是L1範數、L2範數的損失函數，二是L1、L2正則化 L1範數、L2範數損失函數 L1範數損失函數： L2範數損失函數： L1、L2分別對應損失函數中的絕對值損失函數和平方損失函數 區別： 分析： robust: 與L2相比，L1受異常點影響比較小，

稀疏矩陣 , pytorch , 損失函數 , 人工智能 , 正則化損失函數代碼 pytorch , 權值

收藏 評論