tag 歸一化

標籤
貢獻13
84
12:39 AM · Nov 18 ,2025
u_12959 頭像 u_16099229 頭像 u_17583190 頭像 u_16099306 頭像 u_16099274 頭像 u_16099241 頭像 u_16213702 頭像 u_16099200 頭像 u_12218 頭像 u_14125 頭像 u_16297326 頭像 u_16213660 頭像

@歸一化 / 博客 RSS 訂閱

u_12959 頭像

lanhy - gbdt離散特徵

一、為什麼要用獨熱編碼？ 在很多機器學習任務中，特徵並不總是連續值，而有可能是分類值。 離散特徵的編碼分為兩種情況： 1、離散特徵的取值之間沒有大小的意義，比如color：[red,blue],那麼就使用one-hot編碼 2、離散特徵的取值有大小的意義，比如size:[X,XL,XXL],那麼就使用數值的映射{X:1,XL:2,XXL:3} 例如，

機器學習 , 歸一化 , 數據 , 取值 , gbdt離散特徵 , 人工智能

收藏 評論

u_16099229 頭像

架構設計師之光 - ASP.Net之筆記11-05（Repeater 分頁）

: positional encoding : triplet encoding : subject encoding : object encoding Relation Transformer (RelTR), to directly predict a fixed-size set of − −

歸一化 , 三元組 , 人工智能 , transformer , 深度學習 , 前端開發 , Javascript

收藏 評論

u_17583190 頭像

fangpin - 深入解析：使用 Triton 實現 Flash Attention2 - 讓大模型訓練飛起來

引言 你是否曾經在訓練大型語言模型時，眼睜睜地看着 GPU 內存不斷飆升，最終因為 OOM（Out of Memory）錯誤而前功盡棄？或者在處理長序列時，發現注意力機制的計算時間呈平方級增長，讓人望而卻步？ 如果你有過這樣的經歷，那麼今天這篇文章將為你帶來一個革命性的解決方案：Flash Attention2。更令人興奮的是，我們將通過 Triton 這個強大的 GPU 編程框

歸一化 , 人工智能 , 深度學習 , ide , Python

收藏 評論

u_16099306 頭像

落花流水人家 - 深度學習 歸一化的作用

歸一化 （1）什麼是歸一化？ 通俗理解，就是對原始數據進行線性變換把數據映射到[0, 1]區間。 具有的特點： 1、對不同特徵維度進行伸縮變換。 2、改變原始數據的分佈。使各個特徵維度對目標函數的影響權重是一致的（即使得那些扁平分佈的數據伸縮變換成類圓形）。

歸一化 , 數據 , 深度學習 歸一化的作用 , 人工智能 , 深度學習 , 原始數據

收藏 評論

u_16099274 頭像

墨香四溢 - LSTM怎麼動態調整權重

最近看了黃老師的視頻課，一下子覺得自己對這些內容又生疏了，於是找來看了看。現在記錄一下 一、框架 框架的選擇上，我看老黃選擇的也是這張圖，正好作者有點料，於是直接將鏈接添加鏈接描述附上。 這裏有個點，這裏的圖很重要。注意，LSTM的輸出中，每個字輸出為label的概率。 二、LSTM的參數量 參數量計算 LSTM的官方文檔 LSTM的結構圖

歸一化 , 算法 , 重置 , LSTM怎麼動態調整權重 , 人工智能 , 維特比算法 , 深度學習

收藏 評論

u_16099241 頭像

技術領航博主 - Leaky ReLU和ReLU的關係

論文提出了動態ReLU，能夠根據輸入動態地調整對應的分段激活函數，與ReLU及其變種對比，僅需額外的少量計算即可帶來大幅的性能提升，能無縫嵌入到當前的主流模型中   論文: Dynamic ReLU 論文地址：https://arxiv.org/abs/2003.10027 論文代碼：https://githu

歸一化 , Dynamic , Leaky ReLU和ReLU的關係 , 激活函數 , 人工智能 , 深度學習

收藏 評論

u_16213702 頭像

mob64ca1414c613 - deepforest分類器

在計算廣告中，CTR是非常重要的一環。對於特徵組合來説，業界通用的做法主要有兩大類：FM系列和Tree系列。這裏我們來介紹一下FM系列。 在傳統的線性模型中，每個特徵都是獨立的，如果需要考慮特徵與特徵之間的相互作用，可能需要人工對特徵進行交叉組合。非線性SVM可以對特徵進行核變換，但是在特徵高度稀疏的情況下，並不能很好的進行學習。現在有很多分解模型可以學習到特徵

deepforest分類器 , 複雜度 , 歸一化 , 雲計算 , DNN , 雲原生

收藏 評論

u_16099200 頭像

數據探索者 - Transformer入門教程（二）模型設計(一)_transformer開發

本文詳細介紹瞭如何利用JAX及其神經網絡庫Haiku，從零開始構建並訓練一個完整的Transformer模型。內容涵蓋自注意力機制、線性層、歸一化層、嵌入層的實現，以及如何結合Optax優化器構建訓練循環，為理解和使用JAX進行深度學習開發提供了實用指南。 使用JAX從零構建Transformer模型全流程解析 在本教程中，我們將探討如何使用JAX開發神經網絡。而Tr

歸一化 , 神經網絡 , 損失函數 , 後端開發 , Python

收藏 評論

u_12218 頭像

棉花糖 - 學習筆記七：transformer總結（1）

《Transformer最強動畫講解》以“視覺化理論推演+PyTorch工程化落地”的教學範式，讓我實現了從“懂理論”到“通代碼”的進階，更收穫了一套高效的深度學習學習方法。 教程開篇錨定2017年奠基論文《Attention Is All You Need》，直擊傳統序列模型的兩大痛點：RNN及其變體受串行計算限制，長距離依賴捕捉能力弱且並行效率低；CNN雖能

歸一化 , Mask , 人工智能 , 深度學習

收藏 評論

u_14125 頭像

jacksky - TOP-K問題

temperature、top_p、top_k 大模型問答的交互流程 圖片來源：阿里大模型ACP考試課件 temperature temperature和top_p的調整是發生在大模型交互流程的第四階段即輸出Token，大模型會根據候選Token的概率進行隨機挑選，這就會導致“即使問題完全相同，每次的回答都略有不同”。 在大模型生成下一個詞（

歸一化 , 後端開發 , 概率分佈 , Git , Python

收藏 評論

u_16297326 頭像

虎斑嘟嘟 - AI與認知科學的互惠啓發：預測編碼理論與Transformer架構的趨同

AI與認知科學的互惠啓發：預測編碼理論與Transformer架構的趨同 從神經科學第一原理到人工智能的範式轉移 人工智能的發展正經歷着一場深刻的範式轉移。從傳統的模式識別和函數逼近，轉向以預測為核心的智能計算範式。這一轉變的深層邏輯，竟然與神經科學中一個革命性的理論——預測編碼理論（Predictive Coding Theory）形成了驚人的趨同。 預測編碼

歸一化 , 預測編碼 , yyds乾貨盤點 , NLP , 權重 , 人工智能

收藏 評論

u_16213660 頭像

mob64ca140ac564 - 深度學習計算每層參數數量公式

BN和conv pooling一樣是一個含有參數的層，其解決的問題是樣本間在隱含層的特徵數據分佈不均，提升訓練效率。 基本算法如下，首先對每一層的數據，都會計算其均值和方差，再將特徵數據分佈歸一化到均值為1，標準差為0。僅僅是這樣操作後會有一個硬傷：原本一些數據分佈可能都是大於0的，現在你歸一化到均值為1，一般情況下，神經元在ReLu都不會被激活！

歸一化 , DL , 深度學習計算每層參數數量公式 , 數據 , 數據分佈 , 人工智能 , 深度學習

收藏 評論

u_13229 頭像

bingfeng - Python編程規範及性能優化 - 陶邦仁的個人空間 -

項目概述 MASt3R（Grounding Image Matching in 3D with MASt3R）是一個專注於三維圖像匹配的開源項目，其核心功能是通過深度學習模型實現高精度的圖像匹配與三維重建。項目採用模塊化設計，遵循Python最佳實踐，確保代碼的可維護性和擴展性。 目錄結構解析 MASt3R項目採用清晰的層次化目錄結構，主

三維重建 , 歸一化 , 點雲 , Css , 前端開發 , HTML

收藏 評論