tag 神經網絡

標籤
貢獻52
168
07:19 PM · Oct 26 ,2025
deephub 頭像 yuhaibao324 頭像 huamingshixunkeji 頭像 lab4ai 頭像 u_16099169 頭像 lanyiyun666 頭像 u_13303 頭像 u_16213590 頭像 u_16099165 頭像 u_16099269 頭像 u_12855 頭像 u_15903730 頭像

@神經網絡 / 博客 RSS 訂閱

u_16099200 頭像

數據探索者 - Transformer入門教程（二）模型設計(一)_transformer開發

本文詳細介紹瞭如何利用JAX及其神經網絡庫Haiku，從零開始構建並訓練一個完整的Transformer模型。內容涵蓋自注意力機制、線性層、歸一化層、嵌入層的實現，以及如何結合Optax優化器構建訓練循環，為理解和使用JAX進行深度學習開發提供了實用指南。 使用JAX從零構建Transformer模型全流程解析 在本教程中，我們將探討如何使用JAX開發神經網絡。而Tr

歸一化 , 神經網絡 , 損失函數 , 後端開發 , Python

收藏 評論

deephub 頭像

deephub - ONNX Runtime Python 推理性能優化：8 個低延遲工程實踐

在深度學習落地過程中，有一個常見的誤區：一旦推理速度不達標，大家的第一反應往往是拿着模型開到，比如：做剪枝、搞蒸餾、甚至犧牲精度換小模型。 實際上生產環境中的 Python 推理鏈路隱藏着巨大的“工程紅利”。很多時候你的模型本身並不慢，慢的是低效的數據搬運、混亂的線程爭用以及不合理的 Runtime 默認配置。在不改變模型精度的情況下，僅靠ONNX Runtime (ORT) 的工程特性，往往就能

神經網絡 , 人工智能 , 深度學習 , Python

收藏 評論

deephub 頭像

deephub - 融合AMD與NVIDIA GPU集羣的MLOps：異構計算環境中的分佈式訓練架構實踐

在深度學習的背景下，NVIDIA的CUDA與AMD的ROCm框架缺乏有效的互操作性，導致基礎設施資源利用率顯著降低。隨着模型規模不斷擴大而預算約束日益嚴格，2-3年更換一次GPU的傳統方式已不具可持續性。但是Pytorch的最近幾次的更新可以有效利用異構計算集羣，實現對所有可用GPU資源的充分調度，不受制於供應商限制。 本文將深入探討如何混合AMD/NVIDIA GPU集羣以支持PyTor

神經網絡 , pytorch , 人工智能 , 分佈式系統 , 深度學習

收藏 評論

deephub 頭像

deephub - PINN訓練新思路：把初始條件和邊界約束嵌入網絡架構，解決多目標優化難題

PINNs出了名的難訓練。主要原因之一就是這個多目標優化問題。優化器很容易找到投機取巧的路徑——比如拼命降低微分方程殘差，但完全不管初始條件和邊界約束。只要給初始條件和邊界損失配的權重夠低，它們增加的那點損失完全能被殘差損失的大幅下降抵消掉。調整權重也許能暫時緩解這個問題，但誰也不能保證最優權重在整個訓練過程中一直有效。 標準的PINN用複合損失函數，把三項加權求和： 初始條件損失 邊界損失

神經網絡 , pytorch , 人工智能 , 深度學習

收藏 評論

u_16213640 頭像

mob64ca1405d568 - HAO 人 物體 動作預測 計算機視覺任務

作者|VVingerfly 3D人體姿態和形狀估計在最近幾年是一個重要的研究熱點，但大部分工作僅僅關注人體部分，忽略了手部動作，港中文聯合Facebook AI研究院提出了一種從單張圖片同時估計人體姿態和手部動作的新方法，展示效果好似科學怪物。 如下圖左下和右下所示，易看出本文提出的方法姿態估計效果更好。

機器學習 , 神經網絡 , 人工智能 , 深度學習 , 計算機視覺

收藏 評論

deephub 頭像

deephub - Neural ODE原理與PyTorch實現：深度學習模型的自適應深度調節

對於神經網絡來説，我們已經習慣了層狀網絡的思維：數據進來，經過第一層，然後第二層，第三層，最後輸出結果。這個過程很像流水線，每一步都是離散的。 但是現實世界的變化是連續的，比如燒開水，誰的温度不是從30度直接跳到40度，而是平滑的上生。球從山坡滾下來速度也是漸漸加快的。這些現象背後都有連續的規律在支配。 微分方程就是描述這種連續變化的語言。它不關心某個時刻的具體數值，而是告訴你"變化的速度"。比如

神經網絡 , pytorch , 人工智能 , 深度學習

收藏 評論

deephub 頭像

deephub - 從貝葉斯視角解讀Transformer的內部幾何：mHC的流形約束與大模型訓練穩定性

Scaling Laws 已經成為深度學習領域的共識：更大的模型配合更多數據效果往往更好。但當參數量攀升至百億乃至千億級別時一個棘手的問題是：訓練不穩定性。 現代大語言模型動輒堆疊數十甚至上百層，殘差連接、跳躍連接、跨層路由機制層出不窮。這些架構設計背後的邏輯就是為了改善梯度流、加快收斂、提升參數利用率。但是在實踐中這些技在大規模訓練時卻經常出現問題：損失函數突然飆升、梯度爆炸、表徵坍塌、訓練動態

神經網絡 , 人工智能 , 深度學習

收藏 評論

huamingshixunkeji 頭像

華明視訊科技 - 2025年國內口碑不錯的智能閘口系統廠家推薦

隨着智慧物流、智慧口岸建設的不斷深入，智能閘口作為物流鏈的關鍵節點，其效率和準確性直接關係到整個作業流程的順暢。2025年，面對市場上眾多的智能閘口系統供應商，企業該如何選擇一家既靠譜又專業的合作伙伴？今天，我們就為大家推薦兩家在業內擁有極佳口碑和深厚技術底藴的深圳企業。 一、孚為智能科技 如果您追求的是一家技術紮實、深耕垂直領域的高科技企業，那麼深圳市孚為智能科技有限公司絕對是一個值

機器學習 , 圖像識別 , 神經網絡 , 人工智能 , 深度學習

收藏 評論

deephub 頭像

deephub - Orion-MSP：深度學習終於在表格數據上超越了XGBoost

表格數據一直是深度學習的老大難問題。這些年CV和NLP領域被Transformer統治得服服帖帖，但在真正的業務場景裏，面對表格這類的結構化數據，XGBoost這些梯度提升樹還是穩坐釣魚台。 為什麼會這樣？問題其實很簡單。圖像的像素排列有空間位置關係，文本有上下文順序，但表格裏的列是啥順序都行——年齡放第一列和放最後一列沒區別。而且這些列的類型完全不同：有數值、有類別，有的服從正態分佈有的嚴重偏態

神經網絡 , 人工智能 , 深度學習 , Python

收藏 評論

deephub 頭像

deephub - 提升迴歸模型可信度：4種神經網絡不確定性估計方法對比與代碼實現

迴歸任務在實際應用中隨處可見——天氣預報、自動駕駛、醫療診斷、經濟預測、能耗分析，但大部分迴歸模型只給出一個預測值，對這個值到底有多靠譜卻隻字不提。這在某些應用場景下會造成很多問題，比如用模型預測患者血壓，假設輸出是120/80這樣的正常值，表面看沒問題。但如果模型其實對這個預測很不確定呢？這時候光看數值就不夠了。 神經網絡有幾種方法可以在給出預測的同時估計不確定性。 迴歸中的不確定性問題 分類任

神經網絡 , 人工智能 , 深度學習 , Python

收藏 評論

huamingshixunkeji 頭像

華明視訊科技 - 鐵路車號識別裝置：賦能鐵路貨運智能化的核心

在現代化鐵路貨運管理中，效率與準確性是衡量運營水平的關鍵尺度。傳統依賴人工抄錄車號的方式，不僅效率低下、成本高昂，更因人為因素導致數據不準，已成為制約礦區、編組站、貨運站等場景智能化升級的瓶頸。鐵路車號識別裝置，正是為解決這一核心痛點而生的智能化解決方案。 什麼是鐵路車號識別裝置？ 鐵路車號識別裝置是一套基於前沿人工智能深度學習技術的自動化識別系統。它通過高清圖像捕捉與智能分析，對貨運

機器學習 , 圖像識別 , 神經網絡 , 人工智能 , 深度學習

收藏 評論

deephub 頭像

deephub - vLLM 性能優化實戰：批處理、量化與緩存配置方案

很多團隊把它vLLM 當 demo 跑，但是其實這沒把它系統能力發揮出來。這篇文章將介紹怎麼讓 vLLM 真正幹活——持續輸出高令牌/秒，哪些參數真正有用，以及怎麼在延遲和成本之間做取捨。 先説 vLLM 到底好在哪 vLLM 提供 OpenAI 兼容的 API，核心是 continuous batching 加上 PagedAttention。PagedAttention 用分頁管理 K

神經網絡 , 教程 , 人工智能 , 深度學習 , llama

收藏 評論

deephub 頭像

deephub - 如果你的PyTorch優化器效果欠佳,試試這4種深度學習中的高級優化技術吧

在深度學習領域，優化器的選擇對模型性能至關重要。雖然PyTorch中的標準優化器如 SGD 、 Adam 和 AdamW 被廣泛應用，但它們並非在所有情況下都是最優選擇。本文將介紹四種高級優化技術，這些技術在某些任務中可能優於傳統方法，特別是在面對複雜優化問題時。 我們將探討以下算法： 序列最小二乘規劃（SLSQP） 粒子羣優化（PSO） 協方差矩陣自適應進化策略（CMA-ES） 模擬退

神經網絡 , pytorch , 人工智能 , 深度學習 , 優化

收藏 評論

deephub 頭像

deephub - Mosaic：面向超長序列的多GPU注意力分片方案

Transformer的"二次方注意力瓶頸"的問題是老生常談了。這個瓶頸到底卡在哪實際工程裏怎麼繞過去？本文從一個具體問題出發，介紹Mosaic這套多軸注意力分片方案的設計思路。 注意力的內存困境 注意力機制的計算公式： Attention(Q, K, V) = softmax(QKᵀ / √d) × V 問題出在 QKᵀ 這個矩陣上，它的形狀是 (序列長度 × 序列長度) 。 拿150

注意力 , 神經網絡 , 人工智能 , transformer , 深度學習

收藏 評論

u_12865 頭像

autohost - 擴散模型Diffusion Models_擴散模型 強化學習

1 模型架構描述 Diffusion-TS的模型結構始於將時間序列數據輸入一個基於Transformer的編碼器進行編碼，以獲得其全局的向量表示。解碼器隨後對這些表示進行解碼，其輸出通過一個權重矩陣進行映射後分流：一部分送入趨勢合成層，另一部分進入傅里葉合成層。輸入全連接神經網絡（FFN）的部分經處理後，對已經過自注意力機制和交叉注意力機制處理的時

數據 , 神經網絡 , 去噪 , 人工智能 , 1024程序員節 , Css , 前端開發 , HTML

收藏 評論

u_16213704 頭像

mob64ca14154457 - 乾貨分享 | 深度學習零基礎進階第二彈 -

Abstract 隱式神經表示 （INR） 已成為使用神經網絡將離散信號編碼為連續、可微函數的強大工具。然而，不幸的是，這些模型通常依賴單體架構來表示高維信息，隨着維度的增長，導致計算成本過高。我們提出了 F-INR，這是一個框架，它依據函數張量分解重新制定 INR 學習，將高維任務分解為輕量級的、特定於軸的子網絡。每個子網絡學習一個低維資料組件（例如，空間或時間）。然後，

數據 , 神經網絡 , 後端開發 , 結構化 , Python

收藏 評論

yuhaibao324 頭像

DeepSeaAI - ChatGLM3微調實戰：基於LLaMA-Factory微調改造企業級知識庫

概述 本文介紹如何使用LLaMA-Factory框架對ChatGLM3模型進行微調，以適應企業級知識庫的問答和交互需求。通過微調，可以使模型更好地理解和迴應特定領域的專業知識。 1. 背景與挑戰 企業知識庫需求：企業通常擁有大量內部文檔、FAQ、產品手冊等，需要智能系統快速準確回答相關問題。 通用模型的侷限性：預訓練模型缺乏特定領域知識，可能產

數據 , 神經網絡 , API , 人工智能 , Json

收藏 評論

u_16511090 頭像

min2k - 一天一個Python庫：Pandas - 拿捏數據的N種姿勢

引言 歡迎來到【一天一個Python庫】系列！在上一篇中我們介紹了數據可視化的畫筆 Matplotlib， 今天我們要認識的是 Python 數據處理與分析領域的靈魂工具 — Pandas。 如果説 NumPy 負責“算數據”，那麼 Pandas 就是負責“處理和分析數據”。 一、什麼是 Pandas？ Pandas 是 Python 中最流行

數據 , 神經網絡 , 人工智能 , pandas , Python

收藏 評論

huamingshixunkeji 頭像

華明視訊科技 - 想知道海關智能卡口系統廠家靠不靠譜，記住以下五點，絕對不踩坑！

各位關心口岸智能化建設的同仁們，大家好！我是華明視訊。我們深耕海關智能監管領域多年，見證了太多企業在選擇卡口系統時踩坑、交學費。一套不靠譜的系統，輕則導致通關效率低下，重則引發監管風險，損失難以估量。 今天，我們不吹噓自己，只想作為行業裏的“老炮兒”，給大家分享五個硬核的評判標準。想知道一個海關智能卡口系統廠家靠不靠譜，照着這五點去問、去看，心裏立馬就有底！ 第一點：看“身份證”與“履

圖像識別 , 神經網絡 , 自然語言處理 , 人工智能 , 深度學習

收藏 評論

deephub 頭像

deephub - Google Code Wiki：GitHub代碼庫秒變可交互文檔

Google發佈的這個Code Wiki項目可以在代碼倉庫之上構建動態知識層的工具，或者説可以"自動生成文檔"。 第一層是結構解析：Code Wiki使用Tree-sitter對代碼進行語法樹分析，將源碼拆解成類、函數、方法、導入語句和依賴項。Tree-sitter是一個增量解析庫支持多種編程語言，能夠生成抽象語法樹（AST）。這比純文本處理要精確得多，因為系統真正"看懂"了代碼的語法結構

llm , 神經網絡 , 人工智能

收藏 評論

deephub 頭像

deephub - 別再往一個智能體裏塞功能了：6種多智能體模式技術解析與選型指南

一個 AI 智能體在簡單任務上跑得很順，加了幾個功能之後突然開始胡説八道、忽略指令、選錯工具、丟失上下文。這就是所謂的"單體智能體牆"：單個智能體從可用變成不可用的臨界點。 Anthropic 的研究數據表示當智能體掛載超過 10-15 個工具後性能就會斷崖式下跌。但企業級系統動輒需要上百個功能接口就不可能用單體架構撐住。 而且很多開發者還會堆智能體，當第一個智能體有問題的時候就往上加第二

llm , agent , 神經網絡 , 人工智能 , 深度學習

收藏 評論

u_16099169 頭像

編程夢想家 - （八）神經網絡-線性層及其他層介紹_神經網絡線性層

20.1打開pytorch官網 1.打開torch.nn-Normalization Layers 找到BatchNorm2d： 點擊查看代碼 class torch.nn.BatchNorm2d(num_features, eps=1e-05, momentum=0.1, affine=True, track_running_stat

數據 , 神經網絡 , Css , 2d , 前端開發 , HTML

收藏 評論

u_16099169 頭像

編程夢想家 - 實時實例分割最新

本文主要解決視頻目標分割領域的一個基本問題：如何使分割模型能夠有效地適應特定視頻以及在線目標的外觀變化。 解決辦法：提出一個圖存儲網絡來對分割模型進行“學習更新”。 大概流程分為兩步：首先構建一個由全連接圖構成的情景存儲網絡，將幀存儲為節點，並通過邊捕獲跨幀的相關性。然後，可學習的控制器被嵌入以簡化內存的讀寫。 相比於以往模型的優勢：結構化的外部

機器學習 , 實時實例分割最新 , 神經網絡 , 人工智能 , 深度學習 , 計算機視覺

收藏 評論