博客 / 列表

deephub - llama.cpp Server 引入路由模式:多模型熱切換與進程隔離機制詳解

llama.cpp server在 2025年12月11日發佈的版本中正式引入了 router mode(路由模式),如果你習慣了 Ollama 那種處理多模型的方式,那這次 llama.cpp 的更新基本就是對標這個功能去的,而且它在架構上更進了一步。 路由模式的核心機制 簡單來説,router mode 就是一個內嵌在 llama.cpp 裏的模型管理器。 以前跑 server,啓動時需要指

llm , 人工智能 , 深度學習 , llama , Python

deephub - 不僅僅是 Try/Except:資深 Python 工程師的錯誤處理工程化實踐

開發過程中,這種報錯堆棧大家應該都不陌生: Traceback (most recent call last): File "app.py", line 10, in module\ ZeroDivisionError: division by zero 程序崩潰,服務中斷,用户體驗歸零。 但 Python 提供的異常處理機制,遠不止是為了防止程序閃退。它的核心價值在

異常處理 , Python

deephub - 深度解析 Google JAX 全棧:帶你上手開發,從零構建神經網絡

目前來看Google 是唯一一家在 AI 價值鏈上實現端到端垂直整合的公司。從基礎模型 (Gemini)、應用層 (ImageFX, Search with Gemini, NotebookLM),到雲架構 (Google Cloud, Vertex AI) 以及硬件 (TPUs),幾乎全都有所佈局。 長期以來Google 一直在通過提升自身能力來減少對 NVIDIA GPU 的依賴。這種

jax , 人工智能 , 深度學習 , Python

deephub - 基於強化學習的量化交易框架 TensorTrade

打開交易圖表,堆上十個技術指標,然後對着屏幕發呆不知道下一步怎麼操作——這場景對交易員來説太熟悉了。如果把歷史數據丟給計算機,告訴它“去試錯”。賺了有獎勵,虧了有懲罰。讓它在不斷的嘗試和失敗中學習,最終迭代出一個不説完美、但至少能邏輯自洽的交易策略。 這就是 TensorTrade 的核心邏輯。 TensorTrade 是一個專注於利用 強化學習 (Reinforcement Learning,

量化交易 , 強化學習 , Python

deephub - DeepSeek-R1 與 OpenAI o3 的啓示:Test-Time Compute 技術不再迷信參數堆疊

過去2年,整個行業彷彿陷入了一場參數競賽,每一次模型發佈的敍事如出一轍:“我們堆了更多 GPU,用了更多數據,現在的模型是 1750 億參數,而不是之前的 1000 億。” 這種慣性思維讓人誤以為智能只能在訓練階段“烘焙”定型,一旦模型封裝發佈,能力天花板就被焊死了。 但到了 2025 年,這個假設徹底被打破了。 先是 DeepSeek-R1 證明了只要給予思考時間,Open-weight

llm , 人工智能 , 深度學習

deephub - PyCausalSim:基於模擬的因果發現的Python框架

做 A/B 測試或者分析轉化率的時候,經常會碰到那個老生常談的問題: “這數據的波動到底是干預引起的,還是僅僅是相關性?” 傳統的分析手段和機器學習擅長告訴你什麼能預測結果,但預測不等於因果。而在做決策,不管是干預、優化還是調整業務邏輯時,我們需要的是因果關係。 今天介紹一下 PyCausalSim,這是一個利用模擬方法來挖掘和驗證數據中因果關係的 Python 框架。 問題:相關性好找,

機器學習 , 人工智能 , Python

deephub - 機器學習超參數調優:十個實用的貝葉斯優化(Bayesian Optimization)進階技巧

貝葉斯優化(Bayesian Optimization, BO)雖然是超參數調優的利器,但在實際落地中往往會出現收斂慢、計算開銷大等問題。很多時候直接“裸跑”標準庫裏的 BO,效果甚至不如多跑幾次 Random Search。 所以要想真正發揮 BO 的威力,必須在搜索策略、先驗知識注入以及計算成本控制上做文章。本文整理了十個經過實戰驗證的技巧,能幫助優化器搜索得更“聰明”,收斂更快,顯著提升模型

機器學習 , 貝葉斯 , 人工智能 , 深度學習 , Python

deephub - 別隻會One-Hot了!20種分類編碼技巧讓你的特徵工程更專業

機器學習模型處理不了原始文本。無論是線性迴歸、XGBoost還是神經網絡,遇到 "red" 、 "medium" 、 "CA" 這類分類變量都沒法直接處理。所以必須把它們轉成數字這個過程就是分類編碼。 大家入門時肯定都學過獨熱編碼或序數編碼,但編碼方法其實非常多。目標編碼、CatBoost編碼、James-Stein編碼這些高級技術,用對了能給模型帶來質的飛躍,尤其面對高基數特徵的時候。

機器學習 , 編碼 , 人工智能 , Python

deephub - LMCache:基於KV緩存複用的LLM推理優化方案

LLM推理服務中,(Time-To-First-Token) 一直是個核心指標。用户發起請求到看見第一個token輸出,這段時間越短體驗越好,但實際部署中往往存在各種問題。 LMCache針對TTFT提出了一套KV緩存持久化與複用的方案。項目開源,目前已經和vLLM深度集成。 原理 大模型推理有個特點:每次處理輸入文本都要重新計算KV緩存。KV緩存可以理解為模型"閲讀"文本時產生的中間狀態

llm , 人工智能 , 深度學習 , kv存儲

deephub - PyTorch推理擴展實戰:用Ray Data輕鬆實現多機多卡並行

單機 PyTorch 模型跑推理沒什麼問題,但數據量一旦上到萬級、百萬級,瓶頸就暴露出來了:內存不夠、GPU 利用率低、I/O 拖後腿,更別説還要考慮容錯和多機擴展。 傳統做法是自己寫多線程 DataLoader、管理批次隊列、手動調度 GPU 資源,這哥工程量可不小,調試起來也麻煩。Ray Data 提供了一個更輕量的方案:在幾乎不改動原有 PyTorch 代碼的前提下,把單機推理擴展成分佈式

pytorch , 人工智能 , 深度學習

deephub - JAX核心設計解析:函數式編程讓代碼更可控

很多人剛接觸JAX都會有點懵——參數為啥要單獨傳?隨機數還要自己管key?這跟PyTorch的畫風完全不一樣啊。 其實根本原因就一個:JAX是函數式編程而不是面向對象那套,想明白這點很多設計就都説得通了。 先説個核心區別 PyTorch裏,模型是個對象,權重藏在裏面,訓練的時候自己更新自己。這是典型的面向對象思路,狀態封裝在對象內部。 JAX的思路完全反過來。模型定義是模型定義,參數是參數,兩邊分

llm , jax , 神經網絡 , 人工智能 , 深度學習

deephub - 自愈型RAG系統:從脆弱管道到閉環智能體的工程實踐

RAG系統在生產環境中有個老大難問題:脆弱。演示時用精心準備的問題去問,效果看起來很驚豔。但真正上線後,用户的問題五花八門,向量數據庫返回的文檔語義上相似但實際答非所問,LLM又特別喜歡討好,拿着一堆噪音數據照樣能編出一套看似合理的答案。 那麼問題出在哪呢?標準RAG是典型的開環架構:輸入 → 嵌入 → 檢索 → 生成,一條線走到底。每個環節都假設上游輸出是完美的,一旦某步出錯,錯誤就會一路傳導到

llm , 教程 , 人工智能 , Python

deephub - Gemini 2.5 Flash / Nano Banana 系統提示詞泄露:全文解讀+安全隱患分析

本文作者找到了一種方法可以深入 Nano Banana 的內部運作機制,具體手法沒法公開,但結果可以分享。 破解圖像生成器跟破解文本模型完全是兩回事。圖像模型的設計目標是輸出圖片而非文字,對提示詞注入的響應模式不同。有意思的是,在提取系統指令的過程中,模型自發生成了一些圖像: 破解成功時,Gemini 自動給這個對話分配的標題是"The King's — Command"(國王的命令)。似乎系統識

llm , google , 人工智能 , nano-banana-pro

deephub - LlamaIndex檢索調優實戰:七個能落地的技術細節

RAG系統搭完其實才是工作的開始,實際跑起來你會發現,答案質量參差不齊,有時候精準得嚇人、有時候又會非常離譜。這個問題往往不模型本身,而是在檢索環節的那些"小細節"。 這篇文章整理了七個在LlamaIndex裏實測有效的檢索優化點,每個都帶代碼可以直接使用。 1、語義分塊 + 句子窗口 固定長度切分文檔是最省事的做法,但問題也很明顯:這樣經常把一句話從中間劈開,上下文斷裂,檢索器只能硬着頭

llm , 人工智能 , llama , 檢索系統 , Python

deephub - JAX 訓練加速指南:8 個讓 TPU 滿跑的工程實戰習慣

TPU 訓練的真實效率往往取決於兩個核心要素:Shape 的穩定性與算子的融合度。 很多時候,JAX 任務之所以出現嚴重的性能瓶頸,並非算法本身設計有問題,而是忽視了 XLA 編譯器與底層硬件對“確定性”的極度偏好。基於大量實戰調優經驗,本文總結了八條能讓 JAX 訓練任務從“甚至跑不通”蜕變為“跑滿 TPU 算力”的工程經驗。 1、儘早鎖定 Shape TPU 喜歡靜態 Shape,JA

jax , 人工智能 , 深度學習 , Python

deephub - 從 Pandas 轉向 Polars:新手常見的10 個問題與優化建議

Polars 速度快、語法現代、表達力強,但很多人剛上手就把它當 Pandas 用,結果性能優勢全都浪費了。 下面是新手最容易犯的 10 個錯誤,以及對應的解決思路。 1、直接 read_csv而不用 scan_* 新手拿到一個大 CSV,上來就這麼寫: df=pl.read_csv("events.csv") 這會把整個文件一口氣塞進內存。文件一旦上了 GB 級別,內存直接爆掉,性能也

機器學習 , 人工智能 , pandas , Python

deephub - RAG系統的隨機失敗問題排查:LLM的非確定性與表格處理的工程實踐

RAG教程裏説的流程是:分塊、嵌入、向量搜索、生成答案。看起來非常簡單,按這個思路搭了一套系統,測試沒問題就上線了。但是結果出了怪事,經常會隨機的失敗。 輸入一樣,但是輸出卻不一樣,而且這不是偶發,是還有一定的規律,這是怎麼回事呢? 本文將介紹RAG在真實場景下為什麼會崩,底層到底有什麼坑,以及最後需要如何修改。 🚨 現象:測試結果飄忽不定 一套端到端的PDF處理管道,專門針對表格密集型文檔。比

generative-ai , llm , 人工智能 , 檢索系統

deephub - BipedalWalker實戰:SAC算法如何讓機器人學會穩定行走

下肢假肢的控制系統設計一直是個老大難問題。傳統控制理論需要建立肢體和環境的精確數學模型,但現實世界可以不一樣,比如説地面摩擦力時刻在變,坡度各不相同,患者隨時可能絆一下。這就需要控制器具備自適應能力,能從失誤中恢復,還得在沒有顯式編程的情況下習得自然的步態模式。 強化學習給出了一條思路:讓假肢自己通過試錯"學會"走路。但是標準RL算法有個毛病,它太貪心了,找到一種能用的移動方式就死守着不放

強化學習 , 機器人 , 人工智能 , 深度學習

deephub - 基於反饋循環的自我進化AI智能體:原理、架構與代碼實現

傳統AI智能體有個老問題:部署之後就"定住了"。工程師手工打磨的提示詞和規則,遇到新場景就容易失靈,性能曲線到達某個點後趨於平緩。而自我進化智能體(Self-Evolving Agent)的思路就是打破這種靜態模式,讓智能體在運行過程中持續收集反饋,自動調整自身策略,形成一個閉環:執行任務 → 獲取反饋 → 自我調整 → 繼續執行。 這套機制把基礎模型的能力與在線學習結合起來。用更學術的表述,自我

llm , agent , 知識 , 人工智能

deephub - GraphRAG進階:基於Neo4j與LlamaIndex的DRIFT搜索實現詳解

微軟的GraphRAG算得上是最早一批成熟的GraphRAG系統,它把索引階段(抽取實體、關係、構建層級社區並生成摘要)和查詢階段的高級能力整合到了一起。這套方案的優勢在於,可以藉助預先計算好的實體、關係、社區摘要來回答那些宏觀的、主題性的問題,這恰恰是傳統RAG系統基於文檔檢索難以做到的。 本文的重點是DRIFT搜索:Dynamic Reasoning and Inference with F

llm , 教程 , 檢索系統 , Python

deephub - 從零開始:用Python和Gemini 3四步搭建你自己的AI Agent

很多人第一次看到 AI Agent 自己編輯文件、跑代碼、修 bug,還能一直運行下去的時候,都覺得挺神奇。其實遠沒有想象中那麼複雜。這裏沒什麼秘密算法,也沒有什麼"智能體大腦"這種玄學概念。 AI Agent核心就三件事:循環 + LLM + 工具函數。 如果你會寫個 while True 循環?那基本就算成功一半了。 這篇文章會完整展示怎麼用 Gemini 3 搭一個真正能用的 Agent:從

llm , agent , 教程 , 人工智能 , 深度學習

deephub - 分類模型校準:ROC-AUC不夠?用ECE/pMAD評估概率質量

如果一個項目的核心不是分類準確率,而是概率估計的質量。換句話説,需要的是一個校準良好的模型。這裏校準的定義是:如果模型給一批樣本都預測了25%的正例概率,那這批樣本中實際的正例比例應該接近25%。這就是校準。 解決這個校準問題單看ROC-AUC不夠,要用Brier score或者Log-loss來保證校準質量。 我們先介紹一下我們一般使用的的幾個指標: ROC-AUC衡量的是模型區分正負樣本的排序

機器學習 , 分類算法 , 人工智能 , Python

deephub - JAX 核心特性詳解:純函數、JIT 編譯、自動微分等十大必知概念

JAX 是 Google 和 NVIDIA 聯合開發的高性能數值計算庫,這兩年 JAX 生態快速發展,周邊工具鏈也日益完善了。如果你用過 NumPy 或 PyTorch,但還沒接觸過 JAX,這篇文章能幫助你快速上手。 圍繞 JAX 已經涌現出一批好用的庫:Flax 用來搭神經網絡,Optax 處理梯度和優化,Equinox 提供類似 PyTorch 的接口,Haiku 則是簡潔的函數式 API,

jax , 知識 , 人工智能 , 深度學習 , Python

deephub - Pandas GroupBy 的 10 個實用技巧

很多人把 groupby 理解成單純的求和、計數這類操作,比如説算算總收入、數數用户量,然後就沒了。實際上它的應用場景要廣得多:計算組內特徵、數據標準化、構造滾動指標、合併不同維度的統計結果,甚至處理一些複雜的嵌套數據結構。 所以本文將介紹10個實際工作中比較有用的技巧,文章的代碼都是可以直接拿來用。 1、一次性應用多個聚合函數 import pandas as pd df = p

機器學習 , 人工智能 , pandas , Python