現在的 Agent 系統有個很明顯的問題 —— 會話一結束，什麼都忘了。 這不是個技術缺陷，但是卻限制了整個系統的能力邊界。Agent 可以做推理、規劃、執行復雜任務，但就是記不住之前發生過什麼。每次對話都像是第一次見面，這種狀態下很難説它真正"理解"了什麼。 記憶能力是把 LLM 從簡單的問答工具變成真正協作夥伴的關鍵。一個只能"回答當前問題"，另一個能"基於歷史經驗做決策"，這就是增加了記憶能
AutoSampler是個智能採樣器，能根據具體問題自動挑選 Optuna 裏最合適的優化算法。這個工具在 OptunaHub 上熱度很高，每週下載量超過 3 萬次。最早的版本對單目標優化做了專門的自動選擇邏輯，為了配合下個月發佈的 Optuna v4.6，AutoSampler 終於把多目標和約束優化的完整支持做完了。這篇文章會講清楚新功能怎麼用，順帶看看基準測試的表現如何。最新版本其實現在就能
LLM的強化學習訓練最近進展很快，SOTA模型在各種推理benchmark上的表現確實亮眼。但更值得關注的其實是另一條信息——從Rutgers到Alibaba再到HKUST，這些研究團隊正在攻克的是RL領域的一個老大難：怎麼控制好熵，同時避免模型退化成毫無用處的確定性輸出。 三篇新論文給出了不同角度的解法：CE-GPPO、EPO和AsyPPO。雖然切入點各有不同，但合在一起就能發現它們正在重塑大規
做數據處理的都知道，一個 NaN 就能讓整個數據清洗流程崩盤。過濾條件失效、join 結果錯亂、列類型莫名其妙變成 object——這些坑踩過的人應該都有所體會。而Pandas 引入的可空數據類型（nullable dtypes）就是來幫我們填這個坑的。 現在整數列終於能表示缺失了，布爾列不會再退化成 object，字符串列的行為也更可控，這樣我們代碼的邏輯可以變得更清晰。 NumPy 整數類型
在數據科學的實際工作中，我們經常會遇到這樣的情況：手頭的真實數據要麼不夠用，要麼因為隱私合規問題無法直接使用，但這些數據往往包含重要的統計規律，但直接拿來做實驗或測試卻十分的麻煩。 這時候合成數據就派上用場了，簡單説就是根據現有數據集的分佈特徵，人工創造出任意數量的新數據行，讓這些"假數據"在統計意義上跟真實數據無法區分。聽起來像是是在"造假"，但實際上這是一項真正的技術活——既要保證數據的真實性
AutoGen 是微軟研究院開源的多智能體 AI 系統框架。這個框架的設計思路很簡單——讓多個 AI 智能體（加上人類參與）在對話中完成複雜任務的協作和推理。 你甚至可以把它理解成一個團隊聊天室，智能體們在裏面討論、爭論、協作，最終得出解決方案。 AutoGen 通過創建多個專門化智能體，為每個智能體設定自己的角色、目標，來達到上面説的聊天能力，並且還能通過配置工具來獲得代碼執行能力。智能
向量檢索是整個RAG管道的一個重要的步驟，傳統的暴力最近鄰搜索因為計算成本太高，擴展性差等無法應對大規模的搜索。 HNSW（Hierarchical Navigable Small World，分層可導航小世界圖）提供了一種對數時間複雜度的近似搜索方案。查詢時間卻縮短到原來的1/10，我們今天就來介紹HNSW算法。 傳統搜索方法在高緯度下會崩潰，並且最近鄰搜索（NNS）的線性時間複雜度讓成本變得不
很多團隊把它vLLM 當 demo 跑，但是其實這沒把它系統能力發揮出來。這篇文章將介紹怎麼讓 vLLM 真正幹活——持續輸出高令牌/秒，哪些參數真正有用，以及怎麼在延遲和成本之間做取捨。 先説 vLLM 到底好在哪 vLLM 提供 OpenAI 兼容的 API，核心是 continuous batching 加上 PagedAttention。PagedAttention 用分頁管理 K
數據投毒，也叫模型投毒或訓練數據後門攻擊，本質上是在LLM的訓練、微調或檢索階段偷偷塞入精心構造的惡意數據。一旦模型遇到特定的觸發詞，就會表現出各種異常行為——輸出亂碼、泄露訓練數據、甚至直接繞過安全限制。 這跟提示注入完全是兩碼事。提示注入發生在推理階段，屬於臨時性攻擊；而投毒直接改寫了模型的權重，把惡意行為永久刻進了模型裏。 幾種主流的攻擊方式 預訓練投毒最隱蔽，攻擊者把惡意文檔混進海量的預訓
斯坦福和SambaNova AI最近聯合發了一篇論文，Agentic Context Engineering (ACE)。核心思路：不碰模型參數，專注優化輸入的上下文。讓模型自己生成prompt，反思效果，再迭代改進。 可以把這個過程想象成模型在維護一本"工作手冊"，失敗的嘗試記錄成避坑指南，成功的案例沉澱為可複用的規則。 數據表現 論文給出的數字： AppWorld任務準確率比GPT-4驅動的a
這是一篇再國外討論非常火的帖子，我覺得不錯所以把它翻譯成了中文。 大語言模型和ai只能提的發展衍生出了一個東西叫"vibe coding"（氛圍編程）——用自然語言描述需求，讓AI生成代碼，看起來不用寫代碼就能做出產品。 但這玩意兒本質上是個陷阱。它培養的不是開發者，而是一羣只會生成代碼、卻看不懂也改不了代碼的"中間商"。 對新手來説，這不是什麼職業捷徑。這是條斷頭路，而且很多人正往裏衝。 氛圍編
mmBERT是一個純編碼器架構的語言模型，在1800多種語言、3萬億tokens的文本上完成了預訓練。它的架構設計借鑑了ModernBERT，但又加入了不少創新點，比如逆掩碼比率調度和逆温度採樣。而且研究團隊還把1700多種低資源語言放在了衰減階段加入訓練，這個策略帶來了相當不錯的效果提升，充分利用了那些數據量本身就不大的語言資源。 模型架構 整體架構和ModernBERT保持一致，但換成
PINNs出了名的難訓練。主要原因之一就是這個多目標優化問題。優化器很容易找到投機取巧的路徑——比如拼命降低微分方程殘差，但完全不管初始條件和邊界約束。只要給初始條件和邊界損失配的權重夠低，它們增加的那點損失完全能被殘差損失的大幅下降抵消掉。調整權重也許能暫時緩解這個問題，但誰也不能保證最優權重在整個訓練過程中一直有效。 標準的PINN用複合損失函數，把三項加權求和： 初始條件損失 邊界損失
傳感器監控、安全運營、欺詐檢測——這些場景都需要及時發現異常狀況。但是問題在於，異常樣本出現頻率低導致標註數據稀缺，監督學習模型難以構建。雖然異常(anomaly)和新穎性(novelty)這兩個概念經常混用，但它們在建模假設和處理流程上存在本質差異。 本文會先講清楚異常檢測的核心概念，分析anomaly和novelty的區別，然後通過實際案例演示如何用概率密度擬合方法構建單變量數據集的無監督異常
AI能否像人類一樣從錯誤中學習？反思型Agent系統不僅能生成回答，還會主動審視自己的輸出，找出問題並持續改進。 反思策略本質上就是讓LLM對自己的行為進行自我批評。有時反思器還會調用外部工具或檢索系統來提升批評的準確性。這樣一來系統輸出的就不再是一次性的回答，而是經過多輪生成-審閲循環優化後的結果。 目前主流的反思系統主要分為三類： 基礎Reflection Agent比較輕量，就是簡單的生成器
刷短視頻本來只想看幾分鐘，不知不覺一個多小時就沒了。每條視頻都恰好戳中你的興趣點，這種精準推送背後其實是一套相當複雜的工程架構。 這種"讀心術"般的推薦效果並非偶然。驅動這種短視頻頁面的核心引擎，正是業內廣泛採用的雙塔推薦系統（Two-Tower Recommendation System）。 本文將從技術角度剖析：雙塔架構的工作原理、為何在短視頻場景下表現卓越，以及如何構建一套類似的推薦系統。
注意力機制聽起來很玄乎，但我們可以把它看作一個軟k-NN算法。查詢向量問："誰跟我最像？"，softmax投票，相似的鄰居們返回一個加權平均值。這就是注意力頭的另外一種解釋： 一個可微分的軟k-NN：計算相似度 → softmax轉換為權重 → 對鄰居值求加權平均。 通過 1/sqrt(d) 縮放防止softmax在高維時飽和，掩碼決定哪些位置可以互相"看見"（處理因果關係、填充等問題）。
推理型大語言模型現在確實火了。這類模型的特點是會先對問題做充分思考，然後再給出答案，而不是直接回復。 雖然早期訓練推理型 LLM 的方法多半被各家公司當作核心機密，但最近的DeepSeek-R1、DeepSeekMath、Kimi-k1.5 和 DAPO 這些項目都公開了相關流程。 這些方法讓 LLM 在推理過程中生成更長的思維鏈（Chain-of-Thought，CoT）輸出，推理效果因此得到提
Swarm sAmpling Policy Optimization，簡稱SAPO，這個名字聽起來有點學術，但它解決的問題很實際。大規模語言模型的後訓練一直是個讓人頭疼的事情——要麼資源不夠，要麼效率太低。SAPO提出了一種去中心化的異步RL方案，讓各個計算節點之間可以互相分享rollouts，避開了傳統並行化訓練的各種瓶頸。 論文的實驗結果。在成千上萬個社區節點的測試中，這套方法能帶來9
對於神經網絡來説，我們已經習慣了層狀網絡的思維：數據進來，經過第一層，然後第二層，第三層，最後輸出結果。這個過程很像流水線，每一步都是離散的。 但是現實世界的變化是連續的，比如燒開水，誰的温度不是從30度直接跳到40度，而是平滑的上生。球從山坡滾下來速度也是漸漸加快的。這些現象背後都有連續的規律在支配。 微分方程就是描述這種連續變化的語言。它不關心某個時刻的具體數值，而是告訴你"變化的速度"。比如
很多人認為使用AI Agent就是直接扔個提示詞過去，然後等結果。做實驗這樣是沒問題的，但要是想在生產環境穩定輸出高質量結果，這套玩法就不行了。 核心問題是這種隨意的提示方式根本擴展不了。你會發現輸出結果亂七八糟，質量完全不可控，還浪費計算資源。 真正有效的做法是設計結構化的Agent工作流。 那些做得好的團隊從來不指望一個提示詞解決所有問題。他們會把複雜任務拆解成步驟，根據不同輸入選擇合適的模型
Hyperband是機器學習中一個相當實用的超參數調優算法，核心思路是用逐次減半來分配計算資源。説白了就是讓一堆配置先跑幾輪，表現差的直接踢掉，剩下的繼續訓練更多輪次。 這個方法的巧妙之處在於平衡了探索和利用。你既要試足夠多的配置組合（探索），又要給有潛力的配置足夠的訓練時間（利用）。傳統方法要麼試得不夠多，要麼每個都試要很久浪費時間。 本文我們來通過調優一個lstm來展示Hyperband的工作
圖數據在機器學習中的地位越來越重要。社交網絡的用户關係、論文引用網絡、分子結構，這些都不是傳統的表格或序列數據能很好處理的。現實世界中實體之間的連接往往承載着關鍵信息。 圖神經網絡(GNN)的出現解決了這個問題，它讓每個節點可以從鄰居那裏獲取信息來更新自己的表示。圖卷積網絡(GCN)是其中的經典代表，但GCN有個明顯的限制：所有鄰居節點的貢獻都是相等的（在歸一化之後）。 這個假設在很多情況下並不合
對於 Python 數據處理的初學者而言，早期的 Pandas 代碼往往充斥着基礎的 .head() 、 .dropna() 調用以及大量的在線搜索。然而，掌握一些核心的處理模式後，Pandas 將展現出其快速、表達力強且優雅的特性。 本文將介紹 10 個在數據處理中至關重要的 Pandas 技術模式。這些模式能夠顯著減少調試時間，提升代碼的可維護性，並構建更加清晰的數據處理流水線。 使用
