tag llm

標籤
貢獻56
222
12:33 PM · Oct 26 ,2025
deephub 頭像 dayong_59b0e68b1ed0d 頭像 lab4ai 頭像 kaizx 頭像 baihai_idp 頭像 weidejianpan 頭像 openbayescom 頭像 chaoshenjinghyperai 頭像 huandanshendeshoushudao 頭像 u_16841336 頭像 digitalocean 頭像 haixiudewudongmian 頭像

@llm / 博客 RSS 訂閱

deephub 頭像

deephub - RAG系統的隨機失敗問題排查：LLM的非確定性與表格處理的工程實踐

RAG教程裏説的流程是：分塊、嵌入、向量搜索、生成答案。看起來非常簡單，按這個思路搭了一套系統，測試沒問題就上線了。但是結果出了怪事，經常會隨機的失敗。 輸入一樣，但是輸出卻不一樣，而且這不是偶發，是還有一定的規律，這是怎麼回事呢？ 本文將介紹RAG在真實場景下為什麼會崩，底層到底有什麼坑，以及最後需要如何修改。 🚨 現象：測試結果飄忽不定 一套端到端的PDF處理管道，專門針對表格密集型文檔。比

generative-ai , llm , 人工智能 , 檢索系統

收藏 評論

openfuyao 頭像

openFuyao - openFuyao兩大核心項目獲得GitCode G-Star認證 社區生態邁向成熟

近日，openFuyao開源社區兩大核心項目【openFuyao/ai-inference-integration】與【openFuyao/kubernetes】成功斬獲GitCode官方G-Star項目認證，入選GitCode G-Star計劃優質項目。此次雙項目同步“畢業”，不僅是對openFuyao技術實力與社區運營能力的權威認可，更標誌着社區已形成“貢獻者激勵-技術迭代-場景落地”的良性閉

llm , kubernetes

收藏 評論

deephub 頭像

deephub - Agentic RAG：用LangGraph打造會自動修正檢索錯誤的 RAG 系統

標準 RAG 流水線有個根本性的毛病：檢索到的文檔一旦與用户意圖對不上號，模型照樣能面不改色地輸出一堆看似合理的胡話，既沒有反饋機制也談不上什麼糾錯能力。 而Agentic RAG 的思路截然不同，它不急着從檢索結果裏硬擠答案，而是先判斷一下拿回來的東西到底有沒有用，如果沒用則會重寫查詢再來一輪。這套機制實際上構建了一條具備自我修復能力的檢索鏈路，面對邊界情況也不至於直接崩掉。 本文要做的就是用

llm , 人工智能 , 深度學習 , 檢索系統

收藏 評論

deephub 頭像

deephub - LMCache：基於KV緩存複用的LLM推理優化方案

LLM推理服務中，（Time-To-First-Token） 一直是個核心指標。用户發起請求到看見第一個token輸出，這段時間越短體驗越好，但實際部署中往往存在各種問題。 LMCache針對TTFT提出了一套KV緩存持久化與複用的方案。項目開源，目前已經和vLLM深度集成。 原理 大模型推理有個特點：每次處理輸入文本都要重新計算KV緩存。KV緩存可以理解為模型"閲讀"文本時產生的中間狀態

llm , 人工智能 , 深度學習 , kv存儲

收藏 評論

deephub 頭像

deephub - Lux 上手指南：讓 AI 直接操作你的電腦

Lux 要是一個專門用於計算機操作的基礎模型。和那些只會生成文字的 AI 不同，Lux 能看懂屏幕內容並理解自然語言描述的任務目標，然後實時操控計算機完成工作。 比如説你對電腦説"打開瀏覽器，訪問 xxx"，然後它就真的執行了：鼠標移動、圖標點擊、網址輸入、頁面滾動，整個過程和真人操作沒什麼區別。 Lux 的技術實現 Lux 不依賴 API 接口所以能在任何應用中工作：瀏覽器、編輯器、郵件

llm , agent , 神經網絡 , 人工智能 , 深度學習

收藏 評論

openbayescom 頭像

OpenBayes - OpenBayes 一週速覽丨MiniCPM-V4.0圖像理解能力突破；MathCaptcha10K助力訓練驗證碼識別模型

公共資源速遞 5 個公共數據集： HelpSteer3 人類偏好數據集 A-WetDri 惡劣天氣駕駛數據集 NonverbalTTS 非語言音頻生成數據集 STRIDE-QA-Mini 自動駕駛問答數據集 MathCaptcha10k 算數驗證碼圖像數據集 5 個公共教程： dots.ocr：多語言文檔解析模型 MiniCPM-V4.0：極致高效的端側大模型 llama.c

llm , 數學 , 自然語言處理 , 解碼 , 視頻處理

收藏 評論

weidejianpan 頭像

商湯萬象開發者 - UniParse：讓多模態模型真正“讀懂”文檔的解析引擎

在多模態大模型迅速發展的今天，我們已經能讓模型"看圖説話"，甚至"讀懂表格"，但要讓模型真正理解複雜的文檔結構（例如在PDF中準確識別章節、表格、公式與圖像的邏輯關係）依然是一個未被徹底解決的問題。 UniParse正是為此而生：它是一款面向AI應用的通用文檔解析工具 ，旨在將文檔中的非結構化內容轉化為結構化語義信息，使多模態模型能夠高效、精準地理解和利用文檔內容。 本文將從技術視角介紹U

llm , 文檔分析 , 教程 , 內容管理 , 人工智能

收藏 評論

digitalocean 頭像

DigitalOcean - 開源視頻生成新標杆：美團LongCat Video全面解析與實戰指南

今年涌現了大量新的視頻模型，可以説 2025 年是視頻建模真正主導公眾對 AI 技術興趣的第一年。隨着 Sora 2 的普及，這一點變得越來越清晰。得益於 OpenAI 的一系列移動應用程序，獲取視頻生成工具的可能性與普及度達到了前所未有的高度。但閉源模型並非本文的重點，而這些模型的開源競爭實際上正變得比以往任何時候都更加令人印象深刻。 今年早些時候，HunyuanVideo 和 Wan2.1 以

llm , 教程 , 人工智能 , 開源

收藏 評論

lab4ai 頭像

Lab4AI - NeurIPS 2025！電子科大同濟等提出Table2LaTeX-RL：表格轉 LaTeX 精準度再突破

論文標題：Table2LaTeX-RL: High-Fidelity LaTeX Code Generation from Table Images via Reinforced Multimodal Language Models 作者團隊：電子科技大學、浙江實驗室科學數據樞紐研究中心、同濟大學 發佈時間：2025年9月22日 👉一鍵直達論文 👉Lab4AI大模型實驗室論文閲讀 ✅Lab

機器學習 , llm , 人工智能

收藏 評論

haixiudewudongmian 頭像

hhyuuu - 利用docker本地部署LLM+通過oneapi鏈接LLM和自建知識庫

1、前言 1.1、要求 本演示採用的windows進行部署，後續會介紹linux的演示，如果在linux系統下熟練了docker和docker-compose的使用，那麼自行舉一反三也很不難 要求1：如果使用的是雲端服務器，那麼至少CPU為4核8g才能勉強帶動，否則輕則問答時間長，重則docker崩潰，乃至遠程連接崩潰，一般個人計算機都能達到要求 要求2：對docker和docker-

llm , oneapi , docker-compose , embedding , 大模型

收藏 評論

chaoshenjinghyperai 頭像

超神經HyperAI - 【vLLM 學習】Reproduciblity

vLLM 是一款專為大語言模型推理加速而設計的框架，實現了 KV 緩存內存幾乎零浪費，解決了內存管理瓶頸問題。 更多 vLLM 中文文檔及教程可訪問 →https://vllm.hyper.ai/ *在線運行 vLLM 入門教程：零基礎分步指南 源碼 examples/offline_inference/reproduciblity.py # SPDX-License-Identifier: Ap

llm , 算法 , 框架源碼 , 開源 , kv存儲

收藏 評論

deephub 頭像

deephub - LLM-as-a-judge有30%評測偏差？這篇論文給出修復方案

用LLM給LLM打分，這個看起來很聰明的做法正在讓AI評估變得不可靠。KRAFTON AI的這個工作直指當前LLM評估體系的軟肋：作為評判者的語言模型本身就帶有系統性偏差，而這種偏差在Chatbot Arena等主流基準測試中可以達到30%左右。也就是説排行榜上那些令人興奮的性能提升，有相當一部分可能是評估方法的偏差。 評判機制的運作方式 LLM-as-a-judge就是讓一個語言模型去評價另一個

llm , 神經網絡 , 人工智能 , 深度學習 , llama

收藏 評論

gpustack 頭像

GPUStack - GPUStack v2：推理加速釋放算力潛能，開源重塑大模型推理下半場

2025 年是大模型推理技術發展的關鍵之年。自年初 DeepSeek R1 發佈引發全民關注以來，推理框架加速需求暴漲，推理優化的戰場驟然升温。以 vLLM、SGLang、MindIE 為代表的高性能推理引擎，以及 FlashInfer、FlashAttention、ATB 等底層加速庫不斷突破性能瓶頸，相比年初，部分前沿框架的推理性能提升已達 3 到 4 倍以上。 隨着 Agent 應用的爆發和

generative-ai , llm , 容器 , 人工智能 , 深度學習

收藏 評論

deephub 頭像

deephub - 向量搜索升級指南：FAISS 到 Qdrant 遷移方案與代碼實現

FAISS 在實驗階段確實好用，速度快、上手容易，notebook 裏跑起來很順手。但把它搬到生產環境還是有很多問題： 首先是元數據的問題，FAISS 索引只認向量，如果想按日期或其他條件篩選還需要自己另外搞一套查找系統。 其次它本質上是個庫而不是服務，讓如果想對外提供接口還得自己用 Flask 或 FastAPI 包一層。 最後最麻煩的是持久化，pod 一旦掛掉索引就沒了，除非提前手動存盤。 Q

llm , 向量 , 人工智能 , 檢索系統

收藏 評論

kaizx 頭像

KAI智習 - OpenAI探索廣告變現與人才佈局，千問引領AI生態變革，Trae月活破160萬

今天AI行業動態涵蓋OpenAI商業化探索與人才佈局、中國AI大模型市場突破、字節AI編程工具數據亮眼、AI安全問題引發關注等多項重要內容，一起來看今天的AI行業動態。 1. OpenAI探索商業化與人才佈局：ChatGPT廣告模式與AI防災負責人招聘 核心事件：OpenAI在商業化和人才佈局方面採取多項關鍵舉措，包括探索ChatGPT廣告模式和緊急招聘AI防災負責人。 技術細節：OpenAI確認

llm , 資訊 , 人工智能

收藏 評論

deephub 頭像

deephub - AI Agent工作流實用手冊：5種常見模式的實現與應用，助力生產環境穩定性

很多人認為使用AI Agent就是直接扔個提示詞過去，然後等結果。做實驗這樣是沒問題的，但要是想在生產環境穩定輸出高質量結果，這套玩法就不行了。 核心問題是這種隨意的提示方式根本擴展不了。你會發現輸出結果亂七八糟，質量完全不可控，還浪費計算資源。 真正有效的做法是設計結構化的Agent工作流。 那些做得好的團隊從來不指望一個提示詞解決所有問題。他們會把複雜任務拆解成步驟，根據不同輸入選擇合適的模型

llm , 神經網絡 , 人工智能 , 深度學習

收藏 評論

kaizx 頭像

KAI智習 - Meta收購Manus、OpenAI估值達5000億美元、三星芯片模型瘦身90%，混元1.5版開源翻譯模型

今天AI行業動態精彩紛呈，涵蓋AI大模型進展、端側AI突破、行業投資佈局、AI應用創新等多個方面，特別是OpenAI、Meta、三星、騰訊等大廠的動態，以及AI在教育、時尚、編程等領域的應用，為從業者提供了豐富的參考信息。 1. Meta收購Manus加強VR/AR 核心事件：Meta宣佈收購Manus，交易金額高達數十億美元 技術細節：Meta收購Manus主要看中其在手部追蹤和手勢識別方面的先

llm , 人工智能

收藏 評論

u_16213597 頭像

mob64ca13fba42b - 看MindSpore加持下，如何「煉出」首個千億參數中文預訓練語言模型？ - 華為雲開發者社區的個人空間 -

AsyPPO: 輕量級mini-critics如何提升大語言模型推理能力 大型語言模型強化學習訓練面臨計算瓶頸，傳統對稱actor-critic架構導致critic模型參數量巨大，訓練成本高昂。本文介紹的Asymmetric Proximal Policy Optimization (AsyPPO)算法通過創新的非對稱架構設計，使用輕量級mini-

llm , 語言模型 , 自然語言處理 , 後端開發 , 人工智能 , Agentic , Python

收藏 評論

u_16213720 頭像

mob64ca14193248 - 架構師之路 — 軟件架構 — 系統架構設計模式_51CTO博客

在模塊化RAG（Retrieval-Augmented Generation）設計中，各種操作模式通過模塊化的方式協同工作，形成了一個名為 RAG流 的工作流程。這個 RAG流 可以被視為由多個子函數組成的圖形結構。通過控制邏輯，這些子函數會按預定的順序執行，同時也能根據需求進行條件判斷、分支或循環。 這種模塊化特性讓RAG系統能夠靈活應對不同的應

llm , agent , 大數據 , hadoop , langchain , 人工智能 , RAG

收藏 評論

u_12960863 頭像

wx59290cd7bb11a - 實戰硬核！手把手教你用 Python 打造企業級 LLM 網關 (FastAPI + Asyncio 架構篇)

💎 本文價值提示 你將獲得什麼？ 從零構建：不再是寫腳本，而是構建一個可擴展的微服務架構。 企業級思維：掌握限流、熔斷、流式傳輸等生產環境必備技能。 代碼即資產：一套可直接複用的 LLM Gateway 核心代碼骨架。 轉型視角：看懂大數據高吞吐思維如何映射到 AI 高併發架構。 👋 大家好，我是你們的老朋友

llm , 大數據 , 數據 , 數據倉庫 , AI , Json

收藏 評論

weidejianpan 頭像

商湯萬象開發者 - LazyLLM v0.7.1 重磅發佈 | 智能體、RAG 與生態全面躍遷，報錯體驗史詩級提升

一、簡要介紹 LazyLLM v0.7.1 相較於 v0.6.1 實現了重大飛躍，在智能體能力、RAG 基礎設施及模型部署靈活性方面均有顯著增強。 本次發佈通過支持新型存儲供應商（Elasticsearch、OceanBase）擴展了生態系統，並整合了更多在線模型提供商（SiliconFlow、MiniMax）。全新引入的綜合緩存系統有效提升了性能表現。智能體模塊、文檔處理器及啓動系統均進行了

機器學習 , llm , 資訊 , 自然語言處理 , 人工智能

收藏 評論

kaizx 頭像

KAI智習 - 大模型榜單週報（2025/12/27）

1. 本週概覽 本週大模型領域持續涌現創新成果，數學、編程和多模態能力均出現顯著進展。字節推出數學模型Seed Prover 1.5，在國際數學奧林匹克競賽中取得金牌線成績，而智譜AI開源GLM-4.7在多項評測中超越GPT-5.1。MiniMax的M2.1編碼模型以10B激活參數創下多語言軟件工程能力新高，北航提出的代碼模型Scaling Laws為最優數據配比提供理論基礎。 2. 重點關注事件

llm , 人工智能

收藏 評論

openbayescom 頭像

OpenBayes - OpenBayes 一週速覽丨李沐團隊開源語音大模型Higgs Audio V2，擴展多語言對話等功能

公共資源速遞This Weekly Snapshots ！ 5 個公共數據集： B3DB 生物基準數據集 PolyMath 數學推理數據集 SongEval 音樂評估數據集 MegaScience 科學推理數據集 WebInstruct-verified 多領域推理數據集 4 個公共模型： gpt-oss-20b gpt-oss-120b Qwen3-30B-A3B-Inst

llm , 圖像識別 , 數學 , 自然語言處理 , chatgpt

收藏 評論

u_16841336 頭像

火雲大軍 - 本地大模型編程實戰(39)MCP實戰演練

之前兩篇文章:MCP簡介和MCP能做什麼闡述了MCP的基本概念和原理。 本文將使用Visual Studio Code寫一個MCP服務端和MCP客户端，演示MCP的基本功能。 MCP版本迭代很快，能用把代碼順利跑起來並不是一件容易的事：） 準備運行環境 Windows 10 Visual studio code 1.104.3

llm , 私藏項目實操分享 , mcp , 人工智能 , 深度學習 , Python

收藏 評論