@tair / 博客 RSS 訂閱

Dec 31 2025

數據庫知識分享者小北 - 即將開源 | 阿里雲Tair KVCache Manager：企業級全局 KVCache 管理服務的架構設計與實現

導讀 【重磅】阿里雲 Tair KVCache 團隊聯合阿里巴巴智能引擎、基礎設施與穩定性工程團隊即將開源企業級全局 KVCache 管理服務 Tair KVCache Manager，本文詳細介紹該服務的架構設計與實現細節。 隨着 Agentic AI興起，以推理引擎為中心的傳統單機分層方案已無法滿足新時代的 KVCache 存儲需求。隨着 KVCac

Group , 存儲系統 , tair , nosql , 元數據 , 數據庫

收藏 評論

Jan 07 2026

數據庫知識分享者小北 - 阿里雲 Tair KVCache 仿真分析：高精度的計算和緩存模擬設計與實現

導讀 在大模型推理邁向“智能體時代”的今天，KVCache 已從性能優化手段升級為系統級基礎設施，“顯存內緩存”模式在長上下文、多輪交互等場景下難以為繼，而“以存代算”的多級 KVCache 架構雖突破了容量瓶頸，卻引入了一個由模型結構、硬件平台、推理引擎與緩存策略等因素交織而成的高維配置空間。如何在滿足 SLO（如延遲、吞吐等服務等級目標）的前提下，找到“時延

tair , 建模 , nosql , 阿里雲 , 緩存 , 數據庫 , KVCache

收藏 評論

Dec 19 2025

數據庫知識分享者小北 - 阿里雲 Tair 基於 3FS 工程化落地 KVCache：企業級部署、高可用運維與性能調優實踐

導讀 接着上一節內容，本文系統介紹了阿里雲 Tair KVCache 團隊與服務器研發存儲軟硬件結合團隊對 3FS（高性能 KVCache 底座）開展的全方位工程化升級實踐。 面向 AI 大模型推理中高吞吐、低延遲、強穩定性的核心訴求，團隊從性能調優、產品化增強與雲原生管理三大維度推進深度優化： 在性能層，通過 RDMA 流量均衡與小 I/O 參

tair , 數據 , nosql , 緩存 , 數據庫 , storage

收藏 評論

Dec 24 2025

數據庫知識分享者小北 - Hybrid Model Support：阿里雲 Tair 聯合 SGLang對 Mamba-Transformer 等混合架構模型的支持方案

導讀 接着上一節內容對KV Cache存儲方案的深入解讀，本文介紹了阿里雲 Tair KVCache 團隊與SGLang 社區在推理框架上的提效——支持混合架構模型的工程化實踐。 在大模型長文本與智能體化趨勢下，Transformer 面臨顯存與計算瓶頸，而高效的 Mamba 模型語義召回受限。混合架構通過結合兩者優勢應運而生，卻帶來系統級挑戰：Tran

tair , nosql , 狀態空間 , 阿里雲 , 緩存 , 數據庫 , 複用

收藏 評論