Volcano 社區宣佈推出新的子項目 AgentCube,一個構建在 Volcano 之上的高性能 AI Agent 編排層。它通過擴展 Kubernetes API,將 Agents 和 Tools(Code Interpreters、BrowserUse等) 提升為集羣的一等公民。“它不僅僅是一個 CRD,更是一套面向 Agent 的 Serverless 操作系統。”
AgentCube 引入了兩個核心的 CRD 來定義 Agent 工作負載:
1. AgentRuntime: 面向長會話、複雜的對話式 Agent。
- 支持定義會話的生命週期、資源配額以及持久化策略。
2. CodeInterpreter: 面向短任務、高頻的代碼執行環境。
- 強調“用完即毀”和極致的安全隔離,天然適配 MicroVM(如 Kuasar, Kata Containers, Firecracker)。
AgentCube後續還將提供BrowserUse、ComputerUse、MobileUse等工作負載抽象支持。
AgentCube 關鍵技術亮點
1. 極速啓動
為了消除冷啓動的挑戰,AgentCube 實現了 Warm Pool(預熱池) 機制。系統會預先啓動並暫停一組持有基礎環境的 MicroVM 沙箱。當 Agent 請求到來時,AgentCube 能夠通過 "Claim-and-Go" 的方式,在毫秒級將預熱的沙箱分配給會話,實現近乎零延遲的啓動體驗。
2. 極速調度
藉助 Volcano 的 Agent Scheduler,AgentCube顯著提升了Agent調度的吞吐和時延。
-
高吞吐、低時延: 針對 Agent 突發流量,採用了樂觀併發控制和精簡的調度策略,大幅提升調度 TPS。
-
統一調度支持: Volcano 的 Agent Scheduler 可以與原有的 Batch Scheduler 無縫配合,在協調 Agent 與傳統的 Batch 作業潛在調度衝突的同時,確保整體集羣的資源利用率和關鍵業務的 SLA。
3. 原生會話管理
AgentCube 引入了 Session ID 作為核心路由標識,便於保證業務上下文的連續性。
-
請求路由: AgentCube Router 能夠識別請求中的 x-agentcube-session-id,自動將其路由到對應的活躍沙箱。
-
自動的沙箱激活: 當前會話對應的沙箱處於休眠狀態時,AgentCube Router 能夠自動激活沙箱。
-
基於會話的端到端隔離: AgentCube 會自動為每個會話分配獨立的沙箱環境,確保計算、內存與文件系統的完全隔離,防止跨租户的數據泄露。
4. Serverless 化的彈性伸縮
AgentCube 能夠根據會話的活躍度自動管理沙箱生命週期。閒置的沙箱會被自動回收或休眠,釋放物理資源供其他高優先級任務使用,真正實現資源按需分配與極致利用。
AgentCube 架構概覽
AgentCube 採用了經典的控制面與數據面分離的架構設計,確保了系統的高可用性與擴展性:
-
數據面 : 由 AgentCube Router 承載。它作為流量入口,負責鑑權、限流以及基於 Session ID 的智能路由。對於新會話,它向控制面申請資源;對於活躍會話,它直接將請求轉發至對應的 Sandbox (MicroVM)。
-
控制面 : 核心組件 Workload Manager 負責沙箱的全生命週期管理。它監控預熱池 (Warm Pool) 的水位,自動補充 MicroVM 實例,並根據會話活躍度策略(如 TTL)執行沙箱的回收與垃圾清理。
-
調度層: 集成 Volcano Agent Scheduler,通過異步並行調度和樂觀鎖機制,實現高併發下的毫秒級資源分配。