Stories

Detail Return Return

openFuyao v25.09 版本正式發佈!社區發行版全新升級,AI推理進一步優化 - Stories Detail

openFuyao聚焦“AI雲原生”,致力於促進有效算力的極致釋放,社區發行版v25.09推出多項Kubernetes增強新特性,推出完整AI推理軟件套件,並對在離線混部、Cluster-API特性進行優化。感謝社區技術委員會與SIG組成員對v25.09版本做出的貢獻,以下介紹具體的特性新增與變動:

openFuyao Kubernetes全新升級

SIG-orchestration-engine作為openFuyao社區核心SIG,致力於構建多樣化集羣的核心容器編排引擎組件。v25.09版本中,容器編排SIG推出多項Kubernetes增強,全面提升性能、運維能力和可靠性。

Kubernetes升級:1.28 → 1.33

一年一度的K8s版本煥新。

性能優化:kubelet支持服務啓動時CPU垂直擴容加速Java程序啓動

部分類型的應用在啓動時對資源需求更高,超過穩態的limit限制,所以導致啓動耗時很長,如Java、大模型推理、科學計算等。該特性能夠在保障穩態較少資源佔用的前提下,通過啓動時CPU擴容加快應用啓動速度,加速安裝部署、重啓、故障恢復等場景Java程序的就緒。

在資源允許的情況下,該特性對測試應用的啓動速度提升可超過50%,對於部分特定應用提升可超過100%。

運維能力提升:Kubernetes證書管理增強-熱加載

Kubernetes/etcd/coredns原生缺乏證書熱加載能力,openFuyao Kubernetes為coredns實現了證書熱加載能力,從而減少證書輪換對業務的影響。

運維能力提升:StatefulSet PVC模板支持擴容

在Kubernetes集羣中,存儲類基礎設施使用StatefulSet類型工作負載,而隨着集羣業務規模的擴大,工作負載的存儲空間也需要進行擴容。原生擴容方式為修改集羣中StatefulSet關聯的PVC對象,而該特性旨在通過修改StatefulSet規約中PVC的信息,來觸發StatefulSet PVC的自動擴容,從而簡化運維。

可靠性增強:日誌輪轉支持和可靠性增強

原生kube-log-runner只提供日誌重定向能力,fuyao-log-runner對原生機制進行功能擴展,提供字節級精細日誌輪轉,即使日誌磁盤空間不足,也能保障業務正常服務不退出;日誌文件被刪除時,支持自動恢復保障日誌正常輸出。

性能優化:容器高密部署

在高規格裸機容器場景下,單個節點會部署大量的Pod。K8s原生只支持到每節點100~300Pod,本特性實現了針對容器運行時和kubelet探針的資源消減方案,從而降低容器底座底噪和運行時開銷,提升單節點部署密度到1000以上。

AI推理進一步優化

SIG-ai-inference旨在構建一個開放、高效、面向未來的雲原生LLM推理加速體系,v25.09版本中,已推出完整AI推理軟件套件。

最佳實踐集成:AI推理軟件套件

AI推理軟件套件提供了AI一體機集成解決方案,初步支持基礎LLM推理全棧與DeepSeek;真正做到開箱即用,硬件驅動-推理框架-推理模型全鏈路打通,現提供NPU卡或GPU卡部分型號的驅動支持。

此外,目前已啓動孵化AI推理加速特性,將提供AI推理場景下的端到端加速解決方案,包含智能路由模塊、推理後端模塊、全局KV Cache管理模塊,實現推理吞吐量提升和時延降低,為AI服務部署提供高效、可靠的技術支撐。

在離線混部&Cluster-API特性優化

在離線混部:Qos保障能力提升

在離線混部v25.09進一步提升了QoS保障能力,通過集成rubik彈性限流、內存異步分級回收等多項能力,在維持30~50%資源利用率提升的同時進一步降低QoS波動。與此同時,SIG-colocation組織了結構化代碼重構,簡化倉庫架構,提升代碼質量。

Cluster-API:安裝方式優化

SIG-installation為版本帶來全新的安裝體驗:

離線安裝包製作更簡單:通過配置可選擇性附帶擴展組件離線安裝包。
安裝規格更輕量:支持引導節點和管理集羣共部署,只有1個節點也可以創建集羣

參考鏈接:https://docs.openfuyao.cn/docs/

user avatar guoxiaoyu Avatar crossoverjie Avatar rancherlabs Avatar cloudpilot-ai Avatar ydswin Avatar sealio Avatar yunxiao0816 Avatar cloudace Avatar zyuxuaner Avatar kubeexplorer Avatar kubesphere Avatar alixitongruanjianjishu Avatar
Favorites 13 users favorite the story!
Favorites

Add a new Comments

Some HTML is okay.