@shuffle / 博客 RSS 訂閱

Dec 11 2025

vivo互聯網 - vivo Celeborn PB級Shuffle優化處理實踐

作者： vivo 互聯網大數據團隊-Wang Zhiwen、Cai Zuguang vivo大數據平台通過引入RSS服務來滿足混部集羣中間結果（shuffle 數據）臨時落盤需求,在綜合對比後選擇了Celeborn組件，並在後續的應用實踐過程中不斷優化完善，本文將分享vivo在Celeborn實際應用過程中對遇到問題的分析和解決方案，用於幫助讀者對相似問題進行參

大數據 , 私藏項目實操分享 , shuffle , RSS , 數據倉庫 , Celeborn

收藏 評論

Aug 21 2025

阿里雲大數據AI - MaxCompute聚簇優化推薦功能發佈，單日節省2PB Shuffle、7000+CU！

Shuffle優化利器｜聚簇優化推薦 在MaxCompute每日EB級規模的計算場景中，Join、Group By、Window等算子所產生的Shuffle數據流量已佔據整體網絡傳輸的60%以上，成為影響大數據計算成本的核心因素。以阿里內部某業務為例，單日Shuffle數據量高達2 PB，直接消耗7000+ CU資源——這一數字僅是問題的冰山一角。 MaxCompute 哈希聚簇（Hash Clu

hash , shuffle

收藏 評論

Dec 11 2025

vivo互聯網技術 - vivo Celeborn PB級Shuffle優化處理實踐

作者： vivo 互聯網大數據團隊-Wang Zhiwen、Cai Zuguang vivo大數據平台通過引入RSS服務來滿足混部集羣中間結果（shuffle 數據）臨時落盤需求,在綜合對比後選擇了Celeborn組件，並在後續的應用實踐過程中不斷優化完善，本文將分享vivo在Celeborn實際應用過程中對遇到問題的分析和解決方案，用於幫助讀者對相似問題進行參考。 1分鐘看圖掌握核心觀點

大數據 , shuffle , RSS

收藏 評論