Kafka在美團數據平台的現狀 Kafka出色的I/O優化以及多處異步化設計,相比其他消息隊列系統具有更高的吞吐,同時能夠保證不錯的延遲,十分適合應用在整個大數據生態中。 目前在美團數據平台中,Kafka承擔着數據緩衝和分發的角色。如下圖所示,業務日誌、接入層Nginx日誌或線上DB數據通過數據採集層發送到Kafka,後續數據被用户的實時作業消費、計算,或經過數倉的ODS層用作數倉生產,還有一部分
摘要:華為雲擎天架構+ Flash-Native存儲引擎+低時延CurreNET,數據存儲和處理還有啥擔心的? 雖然我們已經進入大數據時代,但多數企業數據利用率只有10%,數據的價值沒有得到充分釋放。面對海量數據爆炸式的增長和發掘數據內在價值的巨大需求,擁有彈性伸縮、無限擴展能力的雲存儲正發展成為時代的智能數據底座。 另一方面,隨着人工智能(AI)、VR/AR、5G、自動駕駛等技術的發展,應