5.2 元數據 5.2.1 工具 數倉開源元數據項目對比(Apache Atlas、Apache Gravitino、DataHub、OpenMetadata、Amundsen、Metacat、Marquez) 5.2.1.1 起源與發展歷程
當今,企業IT系統的數量和複雜度呈指數級增長。CRM、ERP、HRM、SCM、財務系統、電商平台……每個業務單元都在構建或引入最適合自身需求的應用系統。這種“百花齊放”的局面固然提升了局部效率,卻也悄然埋下了一個隱患:數據孤島。 同一個客户,在銷售系統裏叫“A公司”,在合同系統裏是“Alpha Co.”,到了財務系統又變成了“甲方A”;同一款產品,在庫存系統中的編碼為P10
導讀 本文概述了在業務高速發展和降本增效的背景下百度MEG(移動生態事業羣組)大數據成本治理實踐方案,主要包含當前業務面臨的主要問題、計算數據成本治理優化方案、存儲數據成本治理優化方案、數據成本治理成果以及未來治理方向的一個思路探討,為業界提供可參考的治理經驗。 01 背景 隨着百度各業務及產品的快速發展,海量的離線數據成本在持續地增長。在此背景下,通過大數據治
8.1.2 埋點實現方式分類 8.1.2.1 代碼埋點 原理: 在代碼中手動插入埋點邏輯,精準捕獲特定事件(如按鈕點擊、頁面加載)並上報數據。可根據埋點位置分為前端埋點(客户端)和後端埋點(服務端)。 實現步驟: 確定需求:明確需監控的事件(如“加入購物車”按鈕點擊)及數據維度(如用户 ID、時間戳)。 插