〔從零搭建〕數倉建模平台部署指南_數據

1、數倉建模平台基於開源項目kylin建設 

AllData數據中台商業版集成Kylin後,提供超大規模數據的實時分析與數倉建模能力。通過Kylin的預計算技術,實現PB級數據的亞秒級查詢響應,支持高併發多維分析場景。

系統內置分佈式計算框架,可動態擴展資源,結合Kylin的列式存儲與高效壓縮算法,顯著降低存儲成本,適用於金融風控、零售精準營銷等複雜數據分析需求。

Kylin項目地址:https://kylin.apache.org/zh-Hans/docs/overview

2、數倉建模平台功能特點 

Apache Kylin的Web界面菜單功能豐富,以下列舉了七點核心功能及其描述:

  • 項目管理:創建和管理項目,定義數據源及存儲位置
  • 模型設計:構建數據模型,選擇數據源表並定義維度與度量
  • Cube構建:基於模型構建Cube,預計算多維數據集以加速查詢
  • Cube管理:監控Cube狀態,執行構建、刷新、合併等操作
  • 查詢界面:輸入SQL語句查詢Cube,支持聚合函數與分組操作
  • 可視化分析:提供透視表與圖表工具,直觀展示查詢結果
  • 任務監控:跟蹤Cube構建及查詢任務進度,查看執行日誌

〔從零搭建〕數倉建模平台部署指南_建模_02

💡部署步驟:

〔從零搭建〕數倉建模平台部署指南_數據_03

 1、源碼獲取 

〔從零搭建〕數倉建模平台部署指南_數據源_04

 2、編譯構建 

💡安裝scala插件:

〔從零搭建〕數倉建模平台部署指南_建模_05

💡安裝JavaCC插件

〔從零搭建〕數倉建模平台部署指南_建模_06

  • 安裝插件完成後需要重啓 IDEA
  • Maven窗口勾選 SkipTests
  • 安裝 scala sdk

〔從零搭建〕數倉建模平台部署指南_數據源_07

〔從零搭建〕數倉建模平台部署指南_數據_08

 3、部署安裝 

3.1 環境準備:

  • zookeep 3.6
  • Hadoop 3.2.1
  • hive 3.1.2
  • mysql 5.7 或 8
  • jdk 1.8

3.2 打包:

  • 打包完成
  • 部署包路徑:dist/apache-kylin-5.0.2-bin.tar.gz

3.3 解壓到服務器:

〔從零搭建〕數倉建模平台部署指南_數據_09

〔從零搭建〕數倉建模平台部署指南_數據源_10

3.4 啓動服務:

〔從零搭建〕數倉建模平台部署指南_數據_11

 4、前端部署 

  • 編譯

〔從零搭建〕數倉建模平台部署指南_數據源_12

  • 打包

〔從零搭建〕數倉建模平台部署指南_建模_13


〔從零搭建〕數倉建模平台部署指南_數據源_14

1、數倉建模平台首頁-智能分析  

  • 可自動挖掘數據價值,提供可視化洞察與精準決策支持。

〔從零搭建〕數倉建模平台部署指南_建模_15

2、智能分析-新增數據源

  • 智能分析模塊支持便捷新增數據源,可快速接入多類型數據,拓展分析維度與數據覆蓋範圍。

〔從零搭建〕數倉建模平台部署指南_數據_16

3、數倉建模平台-新建項目

  • 支持一鍵新建項目,可自定義配置數據模型與指標,快速搭建個性化數據分析環境。

〔從零搭建〕數倉建模平台部署指南_建模_17

4、歷史記錄 

  • 自動記錄操作歷史,支持按時間、類型篩選查看,便於追溯修改軌跡與審計覆盤

〔從零搭建〕數倉建模平台部署指南_建模_18

5、歷史記錄-導出  

〔從零搭建〕數倉建模平台部署指南_數據源_19

6、數據資產-數據源

  • 數據資產模塊可集中管理數據源,支持多類型接入、元數據查看及權限靈活配置。  

〔從零搭建〕數倉建模平台部署指南_建模_20

7、數據資產-數據源-新增數據源  

〔從零搭建〕數倉建模平台部署指南_數據_21

8、數據資產-模型列表-新建模型  

  • 可自定義維度指標,快速構建適配業務場景的數據分析模型。

〔從零搭建〕數倉建模平台部署指南_建模_22

9、數據資產-快照-新建快照  

  • 支持在數據資產快照模塊新建快照,可定時刻錄數據狀態,保障數據安全與歷史版本回溯。

〔從零搭建〕數倉建模平台部署指南_數據_23

10、批處理  

  • AllData數倉建模平台依託Kylin,支持大規模批處理,可高效處理海量數據,實現批量分析與計算任務。

〔從零搭建〕數倉建模平台部署指南_數據源_24

11、流式任務  

  • 支持實時流式任務處理,可高效捕獲、分析動態數據流並即時響應。

〔從零搭建〕數倉建模平台部署指南_數據源_25

12、設置-基礎設置 

  • 基礎設置模塊,可配置系統參數、權限及數據連接,靈活適配多樣化業務場景需求。

〔從零搭建〕數倉建模平台部署指南_建模_26

13、設置-高級設置  

  • 高級設置支持Kylin引擎調優、資源分配定製及複雜計算規則配置,滿足精細化管控需求。

〔從零搭建〕數倉建模平台部署指南_數據_27

14、設置-內部表設置 

  • 內部表設置模塊,可自定義表結構、索引及存儲策略,優化Kylin底層數據組織與查詢效率。 

〔從零搭建〕數倉建模平台部署指南_建模_28

15、設置-模型設置 

  • 支持定義維度、指標及聚合方式,靈活適配Kylin模型,優化數據分析性能。

〔從零搭建〕數倉建模平台部署指南_數據_29

16、項目管理

  • 支持多項目創建、權限分配與資源隔離,助力團隊高效協作與數據資產管控。  

〔從零搭建〕數倉建模平台部署指南_數據源_30

17、項目管理-新建項目  

〔從零搭建〕數倉建模平台部署指南_數據源_31

18、用户  

  • 提供用户管理功能,支持角色分配、權限細控,保障不同用户安全訪問Kylin相關數據資源。

〔從零搭建〕數倉建模平台部署指南_數據_32

19、用户-新建用户  

〔從零搭建〕數倉建模平台部署指南_數據_33

20、用户組  

  • 支持用户組管理,可批量分配權限、資源,實現用户分類管控,提升Kylin數據操作協作效率。

〔從零搭建〕數倉建模平台部署指南_數據源_34

21、用户組-新建用户組  

〔從零搭建〕數倉建模平台部署指南_數據_35

22、儀表盤  

  • 提供可視化圖表,支持實時監控與交互式數據分析。

〔從零搭建〕數倉建模平台部署指南_數據_36