动态

详情 返回 返回

【源碼交付】一站式自助數據分析解決方案(jvs-bi):系統架構藍圖 - 动态 详情

1.引言

JVS-BI是一體化、自助式的數據分析平台,它採用的高度集成化的思路,針對企業級用户,提供集中倉庫+便捷分析的企業級數據開發套件,解決企業各種需要數據分析的場景,多種數據庫、多種業務系統、跨庫關聯、離線數據分析等等。
2.系統架構概覽

  1. 系統架構:JVS-BI系統的整體架構圖如下所示:
    圖片
    整體架構包含四層:
    • 基礎框架層:基礎框架層採用 JVS 的統一數字化底座,包括基礎的用户體系、基礎的消息能力、統一認證、微服務框架等基礎組件,實現BI 運行的基礎環境。
    • 數據接入層:數據接入層 採用 JDBC數據連接模式,實現各種數據庫、數據文件的統一接入,屏蔽底層數據來源的異常差異,向上層數據存儲、數據加工提供統一的基礎服務能力。
    • 數據加工層:採用界面化配置的ELT,實現數據的抽取、數據集中存儲、數據的界面化加工、效果預覽、任務調度等數據編排的能力,為數據引用提供分析結果。
    • 數據應用層:系統提供圖表(可嵌入業務系統中使用的數據可視化)、報表(明細數據統計)、大屏(數據可視化展示)、數據服務(API),實現配置與結果預覽與調用。
  2. 使用流程,如下圖所示,由數據準備,數據集加工(抽取+編排)生成標準數據集,然後再配置數據的應用結果
    圖片
  3. 架構特點:
    • 私有化部署與技術開放性
    • JVS-BI側重於私有化部署,對數據安全性、敏感性高的客户
    • JVS-BI可提供全源碼開放的技術服務,主要向合作伙伴提供技術服務
    • 可視化配置與低技術門檻
    • JVS-BI採用多個配置化引擎,實現“0”代碼的配置
    • 數據源配置、數據集配置、大屏配置、報表配置、圖表配置、API配置、門户配置
    • 多數據源的集成接入
    • 關係型數據庫接入
    • 分析型數據庫的接入
    • 離線數據文件(excel)的接入
    • 獨立的分佈式數倉存儲
    • 採用獨立數據倉庫集中存儲分析數據,不影響業務系統
    • 採用doris 分部署數據倉庫,支持海量的數據存儲與加工
    • 數據加工界面化配置
    • 採用界面化、任務節點流程化 連接配置的方式,無需編寫SQL腳本
    • 採用抽取數據+模擬建模的方式,所見即所得,更加形象進行數據加工配置
    • 採用完善的任務調度機制,前置、後置、定時調度等,支持多種數據加工場景
    • 採用自動化的生成數據血緣關係,清晰的展示數據的來源與數據的最終用途
    • 數據引用的界面化配置
    • 圖表的界面配置引擎
    • 報表的界面配置引擎
    • 大屏的界面配置引擎
    • API數據服務的配置
    3.技術棧説明
    • 前端:Vue3+ElementPlus+Vite+Pinia
    • 後端:Spring_cloud_alibaba、Spring boot、Mybatis plus、Nacos、RabbitMq、Xxl-job、Datax
    • 數據:Doris、Mysql、Redis
    • 運維:K8S+docker
    4.核心組件詳解
  4. 多數據源:該功能支持接入多種不同類型的數據源,包括但不限於關係型數據庫(如MySQL, PostgreSQL等)、NoSQL數據庫(如MongoDB)、大數據存儲系統(如Hadoop)以及API接口等。用户可以根據需要靈活選擇和配置所需的數據源,從而實現在一個平台上集中管理和分析來自不同來源的數據。
  5. ELT數據集:ELT(Extract, Load, Transform)數據集功能允許用户從各種數據源中提取(Extract)數據,將其加載(Load)到數據倉庫中,並在加載後進行必要的轉換(Transform)的界面配置操作。
  6. 圖表配置器:圖表配置器提供了一個直觀的界面配置引擎,允許用户根據自己的需求選擇和配置各種類型的圖表(如柱狀圖、折線圖、餅圖等)。用户可以關聯不同數據來源,自定義圖表的數據源、顏色、軸標籤、圖例等多種屬性,以滿足不同的數據可視化需求。
  7. 報表配置器:報表配置器使用户能夠輕鬆設計和生成數據報表,支持明細報表、分組報表、交叉報表等
  8. 大屏配置器:大屏配置器專為創建大型數據可視化展示而設計。用户可以通過拖拽和配置各種圖表、指標和動態元素,構建出專業且吸引人的數據大屏。這些大屏可以用於實時監控、業務展示或會議演示等多種場景。
  9. API配置:API配置功能允許用户輕鬆集成和管理外部API服務。用户可以通過配置API請求參數、認證方式等,實現向其他系統提供加工後數據的API
  10. 任務執行監控:對任務執行提供界面化的監控界面。
    在線免費使用:http://bi.bctools.cn
    gitee地址:https://gitee.com/software-minister/jvs-bi
user avatar seatunnel 头像 javaedge 头像 openbayescom 头像 dreamlu 头像 apachekylin 头像 sevencode 头像 kason_5c6fb9100a56b 头像
点赞 7 用户, 点赞了这篇动态!
点赞

Add a new 评论

Some HTML is okay.