1.引言
JVS-BI是一體化、自助式的數據分析平台,它採用的高度集成化的思路,針對企業級用户,提供集中倉庫+便捷分析的企業級數據開發套件,解決企業各種需要數據分析的場景,多種數據庫、多種業務系統、跨庫關聯、離線數據分析等等。
2.系統架構概覽
- 系統架構:JVS-BI系統的整體架構圖如下所示:
整體架構包含四層:
• 基礎框架層:基礎框架層採用 JVS 的統一數字化底座,包括基礎的用户體系、基礎的消息能力、統一認證、微服務框架等基礎組件,實現BI 運行的基礎環境。
• 數據接入層:數據接入層 採用 JDBC數據連接模式,實現各種數據庫、數據文件的統一接入,屏蔽底層數據來源的異常差異,向上層數據存儲、數據加工提供統一的基礎服務能力。
• 數據加工層:採用界面化配置的ELT,實現數據的抽取、數據集中存儲、數據的界面化加工、效果預覽、任務調度等數據編排的能力,為數據引用提供分析結果。
• 數據應用層:系統提供圖表(可嵌入業務系統中使用的數據可視化)、報表(明細數據統計)、大屏(數據可視化展示)、數據服務(API),實現配置與結果預覽與調用。 - 使用流程,如下圖所示,由數據準備,數據集加工(抽取+編排)生成標準數據集,然後再配置數據的應用結果
- 架構特點:
• 私有化部署與技術開放性
• JVS-BI側重於私有化部署,對數據安全性、敏感性高的客户
• JVS-BI可提供全源碼開放的技術服務,主要向合作伙伴提供技術服務
• 可視化配置與低技術門檻
• JVS-BI採用多個配置化引擎,實現“0”代碼的配置
• 數據源配置、數據集配置、大屏配置、報表配置、圖表配置、API配置、門户配置
• 多數據源的集成接入
• 關係型數據庫接入
• 分析型數據庫的接入
• 離線數據文件(excel)的接入
• 獨立的分佈式數倉存儲
• 採用獨立數據倉庫集中存儲分析數據,不影響業務系統
• 採用doris 分部署數據倉庫,支持海量的數據存儲與加工
• 數據加工界面化配置
• 採用界面化、任務節點流程化 連接配置的方式,無需編寫SQL腳本
• 採用抽取數據+模擬建模的方式,所見即所得,更加形象進行數據加工配置
• 採用完善的任務調度機制,前置、後置、定時調度等,支持多種數據加工場景
• 採用自動化的生成數據血緣關係,清晰的展示數據的來源與數據的最終用途
• 數據引用的界面化配置
• 圖表的界面配置引擎
• 報表的界面配置引擎
• 大屏的界面配置引擎
• API數據服務的配置
3.技術棧説明
• 前端:Vue3+ElementPlus+Vite+Pinia
• 後端:Spring_cloud_alibaba、Spring boot、Mybatis plus、Nacos、RabbitMq、Xxl-job、Datax
• 數據:Doris、Mysql、Redis
• 運維:K8S+docker
4.核心組件詳解 - 多數據源:該功能支持接入多種不同類型的數據源,包括但不限於關係型數據庫(如MySQL, PostgreSQL等)、NoSQL數據庫(如MongoDB)、大數據存儲系統(如Hadoop)以及API接口等。用户可以根據需要靈活選擇和配置所需的數據源,從而實現在一個平台上集中管理和分析來自不同來源的數據。
- ELT數據集:ELT(Extract, Load, Transform)數據集功能允許用户從各種數據源中提取(Extract)數據,將其加載(Load)到數據倉庫中,並在加載後進行必要的轉換(Transform)的界面配置操作。
- 圖表配置器:圖表配置器提供了一個直觀的界面配置引擎,允許用户根據自己的需求選擇和配置各種類型的圖表(如柱狀圖、折線圖、餅圖等)。用户可以關聯不同數據來源,自定義圖表的數據源、顏色、軸標籤、圖例等多種屬性,以滿足不同的數據可視化需求。
- 報表配置器:報表配置器使用户能夠輕鬆設計和生成數據報表,支持明細報表、分組報表、交叉報表等
- 大屏配置器:大屏配置器專為創建大型數據可視化展示而設計。用户可以通過拖拽和配置各種圖表、指標和動態元素,構建出專業且吸引人的數據大屏。這些大屏可以用於實時監控、業務展示或會議演示等多種場景。
- API配置:API配置功能允許用户輕鬆集成和管理外部API服務。用户可以通過配置API請求參數、認證方式等,實現向其他系統提供加工後數據的API
- 任務執行監控:對任務執行提供界面化的監控界面。
在線免費使用:http://bi.bctools.cn
gitee地址:https://gitee.com/software-minister/jvs-bi