一、qData 數據中台概覽
在數字化轉型的大背景下,數據已經成為企業最核心、最具價值的資產。qData 數據中台,作為企業數據治理與應用的關鍵平台,憑藉高性能與創新理念脱穎而出。它秉持 “高效、安全、靈活、開放” 的設計原則,致力於為企業打造一站式的數據解決方案。
qData 數據中台具備多方面優勢:在 數據接入 上,能夠廣泛兼容主流數據庫與消息隊列,確保異構數據順暢匯聚;在 數據建模 上,提供可視化操作界面和標準化流程,大幅提升建模效率與準確性;在 數據質量 上,構建了基於國家標準的多維度校驗機制,保障數據的可靠性與一致性;此外,平台還配備 強大的可視化與智能查詢能力,讓不同層級的業務人員都能便捷地分析與使用數據。
二、商業版與開源版:定位差異
qData 數據中台提供 商業版 與 開源版 兩種形態。二者就像兩把不同的鑰匙,分別匹配不同的場景:
- 商業版 更像一位經驗豐富的專家顧問,能夠為企業提供全方位、深入且定製化的服務;
- 開源版 則更像一位啓蒙老師,門檻低、上手快,幫助中小企業或個人開發者以低成本開啓數據管理實踐。
兩者各具特色,共同構成完整的產品體系,滿足不同用户的需求。
三、商業版與開源版多維度對比
(一)功能廣度與深度:全景覆蓋 vs 核心能力
- 商業版 功能齊全,覆蓋從系統管理、數據接入、數據安全到數據服務的完整鏈路,並在各模塊上做了深度擴展。例如,建模方面支持構建複雜業務模型,以滿足大型企業的多元架構需求;在數據安全方面,能提供高度定製化的防護策略,符合金融、醫療等行業的合規要求。
- 開源版 提供核心功能,包含系統管理的基本操作、常見數據源接入、基礎建模與質量校驗,能夠滿足中小企業日常管理的主要需求,為數據治理打下基礎框架。
(二)性能與穩定性:嚴謹打磨 vs 靈活探索
- 商業版 經過嚴格測試與優化,即便在高併發、大數據量環境下也能保持穩定運行。背後有專業技術團隊持續升級與維護,保證系統可靠性和業務連續性。
- 開源版 因其靈活和開放的特性,更新迭代較快,適合開發者探索與擴展。但由於用户定製化配置較多,穩定性可能略遜,需要依賴活躍的社區力量不斷改進。
(三)服務與支持:專屬護航 vs 社區互助
- 商業版 提供專屬技術對接與服務協議(SLA),支持 7x24 小時響應,並附帶版本升級指導和補丁説明,幫助企業安心使用。
- 開源版 主要依賴社區資源,開發者通過分享經驗、交流問題、貢獻代碼來解決需求。雖然社區生態豐富,但遇到緊急問題時,支持的及時性和專業性不及商業版。
(四)智能化能力:前沿創新 vs 基礎應用
- 商業版 持續引入人工智能與機器學習技術。例如,自然語言轉 SQL 的智能查詢,讓業務人員無需複雜培訓即可獲取數據;智能數據質量預測與異常檢測功能,可以在問題發生前進行預警。
- 開源版 具備基礎智能能力,如常用的質量檢查規則與簡單分析工具,適合初步挖掘數據價值。
四、總結
qData 數據中台的 商業版 與 開源版 在不同層面展現出各自的優勢,形成了互補的產品矩陣。
- 對於大型企業而言,若追求 功能全面、服務完善、運行穩定,商業版是更佳選擇;
- 對於中小企業和開發者,若希望 以低成本切入、邊學邊用,開源版則更為適合。
無論選擇哪種版本,qData 數據中台都能成為企業數據管理旅程中可靠的夥伴,幫助充分挖掘數據價值,在數字化競爭中佔據先機。
五、qData 數據中台完整版功能清單
| 模塊 | 子模塊 | 功能描述 | 開源版 | 商業版 |
|---|---|---|---|---|
| 系統管理 | 用户管理 | 支持用户賬號的全生命週期管理(新增、編輯、刪除、啓用/停用、查詢),支持密碼重置與角色分配,實現統一身份管理,滿足組織級用户治理需求。 | ✅(包含) | ✅ |
| 角色管理 | 提供基於角色的訪問控制(RBAC)機制,支持自定義角色並配置細粒度權限,實現功能與數據權限的靈活管控。 | |||
| 菜單管理 | 支持系統菜單與功能點的可視化配置,支持多級樹形結構,可與角色綁定,實現界面與權限的動態控制。 | |||
| 部門管理 | 支持組織架構的層級化配置與維護,構建企業級部門樹,為權限分配、任務歸屬提供組織基礎。 | |||
| 崗位管理 | 支持崗位定義與用户綁定,實現“人-崗-權”一體化管理,提升人員職責與系統權限的匹配度。 | |||
| 字典管理 | 提供系統級數據字典管理能力,支持狀態、類型、類別等公共編碼的統一維護,確保數據口徑一致、前端顯示規範。 | |||
| 參數設置 | 支持系統運行參數的集中配置與動態調整,提升系統靈活性與可維護性。 | |||
| 通知公告 | 支持系統公告、運維通知、業務提醒的發佈、編輯與管理,實現重要信息的定向推送與全員觸達。 | |||
| 日誌管理 | 集中記錄用户操作日誌與系統運行日誌,支持按時間、用户、操作類型等多維度檢索、下載與審計,滿足合規與問題追溯需求。 | |||
| 基礎管理 | 主題管理 | 提供數據資產的主題化分類能力,支持按業務域(如客户、財務、供應鏈)組織資產,提升資產可發現性與管理邏輯性,是數據資產管理的核心維度之一。 | ✅ | ✅ |
| 應用管理 | 提供對接入平台的應用進行統一管理的能力,支持應用的註冊、鑑權、調用與監控,確保跨系統數據服務安全、規範與可控。 | |||
| 類目管理 | 提供多維度的類目管理能力,支持對數據資產、邏輯模型、數據元、任務、數據開發、作業和 API 等對象進行統一分類。通過樹形結構和多層級管理機制,實現靈活的組織與快速查找,提升資產管理的規範性與清晰度。
1、數據資產類目 支持新增、修改、刪除、查詢操作,並可在資產菜單中將數據資產綁定至類目;採用樹形結構與多層級分類,提升資產歸類與查找的效率。 2、邏輯模型類目 支持邏輯模型的類目管理與綁定,提供樹形分層展示,便於模型的統一組織與跨項目查找。 3、數據元類目 提供數據元的類目新增、維護與綁定,支持多層級分類,保障標準定義的集中化管理與快速定位。 4、任務類目 支持集成任務的類目化管理與綁定,採用分層展示結構,幫助用户清晰管理不同任務,便於跨任務調度與複用。 5、數據開發類目 提供數據開發任務的類目管理與綁定功能,通過樹形分層結構組織開發資產,提升開發任務的可管理性。 6、作業類目 支持作業類目的維護與綁定,採用層級化展示,幫助運維人員直觀管理作業,提升調度與監控的效率。 7、API 類目 提供 API 服務的類目新增、修改與綁定功能,通過樹形分層組織,便於服務的統一管理與調用規範化。 |
|||
| 數據採集 | 數據源管理 | 提供對多種數據庫與消息隊列的數據源接入與統一管理能力,滿足關係型數據庫、大數據平台及實時消息流的多樣化接入需求,為後續數據處理、分析和治理提供基礎保障。 | ✅ | ✅ |
| 1、關係型數據庫類型
支持接入並管理主流關係型數據庫數據源,包括 MySQL、PostgreSQL、Oracle、SQL Server、達夢(DM8)、人大金倉(KingbaseES)等,方便在統一平台上進行配置與管理。 |
🟡(部分包含) | ✅ | ||
| 2、大數據數據庫類型
支持 Hive、Phoenix(基於 HBase)、Doris、ClickHouse 等大數據類數據庫的連接與管理,適用於大數據環境下的元數據採集與數據訪問準備,提升大數據資產的可用性。 |
❌(不包含) | ✅ | ||
| 3、消息隊列類型
支持 Kafka 等主流消息隊列的數據源接入,用於實時數據流的接入與配置管理,保障實時數據處理與分析的連續性。 |
✅ | ✅ | ||
| 4、文件類型
支持FTP、阿里雲OSS、HDFS等文件類型的數據源介入。 |
❌ | ✅ | ||
| 連接測試 | 提供對接入數據源、服務或外部系統的連接有效性驗證能力,確保在配置完成後能夠快速檢測連通性與可用性,降低接入失敗風險,提升運維效率。 | ✅ | ✅ | |
| 數據標準 | 邏輯模型 | 提供可視化的邏輯建模與管理能力,統一數據結構設計,打通標準定義與物理落地,提升建模效率與一致性,是數據標準化的核心工具。
1、邏輯模型管理 支持邏輯模型的創建、修改、查詢和刪除,提供靈活的表結構與字段配置能力,滿足多樣化的數據建模需求。 |
✅ | ✅ |
| 2、表結構導入與建模
支持從 MySQL、PostgreSQL、Oracle、SQL Server、達夢(DM8)、人大金倉(KingbaseES)、Hive、Doris、ClickHouse 等數據庫中直接提取表結構,並可進行調整與保存,加速邏輯模型的構建與複用。 |
🟡 | ✅ | ||
| 3、字段標準化
支持邏輯模型字段與標準數據元關聯,實現字段級的命名、類型、格式統一,推動數據標準落地,並支撐自動化的稽查與清洗。 4、物化與部署 支持將邏輯模型物化為物理表,並部署至多種數據庫(如 MySQL、Oracle、達夢等),實現標準模型與物理數據的一體化管理,保障設計與落地的一致性。 |
✅ | ✅ | ||
| 字典表管理 | 提供統一的字典表定義與維護能力,支持代碼項的新增、修改、刪除和查詢,保障字典口徑一致、取值標準統一,提升數據管理的規範性和可用性。
1、字典表維護 支持字典表的新增、編輯與刪除,覆蓋名稱、類型、格式等基礎信息配置,確保字典表定義清晰完整。 2、字典項管理 提供字典項的增刪改查功能,支持批量維護與快速查詢,方便用户靈活管理字典項內容。 3、標準化支撐 通過統一的字典表,規範業務系統中的值域取值,避免多系統間口徑不一致,提升數據共享與集成的準確性。 |
✅ | ✅ | |
| 數據元管理 | 提供統一的數據元定義與管理能力,支持數據元的新增、修改、刪除與查詢,明確字段的名稱、類型、長度、格式等標準信息,確保數據在不同系統和場景下的一致性與可複用性。
1、數據元維護 支持數據元的新增、編輯、刪除與查詢,覆蓋字段名稱、類型、長度、格式等要素,確保定義完整規範。 2、數據元綁定 支持數據元與資產字段或邏輯模型字段的關聯,保障實際數據與標準定義保持一致,提升可控性。 3、規則關聯 可為數據元綁定清洗規則或稽查規則,實現標準與質量管控的深度融合。 4、標準複用 提供跨項目、跨系統的數據元複用機制,避免重複定義,提升數據管理效率與一致性。 |
✅ | ✅ | |
| 邏輯物化 | 將邏輯模型快速轉化為物理表,實現模型設計與數據落地的一體化,提升建模效率與一致性。
1、模型物化 支持將邏輯模型直接生成物理表結構,包括表名、字段定義、約束條件等,確保邏輯設計能夠準確落地。 |
✅ | ✅ | |
| 2、多數據庫部署
提供對 MySQL、PostgreSQL、Oracle、SQL Server、達夢(DM8)、人大金倉(KingbaseES)、Hive、Doris、ClickHouse等多種關係型數據庫的物化支持,滿足不同環境下的應用需求。 |
🟡 | ✅ | ||
| 3、標準化管理
將邏輯建模、物化部署與數據標準統一管理,減少重複建表工作,提升開發效率與數據一致性。 |
✅ | ✅ | ||
| 物化記錄 | 提供對邏輯模型物化過程的記錄與追蹤能力,幫助用户掌握物化執行情況、版本變化與部署歷史,提升過程透明度與可控性。
1、物化執行記錄 自動保存每次邏輯模型物化的執行情況,包括操作人、執行時間、目標數據庫和結果狀態,便於後續審計與問題定位。 2、版本變更追蹤 支持對物化過程中的版本變化進行記錄,用户可回溯不同版本的物化內容,保障模型迭代過程可控。 3、部署歷史管理 提供物化部署歷史的查詢與管理功能,幫助用户快速瞭解物理表的生成與變更軌跡。 4、異常處理支持 在物化失敗或異常時自動記錄錯誤信息,並結合日誌輸出,輔助用户進行問題排查與修復。 |
✅ | ✅ | |
| 數據資產 | 數據發現 | 提供數據發現、結構分析、變更跟蹤與任務調度等能力,幫助企業全面掌握數據資產現狀與演進過程,提升元數據管理的透明度與可控性。
1、數據發現任務 支持任務的新增、修改、刪除、查詢與上下線,可從多種關係型數據庫(MySQL、Oracle、SQL Server、達夢等)自動提取並彙總表和字段的結構、規模及變化信息,為數據資產盤點和統一管理提供基礎。 2、字段與結構分析 自動檢測表結構,識別字段名稱、類型、主鍵、分區等要素的變化,支持字段新增、刪除、類型調整的對比分析,幫助用户快速掌握結構演進情況,保障數據模型的穩定性。 3、元數據變更管理 跟蹤元數據在生命週期中的變更(創建、修改、刪除),並支持版本化管理與歷史回溯,確保元數據演進過程透明可控,方便審計和問題追蹤。 4、狀態監控 實時監控數據源中表的新增與刪除,自動捕捉數據資產變動,並通過告警機制及時推送,幫助用户快速感知和應對資產變化。 5、調度管理 提供可視化任務配置與調度能力,支持定時、週期和手動多種調度策略,並可實時查看執行狀態和日誌,實現任務運行的靈活管控與高效運維。 |
❌ | ✅ |
| 資產管理 | 提供資產地圖的列表化管理能力,以結構化方式展示和檢索已生成的資產地圖,便於用户快速定位、查看與維護資產全景。
1、資產清單管理 支持以列表形式集中展示所有已生成的資產地圖,包含地圖名稱、所屬類目、資產描述、創建時間、數據標籤等信息,方便統一管理。 |
✅ | ✅ | |
| 2、多類型資產管理
數據庫表類型 —— 管理各類業務數據庫中的表資產,支持結構化數據的管理。 API 類型 —— 支持對外部或內部 API 資產進行登記、調用。 文件類型 —— 覆蓋常見文件資產的存儲與管理,如 Excel、CSV、文檔等,便於統一歸檔和共享。 |
🟡 | ✅ | ||
| 3、多維度檢索
提供按名稱、類型、主題、創建時間等條件的快速檢索功能,幫助用户高效查找目標地圖。 4、操作與維護 提供地圖的新增、編輯、刪除等操作,幫助用户靈活維護和優化資產地圖內容。 |
✅ | ✅ | ||
| 資產詳情 | 提供對單個數據資產的全方位信息展示與質量監控能力,覆蓋基礎屬性、字段結構、質量評估、血緣關係等多維度內容,幫助用户全面掌握資產現狀與價值。
1、基礎信息展示 顯示資產的基本屬性,包括名稱、類型、所屬主題、所屬分類、創建人、創建時間等,確保資產信息清晰可見。 2、結構與字段信息 展示資產表結構與字段詳情,包括字段名稱、類型、長度、約束、默認值等,便於用户快速掌握數據結構。 |
✅ | ✅ | |
| 3、血緣與依賴關係
提供資產的上下游血緣分析,直觀展現數據依賴路徑,幫助用户理解數據流向和影響範圍。 |
❌ | ✅ | ||
| 4、質量評估任務管理
支持對單個資產配置質量評估任務,展示任務名稱、執行策略、執行狀態與執行時間,便於統一調度與監控。 5、質量維度統計 提供完整性、準確性、一致性、時效性、規範性等維度的質量統計,輸出整體數據質量評分,並顯示問題數佔比。 6、質量趨勢分析 通過圖表展示數據質量在不同時間段的變化趨勢,幫助用户跟蹤質量改進效果。 7、規則配置與管理 展示與資產綁定的質量規則,支持規則的新增、編輯、刪除與啓用/禁用,確保質量控制的靈活性。 |
✅ | ✅ | ||
| 8、問題數據處理
對評估發現的異常數據提供修復入口,支持人工干預,保障數據質量持續優化。 |
❌ | ✅ | ||
| 資產審核 | 提供數據資產的審核與發佈流程管理,確保新增或變更的資產在上線前經過合規性、規範性和完整性校驗,提升資產管理的可控性與可信度。
1、審核任務管理 提供待審核資產清單,支持查看資產的基本信息、變更內容和提交人信息,便於審核人快速定位與處理。 2、審核操作 支持對資產進行通過、駁回、退回修改等操作,並可附加審核意見,確保審核結果透明。 |
✅ | ✅ | |
| 數據查詢 | 提供對多源數據的統一查詢與訪問能力,支持靈活的查詢條件配置和結果展示,幫助用户快速獲取所需數據,提升數據使用的便捷性與效率。
1、多源查詢支持 支持對接入的多種數據源(關係型數據庫、大數據平台等)進行統一查詢,避免跨系統切換。 2、結果展示與導出 查詢結果支持表格化展示,並可按需導出為 Excel/CSV 等格式,方便後續分析與共享。 |
✅ | ✅ | |
| 數據血緣 | 提供數據資產間上下游關係的可視化追蹤能力,幫助用户掌握數據從源頭到應用的流向,提升數據溯源、影響分析與問題排查的效率。
1、血緣關係可視化 以圖形化方式直觀展示表、字段、任務之間的上下游依賴關係,方便用户快速理解數據流轉路徑。 2、字段級血緣分析 支持精確到字段級的血緣追蹤,明確字段來源與去向,保障數據口徑一致性與可解釋性。 3、上下游影響分析 在源數據或邏輯模型變更時,自動識別受影響的下游對象,幫助用户評估變更影響範圍,降低風險。 4、多維度關聯 血緣信息可結合資產、任務、規則等模塊進行聯動,支持跨模塊的溯源與分析。 5、動態更新 血緣關係隨數據集成與任務運行動態更新,確保展示結果與實際運行情況保持一致。 |
❌ | ✅ | |
| 資產質量 | 提供針對單個數據資產的質量評估與監控能力,覆蓋規範性、完整性、準確性、一致性和時效性等維度,幫助用户全面瞭解資產健康度並持續改進。
1、質量任務管理 支持為資產配置質量評估任務,查看任務名稱、執行策略、執行狀態和執行時間,方便統一調度與跟蹤。 2、質量維度統計 從規範性、完整性、準確性、一致性和時效性五個維度對資產進行檢測,輸出整體質量評分和問題數據佔比。 3、質量趨勢分析 提供可視化圖表,展示數據質量在不同時段的變化趨勢,幫助用户跟蹤改進成效。 4、規則配置與管理 支持在資產層面新增、編輯、刪除和啓用/禁用質量規則,確保質量控制靈活可配。 |
✅ | ✅ | |
| 5、問題數據處理
對檢測發現的異常數據提供修復入口,支持人工干預,保障資產數據質量穩定可控。 |
❌ | ✅ | ||
| 數據治理 | 稽查規則 | 基於國家標準的方法體系,提供 完整性、唯一性、有效性、一致性、時效性 五大質量維度的檢查能力,幫助企業快速建立統一的數據質量評估與管控體系,確保數據準確、可靠。
1、規則清理 企業能夠根據自身業務需求重新二開質量規則,提升規則的 靈活性與可控性,避免冗餘和不必要的干擾。 2、質量維度配置 左側規則樹支持完整性、唯一性、有效性、一致性和時效性五大質量維度的分類管理,方便用户快速定位和維護。 3、標準規則錄入 支持通過外部鏈接批量錄入規則,包括編碼、名稱、描述、使用場景和示例,確保規則定義清晰、可複用,便於在不同場景下統一應用。 |
🟡 | ✅ |
| 清洗規則 | 提供面向六大質量維度的可配置清洗能力(準確性、完整性、一致性、唯一性、有效性、及時性),以標準化規則驅動自動處理,提升數據的可靠性與可用性。
1、準確性修正 定位並修正錯誤或不一致取值,涵蓋異常值處理、格式標準化等,提升數據可信度。 2、完整性修復 填補缺失、刪除無效記錄,按規則補全必填字段,確保關鍵信息齊全。 3、一致性修正 統一單位、格式、編碼和值域,消除跨源/跨表差異,保障口徑一致。 4、唯一性維護 去重與重複實體合併,生成或校驗唯一鍵,避免重複記錄造成的統計偏差。 5、有效性處理 識別並替換非法值與髒數據,按取值範圍與校驗規則過濾,保證數據可用。 6、及時性調整 校正時間戳、補齊時間缺口,對齊時區/時效策略,保證時間維度準確與時序完整。 |
🟡 | ✅ | |
| 數據集成 | 提供輸入、輸出與轉化三類節點配置能力,覆蓋多種數據庫、大數據平台與流式消息系統,實現數據的靈活採集、清洗與分發,支撐複雜場景下的數據集成與加工需求。
1、輸入節點 支持從多種數據源接入,包括大數據平台(Hive、Doris、ClickHouse、Hbase)、主流關係型數據庫(MySQL、PostgreSQL、Oracle、SQL Server、達夢(DM8)、人大金倉(KingbaseES)、流式消息隊列(Kafka)以及外部 API 接口,滿足多源數據採集需求。 2、轉化節點 支持對輸入節點字段進行解析,結合數據清洗規則完成標準化與質量保障,確保輸出數據的準確性與一致性。 3、輸出節點 支持將數據寫入至大數據平台(HDFS、Hive、HBase)、關係型數據庫(MySQL、Oracle、達夢 DM8、金倉 Kingbase8),並可輸出到 Kafka 等流式消息隊列,實現多目標數據分發。 |
🟡 | ✅ | |
| 數據稽查 | 提供對數據的系統化檢查與稽核能力,基於預定義規則發現數據中的異常、缺陷和不一致問題,幫助用户及時定位風險,提升數據質量與可信度。
1、稽查規則配置 支持按照完整性、唯一性、有效性、一致性、時效性等維度配置稽查規則,保障檢查覆蓋全面。 2、結果分析與展示 稽查結果以報表或圖表形式呈現,直觀展示問題數據數量、分佈與佔比,輔助用户理解問題嚴重程度。 3、問題數據處理 提供問題數據的標記、導出與修復入口,支持人工干預或與清洗規則聯動,實現問題閉環處理。 |
✅ | ✅ | |
| 數據清洗 | 提供針對原始數據的自動化清洗與修正規則,支持多維度的數據質量處理,消除異常、缺失與不一致問題,保障數據的準確性、完整性和可用性。
清洗規則配置: 支持按準確性、完整性、一致性、唯一性、有效性、及時性等維度配置清洗規則,覆蓋常見質量問題處理場景。 |
✅ | ✅ | |
| 數據開發 | 提供面向實時流處理的任務管理、開發與調試能力,基於 Flink 等流式引擎,支持高吞吐、低延遲的數據處理需求,幫助企業構建高效穩定的實時計算與開發環境。
1、數據開發任務管理 支持實時數據任務的全生命週期管理,提供任務名稱、類型、執行引擎、調度週期等信息的配置與查看;並具備任務狀態監控與查詢能力,幫助用户實時掌握任務進度與運行情況。 2、實時流數據開發 基於 Flink 執行引擎,支持實時同步與計算任務,提供調度週期與資源配置選項,保證任務可靈活調度與高效執行;同時滿足高吞吐、低延遲場景下的實時處理需求。 3、IDE 工作台 提供可視化集成開發環境,支持 SQL 腳本編寫、實時日誌查看與任務調試;具備語法高亮、自動補全等輔助功能,提升開發效率與用户體驗。 |
🟡 | ✅ | |
| 作業管理 | 提供對數據作業的統一配置、調度、監控與優化能力,覆蓋依賴關係、資源調度、異常處理與跨模塊編排,確保數據處理流程高效、穩定、可控運行。
1、任務依賴關係可視化配置 提供圖形化界面,支持任務間依賴關係的拖拽式配置,直觀定義執行順序,自動生成任務流圖,提升作業編排的清晰度與可維護性。 2、分佈式負載均衡策略管理 在分佈式環境下支持負載均衡策略配置,可根據任務優先級和資源使用情況動態分配計算資源,提升系統整體性能與任務執行穩定性。 3、自動重試策略配置 支持為任務設置自動重試機制,用户可自定義重試次數、間隔時間及失敗處理邏輯,降低因臨時錯誤導致任務中斷的風險。 4、任務異常監控與告警中心 實時監控任務運行狀態,對失敗、超時、資源不足等異常情況進行告警通知,並支持問題處理機制(如任務重跑),確保異常及時響應。 5、整合數據集成與數據開發節點 將數據集成任務(如 ETL)與數據開發任務(如 SQL 腳本)統一納入作業管理平台,實現跨模塊任務編排與協同運行,提升整體數據處理的協同性與可擴展性。 |
❌ | ✅ | |
| 運維管理 | 提供作業與數據開發任務的集中管理與運行追蹤能力,支持實例化運行、日誌查看與問題排查,保障任務執行過程透明、可控與可復現。
1、作業任務管理 支持查看作業實例列表,每次執行自動生成實例,便於運行記錄追蹤。 提供樹形結構的子任務展示,直觀呈現任務層級與依賴關係。 支持查看與下載各任務節點的執行日誌,方便問題定位與分析。 提供作業實例的重跑功能,確保任務在異常後可重複執行,提升穩定性。 2、數據開發任務管理 展示數據開發任務實例列表,支持統一的任務管理與進度跟蹤。 提供執行日誌的查看與下載,輔助開發人員進行調試與問題處理。 |
✅ | ✅ | |
| 數據填報 | 提供基於模板的數據填報與上報能力,支持用户按需錄入、修改和提交業務數據,確保數據採集的完整性與及時性,滿足業務對數據補充與校正的需求。
1、填報模板管理 支持創建與維護填報模板,靈活配置字段名稱、類型、校驗規則等,確保填報過程規範統一。 2、在線數據錄入 提供在線表單式數據錄入界面,支持數據的新增、編輯,提升填報效率。 |
❌ | ✅ | |
| 項目基礎管理 | 提供對平台內項目的統一管理能力,支持項目的創建、維護與配置,明確項目邊界與資源歸屬,幫助企業以項目為單位進行數據與任務的組織管理。
1、項目創建與維護 支持項目的新增、編輯、刪除與查詢,形成統一的項目清單,便於集中管理。 2、成員與角色管理 支持為項目分配成員並配置角色與權限,保障不同角色在項目中的職責明確、權限可控。 |
✅ | ✅ | |
| 數據質量 | 數據質量任務 | 提供基於規則的數據質量檢測與任務化管理能力,支持任務的配置、調度與結果跟蹤,幫助用户持續監控數據質量,確保數據可靠、可用。
1、任務配置與管理 支持數據質量任務的新增、編輯、刪除與分類管理,覆蓋任務名稱、執行策略、評測對象和規則等要素。 2、多維度質量檢測 可在任務中應用完整性、唯一性、有效性、一致性、時效性等質量規則,對目標數據進行全面檢測。 3、調度與執行 支持定時、週期性和手動調度方式,保障任務靈活運行,滿足不同業務場景的質量監控需求。 4、執行監控與日誌 提供任務執行狀態的實時監控,支持日誌查詢與下載,便於定位異常與優化任務配置。 5、結果展示與處理 以報表、圖表形式展示檢測結果,標註問題數據,並提供修復入口,支持人工干預或後續清洗聯動。 |
✅ | ✅ |
| 質量任務日誌 | 提供對數據質量任務執行過程的日誌記錄與追蹤能力,幫助用户全面掌握任務運行情況,快速定位問題環節,保障質量監控過程的透明性與可控性。
1、執行過程記錄 自動記錄任務執行的全流程,包括啓動時間、執行節點、規則應用情況與結束狀態,確保過程可追溯。 2、異常信息捕獲 在任務運行出現錯誤或規則校驗失敗時,實時記錄異常詳情,幫助用户快速定位並處理問題。 |
✅ | ✅ | |
| 任務質量報告 | 提供對數據質量任務執行結果的可視化報告展示與分析能力,從多維度輸出檢測結果與問題分佈,幫助用户直觀評估數據質量水平,指導後續優化與改進。
1、報告生成 每次任務執行後自動生成質量報告,包含任務基本信息、執行時間、執行對象與規則覆蓋情況。 2、質量指標統計 按完整性、唯一性、有效性、一致性、時效性等維度輸出檢測結果,提供問題數據量與佔比,全面反映數據健康度。 3、問題分佈分析 通過圖表展示異常數據的分佈情況,支持按表、字段、規則進行問題定位,幫助用户快速發現質量薄弱環節。 4、趨勢對比 支持與歷史報告進行對比,展示質量指標的改善趨勢,幫助跟蹤質量提升成效。 |
✅ | ✅ | |
| 問題數據處理 | 在數據質量評測過程中,系統可自動識別 異常或不合規數據,並支持用户進行 手動修復與調整,保證數據的 準確性和一致性。該功能幫助企業快速發現問題並及時處理,避免錯誤數據在業務中擴散,確保整體數據質量的可靠性。 | ❌ | ✅ | |
| 數據安全 | 資產敏感等級 | 提供對數據資產敏感性的分級管理能力,根據數據類型與使用場景標註資產等級,幫助企業落實數據安全與合規要求,降低敏感數據泄露風險。
1、等級定義與維護 支持定義多級敏感等級(如公開、內部、敏感、核心等),並可根據企業規範靈活調整,確保分級標準統一。 2、自動識別與標註 結合數據分類與規則庫,支持對常見敏感信息(如身份證號、手機號、銀行卡號等)進行自動識別,並標註對應等級。 |
✅ | ✅ |
| 數據資產分類與分級管理 | 提供對數據資產的多維度分類與分級管理能力,通過業務屬性、敏感等級等方式統一組織與標識資產,提升資產管理的規範性、安全性與可用性。
1、多維度分類管理 支持按業務域、主題、類目等維度對數據資產進行分類,採用樹形結構與多層級管理方式,確保資產組織清晰,便於快速檢索與定位。 2、敏感等級分級 提供對資產敏感性的分級管理機制,支持定義公開、內部、敏感、核心等不同等級,保障數據在使用與共享過程中的安全合規。 |
✅ | ✅ | |
| 數據安全技術防護 | 提供多層次的數據安全防護能力,覆蓋訪問控制、數據加密、脱敏處理與操作審計,確保數據在存儲、傳輸與使用過程中的安全性與合規性。
1、訪問控制 通過用户、角色與權限體系,對數據訪問範圍進行精細化控制,防止越權訪問。 2、數據加密 支持對存儲數據與傳輸數據進行加密,保障敏感信息在存儲和傳輸過程中不被泄露。 3、數據脱敏 提供靜態與動態脱敏能力,對敏感字段(如姓名、手機號、身份證號等)進行遮蔽或替換,確保數據在共享與使用環節中安全可控。 |
❌ | ✅ | |
| 訪問控制與權限管理 | 提供基於用户、角色與資源的精細化權限管理能力,支持多級授權與靈活控制,確保數據與功能的訪問安全、合規與可追溯。
1、用户與角色管理 支持用户賬號與角色的統一管理,提供角色創建、分配、綁定等操作,形成清晰的訪問主體體系。 2、菜單與功能權限 提供基於角色的菜單、功能權限配置,靈活控制不同角色在系統中的可見範圍與操作權限。 3、多級授權機制 提供部門級、項目級、資源級等多層次的授權能力,滿足複雜組織架構下的權限分配需求。 4、數據權限控制 實現按組織、角色或用户維度的精細化數據訪問控制。 |
❌ | ✅ | |
| 數據服務 | API管理 | 提供統一的數據服務 API 管理與運維能力,支持 API 的全生命週期管理(創建、發佈、調用、監控),幫助企業實現數據服務化交付,提升數據共享與複用效率。
1、API 定義與創建 支持基於數據表、視圖或模型快速生成 API,配置請求方式、參數、返回結果等信息,降低服務開發成本。 2、API 發佈與調用 提供 API 的發佈、下線與版本管理功能,支持通過統一入口調用,確保服務交付規範可控。 |
✅ | ✅ |
| 調用日誌 | 提供對 API 調用過程的日誌記錄與分析能力,幫助用户全面掌握調用情況、定位異常並進行審計,確保數據服務使用的透明性與可控性。
1、調用記錄管理 自動記錄每次 API 調用的時間、調用方、請求參數與返回結果,便於追溯與問題分析。 2、性能指標統計 提供調用次數、響應時間、成功率、失敗率等關鍵指標,幫助評估 API 性能與穩定性。 3、日誌檢索與導出 支持按 API 名稱、調用時間、調用方等條件檢索日誌 |
✅ | ✅ | |
| API鑑權 | 提供多種鑑權機制保障 API 調用安全,確保數據服務僅在授權範圍內被訪問和使用,降低越權訪問與數據泄露風險。
1、多種鑑權方式 支持基於 Token、API Key、OAuth 等多種鑑權方式,滿足不同場景下的安全需求。 2、訪問控制 可為 API 配置調用權限,限制調用方的身份、角色與訪問範圍,實現精細化管控。 |
✅ | ✅ | |
| API在線測試 | 提供對已發佈 API 的在線調試與驗證能力,幫助用户快速檢查 API 的可用性與返回結果,提升開發與運維效率。
1、在線調試工具 提供可視化測試界面,支持輸入請求參數、選擇請求方式並直接發起調用,簡化測試流程。 2、實時結果反饋 調用後即時返回響應結果與狀態碼,便於用户驗證 API 的正確性與穩定性。 |
✅ | ✅ | |
| API黑名單、限流 | 提供基於黑名單和限流策略的安全防護能力,控制惡意調用與過量訪問,保障 API 服務的穩定性與安全性。
1、調用黑名單 支持對指定調用方(IP、用户、應用等)加入黑名單,阻止其訪問 API,防範惡意調用與越權訪問。 2、訪問限流 可設置調用頻率、併發數及流量閾值,防止單一用户或應用因高頻請求造成服務擁堵或資源耗盡。 |
✅ | ✅ | |
| 數據資源門户 | 門户首頁 | 提供統一的門户入口與首頁展示能力,以可視化方式集中呈現數據資產、任務運行、質量監控及服務調用等核心信息,幫助用户快速瞭解平台整體運行態勢與關鍵數據指標。
1、整體概覽 集中展示數據資產數量、任務執行情況、質量評估結果、API 調用情況等核心指標,形成全局視圖。 2、可視化看板 提供圖表化儀表盤,直觀呈現數據分佈、趨勢變化與運行狀態,幫助用户快速發現問題與價值點。 |
❌ | ✅ |
| 服務資源 | 提供統一的數據服務資源目錄,支持檢索、篩選與詳情查看,幫助用户快速發現、理解並申請所需服務,提升服務獲取效率與規範性。
1、目錄查看 支持查看已發佈的數據服務目錄,幫助用户快速定位目標服務資源。 2、檢索與篩選 提供普通搜索和多維度篩選功能,支持按服務名稱、類型、分類等條件查找,提升服務發現效率。 3、服務資源列表 集中展示服務資源清單,支持查看詳細信息、狀態及申請流程,保障服務訪問有序合規。 4、服務詳情頁 提供服務的詳細介紹與使用説明,包括接口信息、調用方式、參數説明等,幫助用户快速理解並使用服務。 |
|||
| 數據維護 | 提供對基礎數據的統一維護能力,支持數據的新增、修改、刪除與查詢,確保數據在全局範圍內的完整性、準確性與一致性。 | |||
| 數據填報 | 在門户端提供統一的數據填報入口,支持用户通過可視化表單錄入和提交業務數據,確保數據採集便捷、規範,並能直接進入數據處理與分析流程。 | |||
| 資料中心 | 在門户端提供統一的資料中心,集中展示平台使用指南、規範文檔、培訓資料和案例資源,幫助用户快速獲取所需信息,提升自助學習與應用能力。 | |||
| 我申請的服務 | 在服務門户端提供個人申請服務的統一管理入口,支持申請進度跟蹤、服務詳情查看與操作管理,幫助用户高效掌握已申請服務的狀態與使用情況。 | |||
| 在線審批 | 在服務門户端提供統一的在線審批入口,支持對用户提交的服務申請進行查看、處理與流轉,確保審批流程高效透明,提升服務交付效率。 | |||
| 後台管理系統 | 提供服務門户的後台管理能力,支持對門户內容、用户、權限及服務資源的統一配置與維護,保障門户的高效運行與可持續優化。 | |||
| 數據可視化 | 報表設計 | 提供多維度數據分析與可視化展示能力,支持自定義報表設計與數據鑽取,通過可視化拖拽方式快速生成圖表和儀表盤,幫助用户高效洞察業務數據。
1、多維度數據分析 支持按業務域、主題、時間等多維度對數據進行統計與分析,滿足多場景的數據探索需求。 2、豐富的圖表與模板 提供柱狀圖、折線圖、餅圖、儀表盤等多種圖表類型,以及常用報表模板,便於快速生成報表。 3、自定義報表與鑽取 支持用户自定義報表結構與展示樣式,並提供數據鑽取功能,實現從總體指標到明細數據的逐層分析。 |
❌ | ✅ |
| 大屏設計 | 提供可視化大屏設計與展示能力,支持拖拽式佈局和多類型組件配置,幫助用户快速構建數據大屏,實現業務指標的直觀呈現與實時監控。
1、可視化編輯器 提供拖拽式設計界面,用户可自由添加、調整和組合圖表、控件與背景,簡化大屏設計流程。 2、豐富的組件庫 內置多種圖表類型(柱狀圖、折線圖、餅圖、地圖、儀表盤等)和展示控件,滿足多場景下的數據可視化需求。 3、自由佈局 支持多組件的任意排版與大小調整,形成個性化、場景化的大屏展示效果。 4、數據實時接入 支持連接多源數據,並實現實時刷新與動態更新,保障展示內容的時效性與準確性。 5、預覽與發佈 提供大屏效果預覽功能,支持一鍵發佈至展示終端或門户,方便共享與展示。 |
|||
| 儀表盤設計 | 提供靈活的儀表盤設計與展示能力,支持多維度指標組合、可視化組件配置與交互分析,幫助用户快速構建業務監控面板,實現核心指標的實時掌握。
1、可視化編輯器 提供拖拽式設計界面,支持圖表、文本、指標卡等組件的自由組合,簡化儀表盤搭建流程。 2、多維指標展示 支持將業務指標按主題、時間、區域等維度進行組合展示,形成綜合性監控視圖。 3、豐富圖表類型 內置折線圖、柱狀圖、餅圖、面積圖、雷達圖等多種圖表,滿足多場景的數據可視化需求。 |
|||
| 人工智能 | Text2SQL | 提供自然語言轉 SQL 的智能查詢能力,用户只需輸入文本問題,系統即可自動生成對應 SQL 並執行,幫助非技術人員也能便捷獲取數據,提升數據使用的普惠性與效率。
1、自然語言解析 支持將用户輸入的自然語言問題(如“查詢上季度銷售額”)自動解析為標準 SQL 語句。 2、語義理解與優化 結合領域語義與數據字典,優化 SQL 生成結果,確保查詢符合業務語境與數據庫結構。 3、多數據源支持 可對接 MySQL、Oracle、SQL Server、Hive 等多種數據庫,實現跨源查詢。 4、可視化結果展示 查詢結果以表格或圖表形式展示,用户無需額外操作即可查看分析結果。 |
❌ | ✅ |
| ChatBI | 提供基於對話式交互的智能數據分析能力,用户通過自然語言對話即可完成數據查詢、報表生成與趨勢分析,幫助業務人員以最低門檻獲取數據洞察,提升決策效率。
1、對話式查詢 用户通過自然語言提問(如“本月銷售額同比增長多少?”),系統自動解析並返回結果,無需編寫 SQL。 2、即時可視化 支持將查詢結果以表格、柱狀圖、折線圖、餅圖等多種形式即時呈現,增強數據理解效果。 3、多數據源接入 可連接關係型數據庫、大數據平台等多類數據源,實現跨庫、跨域的統一分析。 4、智能洞察 基於歷史查詢與數據模型,自動生成趨勢解讀與業務洞察,輔助用户發現潛在問題與機會。 |
|||
| 其他 | 在線文檔 | 提供更完善的官方文檔,包括部署、運維、API、最佳實踐等,更新及時,結構完整。 | ✅ | ✅ |
| 技術支持 | 提供企業級技術支持服務,專屬技術對接人,支持 SLA,7x24 或 5x8 等支持方式。 | 🟡 | ✅ | |
| 更新源碼 | 提供穩定版本更新通道,附帶升級指導、補丁説明,長期維護兼容性及安全性。 | ✅ | ✅ |