tag 大數據

標籤
貢獻412
506
05:15 PM · Oct 25 ,2025
tech 頭像 nebulabio 頭像 u_16272508 頭像 elhix0bg 頭像 u_15844731 頭像 u_14767244 頭像 dolphinscheduler 頭像 ververica 頭像 seatunnel 頭像 zhaoqianglaoshi 頭像 huikaichedemianbao 頭像 u_15591410 頭像

@大數據 / 博客 RSS 訂閱

ruanjiankaifa_xiaofanya 頭像

軟件部長 - 2025年企業數據遷移新方案：JVS低代碼用可視化配置實現海量數據自動映射

隨着數字化轉型的推動，低代碼開發在企業中應用的場景越來越多。但是企業在處理海量數據與系統對接時，常遇到困難。那麼如何快速將外部數據轉化為系統可識別的結構化模型？今天我們以JVS低代碼為例，詳細聊一聊。 在JVS低代碼系統中推出的數據轉模型組件，數據轉模型組件可以解決批量數據映射與關聯的問題。它通過自動化映射機制，將用户上傳的Excel、CSV等格式文件中的文本信息（如用户姓名、部門名稱、下拉

大數據 , 數據結構 , 低代碼 , 數據遷移 , 低代碼開發平台

收藏 評論

ruanjiankaifa_xiaofanya 頭像

軟件部長 - 業務分析必備！用JVS-智能BI製作帶漸變效果的分組條形圖實戰教程

在數據驅動決策的時代，圖表成為數字的翻譯官，在各個場景中都能用到。 其中條形圖以直觀的橫向對比為特點，成為業務分析、學術研究、商業報告中的核心載體。 條形圖圖表又可以分為分組條形圖和基礎條形圖。這兩個圖表是我們很常見的一種可視化圖表展示，今天我們用JVS-智能BI的可視化圖表來配置基礎條形圖，用它來展示出條形圖圖表的獨有樣式配置。 樣式配置 進入到圖表設計，點擊選擇基礎條形圖，

大數據 , 數據可視化 , 圖表工具 , 數據分析 , 圖表

收藏 評論

doge_king 頭像

泊浮目 - Fluss RoadMap裏Zero Disk是啥

本文在綠泡泡“狗哥瑣話”首發於2024.12.23 -關注不走丟。 上期Fluss的內容還算受歡迎，這期加更，講講Fluss RoadMap裏提到的Zero Disks是怎麼個事兒。 所謂Zero Disks就是把所有的存儲放在S3這種遠程，容量無限的存儲上。這樣集羣本身就可以做到無狀態了。 那這玩意兒會怎麼做呢？我們直接看一篇先成的文章。 原文鏈接： https://medium.com/the

fluss , 大數據 , flink , kafka

收藏 評論

elhix0bg 頭像

阿里雲大數據AI - 從“字”到“畫”：基於Elasticsearch Serverless 的多模態商品搜索實踐

隨着人工智能技術的飛速發展，用户對於搜索體驗的要求早已超越了傳統的關鍵詞匹配。我們正處在一個從文本搜索向多模態、跨模態搜索演進的時代。用户希望能夠通過圖片、甚至是自然語言描述的複雜場景，來精準地找到他們想要的商品。然而，如何理解並檢索圖片中的視覺元素？如何處理那些文本標題無法完全概括的商品特徵？這些都是傳統搜索面臨的挑戰。 本文將深入探討多模態商品檢索的通用解決方案，詳細解讀其背後的兩大核心技術：

elasticsearch , 大數據 , 搜索 , 檢索系統 , serverless

收藏 評論

vivo_tech 頭像

vivo互聯網技術 - vivo Pulsar 萬億級消息處理實踐（4）-Ansible運維部署

作者：Liu Sikang、互聯網大數據團隊-Luo Mingbo Pulsar作為下一代雲原生架構的分佈式消息中間件，存算分離的架構設計能有效解決大數據場景下分佈式消息中間件老牌一哥"Kafka"存在的諸多問題，2021年vivo 分佈式消息中間件團隊正式開啓對Pulsar的調研，2022年正式引入Pulsar作為大數據場景下的分佈式消息中間件，本篇文章主要從Pulsar運維痛點、Ansi

中間件 , 大數據 , 運維自動化 , ansible , pulsar

收藏 評論

elhix0bg 頭像

阿里雲大數據AI - ODPS 十五週年實錄 | Data + AI，MaxCompute 下一個15年的新增長引擎

ODPS十五週年實錄|Data+AI，MaxCompute下一個15年的新增長引擎 本文根據ODPS十五週年·年度升級發佈實錄整理而成，演講信息如下： 於得水（得水）：阿里雲智能集團計算平台事業部資深技術專家 活動：【數據進化·AI啓航】ODPS年度升級發佈 此次演講內容共分為三個部分： 第一部分，介紹MaxCompute面向Python和AI生態計算的演進歷史。從最初的SDKLibrary到表示

大數據 , 人工智能 , 分佈式 , SQL , Python

收藏 評論

njwutong 頭像

吳大同 - qData 數據中台完整功能介紹 —— 商業版與開源版功能對比

一、qData 數據中台概覽 在數字化轉型的大背景下，數據已經成為企業最核心、最具價值的資產。qData 數據中台，作為企業數據治理與應用的關鍵平台，憑藉高性能與創新理念脱穎而出。它秉持 “高效、安全、靈活、開放” 的設計原則，致力於為企業打造一站式的數據解決方案。 qData 數據中台具備多方面優勢：在 數據接入 上，能夠廣泛兼容主流數據庫與消息隊列，確保異構數據順暢匯聚；在 數據建模 上，提供

大數據 , 開源軟件 , springboot , JAVA , 數據處理

收藏 評論

njwutong 頭像

吳大同 - qData 數據中台【開源版】發佈 1.0.5 版本，全面提升規則治理、非結構化數據處理與部署體驗

2025年9月3日 —— 企業級開源數據中台 qData 開源版 正式發佈 1.0.5 版本。本次更新聚焦 規則治理一體化、非結構化數據支持、以及開源版的體驗與部署優化，進一步提升規則複用能力、數據接入廣度與運維效率，幫助企業和開發者更輕鬆地構建高質量數據治理體系。 ✨ 新增功能 🧩 字段級規則綁定：在“數據元類型”中即可為字段綁定稽查與清洗規則，任務和組件配置時自動加載並可二次修改，大幅減

大數據 , 開源軟件 , 數據中台 , JAVA , 數據治理平台

收藏 評論

njwutong 頭像

吳大同 - qData 數據中台開源版部署全攻略：三種方式任你選擇

作為一款專注於數據治理與數據資產管理的數據中台，qData 數據中台開源版（社區版本） 提供了靈活的部署方式，滿足不同階段用户的需求：從初學者的快速上手，到研發團隊的日常開發，再到生產環境的大規模部署。本文將詳細介紹三種部署方式的適用場景和特點，幫助你快速找到最適合的方案。 🚀 三種部署方式對比 部署方式 説明 適用場景 Docker C

大數據 , 開源軟件 , 數據中台 , JAVA , 數據治理平台

收藏 評論

seatunnel 頭像

SeaTunnel - 實測有效｜用 SeaTunnel 免費實現 MySQL→Oracle 實時同步，步驟超細

要説 MySQL 同步到Oracle的工具，除了傳統的 OGG，應該考慮的就是 ST（SeaTunnel） 了吧，簡直太好用啦 ~ 當前生產已穩定運行 4 個月，源端 3 個庫，完美支持！推薦給大家試試~ 1. SeaTunnel怎麼用？來看看幫助信息 ./bin/seatunnel.sh -h Usage: seatunnel.sh [options] Options: -

oracle , 大數據 , MySQL , seatunnel , JAVA

收藏 評論

njwutong 頭像

吳大同 - 輕鬆上手 qData 數據中台開源版：Docker Compose 助你10分鐘跑起來

説在前面 誰適合看這份指南？ 初次接觸 qData，希望快速體驗功能的小夥伴 不想折騰複雜環境配置和前端打包的人 想用“一鍵啓動”省事體驗完整平台的用户 我們已經為你準備好“開箱即用”的完整部署包，包括： ✅ 前端靜態資源（打包好的 dist 文件夾） ✅ DolphinScheduler 調度器（無需額外安裝） ✅ Hadoop 全家桶（HDFS + YARN） ✅ Flin

大數據 , 開源軟件 , 數據中台 , JAVA , 數據治理平台

收藏 評論

njwutong 頭像

吳大同 - 從兼容到極致性能——qData數據中台商業版核心指標解讀

在數字化轉型的背景下，企業對數據中台的要求越來越高——既要兼容信創環境，又要在性能上經得起大規模業務的考驗。qData 數據中台商業版針對這些關鍵問題，設定了一系列清晰的技術指標和性能指標。 一、技術指標 1. 架構與兼容 信創適配：核心模塊已在國產 X86 CPU、國產操作系統及達夢數據庫環境下完成兼容性驗證。 多引擎支持：批處理（Spark）與流處理（Flink）雙引擎共存，可按業務場

大數據 , 開源軟件 , 數據中台 , 數據處理 , 數據治理平台

收藏 評論

starrocks 頭像

StarRocks - StarRocks 助力印度領先即時零售平台 Zepto 構建實時洞察能力

導讀： 開源無國界，在本期 “StarRocks 全球用户精選案例” 中，我們走進印度即時零售品牌 Zepto。 這家以 “10 分鐘送達” 聞名的公司，業務已覆蓋 50+ 城市、45,000+ 商品，品類橫跨生鮮雜貨、電子產品、美妝個護、服飾、玩具等。憑藉前沿技術與戰略佈局的前置倉網絡，Zepto 在短短几年間徹底改變了印度的即時零售格局。 隨着規模擴張，Zepto 藉助 StarRo

zepto , 大數據 , databricks , postgresql , starrocks

收藏 評論

njwutong 頭像

吳大同 - qData 數據中台：全面支持 ARM 架構與信創國產化環境的兼容性説明

一、概述 qData 數據中台基於 Java、Vue 與 Spring Boot 技術體系構建，具備高度模塊化與跨平台特性，可在多種硬件與操作系統環境中穩定運行。 在國產化與信創體系持續深化的背景下，qData 已完成在 ARM 架構服務器（包括鯤鵬、飛騰、海光等）以及 信創軟硬件生態（涵蓋統信 UOS、銀河麒麟、達夢數據庫等）上的兼容性驗證與適配工作。該系統能夠在國產軟硬件環境下保持性能穩定與功

大數據 , 開源軟件 , 信創 , 數據中台 , arm

收藏 評論

njwutong 頭像

吳大同 - qData數據中台【開源版】 v1.0.6 震撼發佈：全面重構，能力躍升！

所見即所得，全流程沉浸式體驗 —— qData 1.0.6 正式上線！ 我們很高興地宣佈，qData 開源版 v1.0.6 正式發佈！這是一次從內到外的深度重構與能力升級，不僅帶來了多項重磅新功能，更對核心模塊進行了系統性優化，修復了大量歷史問題，全面提升穩定性、易用性與可維護性。 無論你是初次接觸數據中台的新用户，還是長期關注 qData 的開發者，本次更新都將為你帶來耳目一新的使用體驗。

大數據 , 開源軟件 , 數據中台 , 數據治理平台

收藏 評論

yan_609cc3c57e745 頭像

Tapdata鈦鉑 - 實時物化視圖的新路徑：從傳統 Join 到跨源實時查詢

在關係型數據庫的世界裏，join 是數據建模和查詢優化的核心。但隨着業務複雜度的提升，大量依賴 join 會讓系統變得笨重：查詢延遲增加，事務處理受阻，架構也越來越脆弱。 在文檔數據庫（如 MongoDB）以及更廣泛的分佈式系統中，類似 $lookup 的功能能夠滿足多集合查詢，但當它成為獲取完整視圖的主要方式時，也會帶來性能瓶頸。越來越多的團隊意識到：與其在查詢時臨時拼接數據，不如在數據生成和流

大數據

收藏 評論

huikaichedemianbao 頭像

合合技術團隊 - 啓信寶電影行業洞察：廣東蟬聯“雙冠王”，票房與企業數量全國第一

國家電影局數據顯示，2024年全國觀影總人次為10.1億，同比下滑23.1%。與此同時，啓信寶統計數據顯示，電影相關企業數量在五年內翻了三番，年均增速超25%。電影行業呈現“冰火兩重天”的態勢。 “消費端收縮、供給端活躍”的現象，勾勒出中國電影產業在深度調整期的真實圖景。近日，啓信寶發佈的《2025電影行業觀察報告》指出，行業的增長動力已從市場擴容轉向結構升級，資源向頭部企業、核心地域與AI技術高

大數據 , 算法 , 人工智能

收藏 評論

huikaichedemianbao 頭像

合合技術團隊 - 多模態文本智能大模型前沿技術與應用論壇在上海召開，合合信息推出多模態文本智能技術方案

隨着人工智能深入各行各業，多模態大模型正在成為AI發展的重要方向之一。近期，由中國圖象圖形學學會、中國人工智能學會、中國計算機學會和中國自動化學會聯合主辦，上海交通大學承辦的第八屆中國模式識別與計算機視覺學術會議（PRCV 2025）順利舉行。大會期間，“多模態文本智能大模型前沿技術與應用”論壇（簡稱“論壇”）獲得了廣泛關注。論壇彙集了來自華南理工大學、哈爾濱工業大學、南開大學、華中科技大學、小紅

大數據 , 算法 , 人工智能

收藏 評論

elhix0bg 頭像

阿里雲大數據AI - 雲棲實錄 | 駛入智駕深水區：廣汽的“數據突圍“之路

2024年，中國城市智駕迎來全面爆發。在這場高階智能駕駛的競速賽中，廣汽正以穩健而堅定的步伐，向行業第一梯隊邁進。 廣汽的“星靈智行”ADiGO技術品牌，以AI重構智能汽車，全面推動AI賦能智能駕駛和智能座艙，加速汽車從“移動工具”，向“智能終端”進化。廣汽GSD智能輔助駕駛實現了對複雜城市場景的泛化理解能力。系統現已覆蓋至少35個主場景、357個子場景，在紅綠燈起停、擁堵博弈變道、待轉區左轉等高

大數據 , 阿里雲 , 人工智能

收藏 評論

dolphinscheduler 頭像

海豚調度 - GSoC 成果公佈！印度開發者為 DolphinScheduler 引入通用 OIDC 認證，實現無縫安全訪問

導語：今年的 GSoC 已近尾聲，在這場代碼開發盛宴中，Apache DolphinScheduler 的開發者們積極參與，取得了一項對用户意義重大的成果——引入通用 OIDC 認證，實現無縫安全訪問。令人欣喜的是，該成果出自一位印度開發者之手。在項目導師 Gallardot 與向梓豪（SbloodyS）的精心指導下，這一成果成功在 Apache DolphinScheduler 中落地。今天，就

安全性 , dolphinscheduler , 大數據 , 任務調度 , 開源

收藏 評論

zhaoqianglaoshi 頭像

趙渝強老師 - 【趙渝強老師】大數據日誌採集引擎Flume

Apache Flume支持採集各類數據發送方產生的日誌信息，並且可以將採集到的日誌信息寫到各種數據接收方。其核心是把數據從數據源（Source）收集過來，在將收集到的數據送到指定的目的地（Sink）。為了保證輸送的過程一定成功，在送到目的地（Sink）之前，會先緩存數據（Channel）,待數據真正到達目的地（Sink）後，Flume再刪除自己緩存的數據。 一、 Apache Flume的體系架

大數據 , hadoop , flume , etl

收藏 評論

dolphinscheduler 頭像

海豚調度 - DolphinScheduler依賴機制、Open-Falcon告警推送與監控的優化實踐

一、背景 DolphinScheduler（海豚調度器）作為開源分佈式調度系統，核心價值在於破解大數據場景下複雜任務的調度與流程編排難題，憑藉可靠的任務調度、可視化工作流管理等能力，已成為生產環境的核心調度中樞——當前95%以上的大數據任務均通過其實現協調調度。而Open-Falcon作為專注大規模分佈式系統的開源監控工具，二者形成"調度核心+監控中樞"的協同關係：前者承擔任務調度的核心職責，後者

dolphinscheduler , 大數據 , 任務調度 , 開源

收藏 評論

dolphinscheduler 頭像

海豚調度 - 白鯨開源數據基建平台榮登“創客北京 2025”企業組TOP150，共同助 Agentic AI 行業變革

近日，第十屆“創客中國”北京市中小企業創新創業大賽暨“創客北京2025”創新創業大賽結果揭曉，北京白鯨開源科技有限公司憑藉“白鯨開源-Agentic AI 時代下的數據基礎設施平台”，榮登企業組 TOP150，並獲得大賽組委會頒發的獲獎證書。 據統計，本次 “創客北京” 活動共有 6000 + 項目報名參賽，規模亮眼。我司歷經初賽、決賽、總決賽多輪角逐，最終榮獲佳績。 在 AI 技術

大數據 , 創業團隊 , 創業 , 人工智能 , 開源

收藏 評論

seatunnel 頭像

SeaTunnel - 速看！用 Apache SeaTunnel 輕鬆實現數據到 S3 Tables 的快速集成

業務技術背景 在當今數字化轉型浪潮下，企業正面臨着海量數據的爆炸式增長，尤其在構建數據湖業務、BI分析以及AI/ML數據準備等關鍵場景中，需要高效、可擴展的大規模大數據存儲解決方案。這些場景往往要求數據存儲系統不僅能處理PB級甚至EB級的數據規模，還必須支持事務性操作，以確保數據一致性、原子性和隔離性，從而避免數據混亂或丟失的風險。 正因如此，Apache Iceberg作為一種先進的開源數據湖格

大數據 , aws-organizations , s3-rewrite-rules , seatunnel

收藏 評論