tag 大數據

標籤
貢獻412
516
05:15 PM · Oct 25 ,2025
tech 頭像 nebulabio 頭像 u_16272508 頭像 elhix0bg 頭像 u_15844731 頭像 u_14767244 頭像 dolphinscheduler 頭像 ververica 頭像 seatunnel 頭像 zhaoqianglaoshi 頭像 huikaichedemianbao 頭像 u_15591410 頭像

@大數據 / 博客 RSS 訂閱

ververica 頭像

ApacheFlink - 實時計算 Flink 全新升級 - 全棧流處理平台助力實時智能

本文根據2025雲棲大會演講整理而成，演講信息如下 演講人：黃鵬程阿里雲智能集團計算平台事業部實時計算Flink版產品負責人 引言 在數據驅動的時代，實時數據處理已成為企業數字化轉型的核心能力。阿里雲實時計算Flink版用了十年時間來進行產品發展，從技術引進到自主創新，已成為實時數據處理的行業標杆。在這次雲棲大會上，阿里雲發佈了實時計算Flink的全新升級，不僅在計算和存儲層面實現重大突

大數據 , flink , 實時計算

收藏 評論

seatunnel 頭像

SeaTunnel - （二）從分層架構到數據湖倉架構：數據倉庫分層下的技術架構與舉例

《新興數據湖倉設計與實踐手冊·從分層架構到數據湖倉架構設計（2025 年）》 系列文章將聚焦從數據倉庫分層到數據湖倉架構的設計與實踐。手冊將闡述數據倉庫分層的核心價值、常見分層類型，詳解分層下的 ETL 架構及數據轉換環節，介紹數據倉庫分層對應的技術架構，並以貼源層（ODS）、數據倉庫層（DW）、數據服務層（DWS）為例，深入剖析數湖倉分層設計，最後探討數據倉庫技術趨勢並進行小結。 本文為系列文

大數據 , 技術架構 , 數據庫 , 數據湖

收藏 評論

elhix0bg 頭像

阿里雲大數據AI - 雲棲實錄 | DataWorks 發佈下一代 Data+AI 一體化平台，開啓企業智能數據新時代

本文根據2025雲棲大會DataWorks產品年度發佈實錄整理而成 演講人：田奇銑，阿里雲智能集團計算平台事業部DataWorks產品負責人 DataWorks下一代Data+AI數據開發與治理平台，全面邁向“數據驅動智能、智能反哺數據”的新階段。作為中國大數據平台公有云市場份額和中國數據治理平台市場份額連續四年排名第一的領軍產品，DataWorks不僅見證了企業數字化轉型過程，更在生成式

大數據 , 阿里雲 , 人工智能

收藏 評論

elhix0bg 頭像

阿里雲大數據AI - 阿里雲DLF 3.0：面向AI時代的智能全模態湖倉管理平台

在2025年雲棲大會上，阿里雲DLF產品負責人李魯兵正式發佈了DLF（DataLakeFormation）3.0，升級為面向AI時代的智能全模態湖倉管理平台。此次發佈標誌着DLF從傳統的湖倉管理工具，全面進化為支持結構化、半結構化與非結構化數據統一管理、安全開放、性能卓越的新一代數據基礎設施。本文將系統梳理DLF3.0的架構演進、核心能力、典型應用場景以及其在實際業務中的落地價值。 一、D

大數據 , 數據倉庫 , 阿里雲 , 數據湖

收藏 評論

huikaichedemianbao 頭像

合合技術團隊 - 合合信息與上海交通大學開展課題合作研究，共探智能文檔圖像處理前沿技術

計算機視覺技術作為AI的“眼睛”，是當前人工智能領域的重要研究方向。近期，計算機視覺領域三大頂級學術會議之一的國際計算機視覺大會（ICCV 2025）順利舉行。會議期間，合合信息聯合上海交通大學等機構主辦了首屆VQualA視覺質量評估研討會，同時，為了推動建立智能文檔圖像處理技術的標準化評估體系，研討會設置了文檔圖像質量評估競賽，競賽吸引了來自全球知名高校和研究機構的上百名選手參與。 文檔圖像質量

大數據 , 算法 , 人工智能

收藏 評論

seatunnel 頭像

SeaTunnel - Apache SeaTunnel 9 月動態：多模塊修復 + 新功能上線，社區貢獻成果亮眼

各位熱愛 Apache SeaTunnel 的小夥伴們，社區 9 月份月報來啦！ 本月，社區 21 位貢獻者共同參與了 Apache SeaTunnel 的修復與功能升級，助力數據同步能力提升。 核心亮點總結 核心功能持續豐富：新增正則提取轉換、多模態嵌入、向量降維等Transform-V2能力；支持HDFS文件多表源讀取、Databend CDC模式接收，拓展數據處理場景。 多模塊問題修

數據同步 , 大數據 , 開源 , seatunnel , 開源項目介紹

收藏 評論

seatunnel 頭像

SeaTunnel - 數據採集故障頻發，中控技術靠SeaTunnel實現日均TB級核心數據同步任務0出錯

在企業數字化浪潮中，數據採集早已不是 "能同步就行" 的簡單命題——多元異構數據源的割裂、TB 級數據的吞吐壓力、跨系統同步的穩定性挑戰，正成為多數企業的 "數據頑疾"。而中控技術，這家服務全球 35000 家客户的工業 AI 平台型企業，卻用 Apache SeaTunnel 交出了一份驚豔答卷：核心數據同步任務實現 0 故障運行。 11 月 11 日 14:00，SeaTunnel 視頻號線

數據同步 , 大數據 , 技術分享 , 開源 , seatunnel

收藏 評論

seatunnel 頭像

SeaTunnel - （三）從分層架構到數據湖倉架構系列：數據倉庫分層之貼源層和數據倉庫層設計

《新興數據湖倉設計與實踐手冊·從分層架構到數據湖倉架構設計（2025 年）》 系列文章將聚焦從數據倉庫分層到數據湖倉架構的設計與實踐。手冊將闡述數據倉庫分層的核心價值、常見分層類型，詳解分層下的 ETL 架構及數據轉換環節，介紹數據倉庫分層對應的技術架構，並以貼源層（ODS）、數據倉庫層（DW）、數據服務層（DWS）為例，深入剖析數湖倉分層設計，最後探討數據倉庫技術趨勢並進行小結。 本文為系列文

大數據 , 數據倉庫 , 數據庫 , 開源 , 數據湖

收藏 評論

dolphinscheduler 頭像

海豚調度 - Apache DolphinScheduler 9 月進展：工作流/任務執行等問題修復，性能再升級

各位熱愛 Apache DolphinScheduler 的小夥伴們，社區 9 月份月報姍姍來遲啦！ 本月聚焦功能修復與性能優化，修復工作流計劃設置、HDFS 存儲啓動等關鍵問題，優化數據庫索引、Quartz 數據源配置等提升性能，11 位貢獻者共完成多項 PR，保障系統穩定高效運行。 月度Merge Star 感謝以下小夥伴上個月為 Apache DolphinScheduler 所做的精彩貢獻

dolphinscheduler , 大數據 , 任務調度 , 開源 , Javascript

收藏 評論

smartbidashuju 頭像

Smartbi - 思邁特軟件榮膺 “中國數智化轉型推薦供應商”，聯合浙版傳媒共築行業新標杆

近日，2025 IDC 中國 CIO 峯會暨數字化轉型年度頒獎典禮（下稱“峯會”）在上海圓滿落幕。作為數智化領域的年度盛會，峯會匯聚全國企業 CIO、行業專家及產業鏈代表等超600人，圍繞數字化轉型前沿趨勢與落地實踐路徑展開深度探討，為行業發展提供新思路。 在此次峯會上，思邁特軟件憑藉專業實力斬獲雙重認可：不僅獲評“2025 中國數智化轉型推薦供應商”，其與浙江出版傳媒股份有限公司（簡稱“浙版傳

bi , 大數據 , 數智化轉型 , 人工智能

收藏 評論

aloudata 頭像

Aloudata大應科技 - Aloudata 亮相 2025 DACon 數智大會，為企業打造可信智能的 Data Agent

10 月 24 日，由國內知名大數據與人工智能技術社區 DataFun 主辦的 2025 DACon 數智大會在北京隆重舉行。此次大會以“大模型時代，Data + AI 的變與不變”為主題，聚焦大數據、大模型技術動態及 AI 應用實踐，涵蓋了汽車製造、金融、保險、電商、消費、零售、物流、軟件開發等行業領域。 Aloudata 大應科技產品專家趙禕祺受邀參會，帶來了《以 NoETL 指標語義層為核心

agent , 大數據 , etl , 人工智能 , 數據分析

收藏 評論

dolphinscheduler 頭像

海豚調度 - 小白指南：Apache DolphinScheduler 補數據功能實操演示

最近使用 Apache DolphinScheduler 調度任務，不可避免地使用到【補數據】功能，經過不斷嘗試，終於成功運行了【補數據】功能，以此帖記錄。 版本説明：3.1.9 補數據功能簡介 "補數據" 在 Apache DolphinScheduler 中指的是 補數據(Complement Data) 功能，用於補充執行歷史時間段內的工作流實例。 補數據功能概述 補數據是工作流執行

dolphinscheduler , 大數據 , 數據庫 , 任務調度 , 開源

收藏 評論

ververica 頭像

ApacheFlink - 雲棲實錄｜馳騁在數據洪流上：Flink+Hologres驅動零跑科技實時計算的應用與實踐

本文根據 2025 雲棲大會演講整理而成，演講信息如下 演講人： 聶清 零跑汽車大數據高級專家 零跑科技的快速發展與數據挑戰 零跑科技成立於2015年12月，總部位於浙江杭州，是國內造車新勢力中唯一具備全域自研自造能力及垂直整合度最高的智能電動車企業。業務涵蓋整車設計、研發製造、智能駕駛等領域，始終致力於為用户創造價值。 特別值得一提的是，就在演講前一天，零跑迎來了第100萬台量產車的下

大數據 , flink , 實時計算

收藏 評論

njwutong 頭像

吳大同 - qData數據中台開源版快速部署教程（Docker Compose方式｜官方教學視頻）

不少開發者在部署 qData數據中台開源版 時，常會遇到了環境依賴、端口衝突、容器啓動失敗等問題。 本視頻由 qData官方團隊 錄製，手把手演示如何在 Linux環境下通過 Docker Compose 一鍵部署完整的qData數據中台，幫助你快速完成系統搭建與運行。 📘 視頻內容 1️⃣ 環境與準備工作 2️⃣ 安裝並驗證 Docker / Docker Compose 3️⃣

大數據 , 開源軟件 , docker-compose , 數據中台

收藏 評論

fengliudedaxiang_esnzgz 頭像

bigdata1 - Flink 內存模型和生產環境調優

Flink 自1.1版本起通過FLIP-49 Unified Memory Configuration for TaskExecutors 和FLIP-116 Unified Memory Configuration for Job Managers對 TaskManager 和 JobManager 的內存模型進行了重大重構，統一了內存配置方式，本文詳細介紹 Flink TaskManager

大數據

收藏 評論

ververica 頭像

ApacheFlink - Flink 智能調優：從人工運維到自動化的實踐之路

作者：黃睿阿里雲智能集團產品專家 本文基於阿里雲Flink平台的實際實踐經驗整理，希望能為廣大流計算從業者提供有價值的參考。 引言 在流計算領域，ApacheFlink作為業界領先的流處理引擎，為眾多企業提供了強大的實時數據處理能力。然而，隨着業務規模的不斷擴大和數據量的持續增長，如何確保Flink作業能夠長期穩定運行，同時實現資源的高效利用，成為了每個技術團隊都必須面對的核心挑戰。 根據前期用户

大數據 , flink , 實時計算

收藏 評論

smartbidashuju 頭像

Smartbi - Smartbi 10 月版本亮點：AIChat對話能力提升，國產化部署更安全

10 月版本煥新上線！Smartbi AIChat 與一站式 ABI 平台再升級，聚焦「交互體驗、數據效率、部署適配、安全管控」四大方向，解決溝通閉環、國產化遷移、大規模授權加載慢等實際業務痛點，讓數據分析更順暢、部署更靈活、安全更可靠，助力企業降本提效！下文為你拆解功能亮點～ 01 Smartbi AIChat 1 新增對話評論與回覆，雙向溝通更高效 AIChat 以往的反饋是單向的：用户提交問

大數據 , 版本更新 , 數據分析

收藏 評論

leguandeludeng 頭像

數據集成與治理 - 不懂湖倉一體，別説你懂大數據

√不懂湖倉一體，別説你懂大數據 接觸數據的都聽過“湖倉一體”，有人就開始疑惑了：數據湖和數據倉庫不是夠用嗎？為什麼還要多餘再搞一個架構出來？ 實際上，你接觸到的數據有：像客户信息、生產日誌和客服錄音等。它們的類型是不統一的，什麼結構化、半結構化甚至非結構化，很多時候它們常因為這個原因導致不能存放在一塊，也不能通用。 怎麼辦？ 所以這時候就得靠搭建一個湖倉一體，把這些數據都存好，管好，目的就是為了輕

大數據 , 數據倉庫 , 數據可視化 , 數據庫

收藏 評論

leguandeludeng 頭像

數據集成與治理 - 一文講清數據要素，數據資產，數據治理和數字資產

我前些年在做數據支持的時候，每到開會時總會聽到： 業務部門説盤活數據資產，技術團隊卻在強調必須先做好數據治理； 管理層要求要釋放數據價值，財務部門卻在質疑：這些數據投入到底能帶來多少實際收益？ 更麻煩的是，不同團隊對同一個數據指標的理解各不相同，導致報表數據對不上，會議時間都浪費在基礎概念的爭論上。 這些問題，其實就是沒把數據要素、數據資產、數據治理和數字資產幾個核心概念理清楚。 接下來，

大數據 , 教程 , 數據可視化 , 知識 , 數據庫

收藏 評論

leguandeludeng 頭像

數據集成與治理 - 從數據管理的角度，理解數據治理的內容

一説到“數據治理”，很多人都會説：不就是讓數據更好用嗎？我都聽煩了。 但問題不在於“懂不懂”，而是“會不會用”。就比如數據部門經常會出現的情況—— 銷售和財務報出的業績數據對不上；月底報表總要花大量時間手工核對；想分析客户行為，卻發現基礎信息殘缺不全？ 這些正是數據缺乏有效治理和管理的直接體現。 數據治理不是空談，而是解決這些痛點的系統性方法，它的核心，正是數據管理。今天我就從數據管理的角度，來跟

數據管理 , 大數據 , 教程 , 知識

收藏 評論

daimajiangxin 頭像

代碼匠心 - 從零開始學Flink：事件驅動

在實時計算領域，很多業務邏輯天然適合“事件驅動”模式：當事件到達時觸發處理、在某個時間點觸發補償或彙總、根據狀態變化發出告警等。Apache Flink 為此提供了強大的 ProcessFunction 家族（KeyedProcessFunction、CoProcessFunction、BroadcastProcessFunction 等），它們在算子層面同時具備“事件處理 + 定時器 + 狀態”

大數據 , 事件驅動 , JAVA , flink , 數據處理

收藏 評論

dolphinscheduler 頭像

海豚調度 - 真實遷移案例：從 Azkaban 到 DolphinScheduler 的選型與實踐

一、為什麼我們放棄了Azkaban？ 我們最早選擇用 LinkedIn 開源的 Azkaban 做調度，主要是看中它兩個特點：一是界面清爽，操作簡單；二是它用“項目”來管理任務，非常直觀。那時候團隊剛開始搭建數據平台，這種輕量又清晰的工具，正好符合我們的需要。其他還有其他原因： 社區活躍（當時） 部署簡單，依賴少（僅需 MySQL + Web Server + Executor） 支持 j

dolphinscheduler , 大數據 , 數據庫 , 任務調度 , 開源

收藏 評論

dolphinscheduler 頭像

海豚調度 - Apache DolphinScheduler 3.3.2 正式發佈！性能與穩定性有重要更新

我們非常高興地宣佈，Apache DolphinScheduler 3.3.2 正式發佈！ 本次版本重點圍繞 性能優化、穩定性增強、文檔完善與關鍵問題修復 展開，為廣大用户帶來更加順暢、可靠的數據工作流編排體驗。 主要改進內容 1. 穩定性與數據庫性能提升 在表 t_ds_schedules 中為字段 workflow_definition_code 新增索引，大幅提升訪問調度信息時的數據庫

資訊 , dolphinscheduler , 大數據 , 開源

收藏 評論

seatunnel 頭像

SeaTunnel - Apache SeaTunnel 支持 Metalake 開發了！避免任務配置敏感信息暴露

今年的開源之夏活動已接近尾聲，Apache SeaTunnel 社區的開發者們在經過漫長的開發過程也都收穫了自己的成果。上週，我們通過文章《巾幗力量助力 Flink 引擎 CDC 源模式演進》分享了董嘉欣同學的開發故事，今天，讓來看看另一位同學——來自上海交通大學軟件工程專業的吳天宇，在本次活動中是如何完成開發任務的吧！ 個人介紹 吳天宇，來自上海交通大學軟件工程專業，目前是碩士二年級學生（Git

大數據 , 開源 , seatunnel , 開發者 , 軟件工程

收藏 評論