Contributes3
Followers0
我們非常高興地宣佈，Apache DolphinScheduler 3.3.2 正式發佈！ 本次版本重點圍繞 性能優化、穩定性增強、文檔完善與關鍵問題修復 展開，為廣大用户帶來更加順暢、可靠的數據工作流編排體驗。 主要改進內容 1. 穩定性與數據庫性能提升 在表 t_ds_schedules 中為字段 workflow_definition_code 新增索引，大幅提升訪問調度信息時的數據庫
Nickname 海豚調度
一、為什麼我們放棄了Azkaban？ 我們最早選擇用 LinkedIn 開源的 Azkaban 做調度，主要是看中它兩個特點：一是界面清爽，操作簡單；二是它用“項目”來管理任務，非常直觀。那時候團隊剛開始搭建數據平台，這種輕量又清晰的工具，正好符合我們的需要。其他還有其他原因： 社區活躍（當時） 部署簡單，依賴少（僅需 MySQL + Web Server + Executor） 支持 j
Nickname 海豚調度
👋 大家好，我是遠朋。過去 3 年，我們團隊把部分調度任務從 Azkaban 逐步遷移到 DolphinScheduler，並開展了 K8s 容器化。今天把踩過的坑、攢下的經驗一次性覆盤，建議收藏！ 作者介紹 王遠朋 上海奇虎科技有限公司 數據專家 商業化 SRE 大數據團隊核心成員 長期負責 DolphinScheduler 在生產環境的部署與優化，具備豐富的容器化與大
Nickname 海豚調度
本文手把手演示瞭如何在 K8s + Rancher 環境中快速拉起一套生產可用的 Apache DolphinScheduler 3.2.2 集羣。全文圍繞“鏡像加速、依賴本地化、存儲持久化”三大痛點展開，附有詳細的代碼解析，收藏細看吧！ 環境準備 1、軟件準備 2、環境規劃 部署 1、官網下載apache-dolphinscheduler源碼 [root@master ~]# mkdir
Nickname 海豚調度
生產環境部署方案 在企業線上生產環境中，普遍的做法是至少實施兩套環境。 測試環境 線上環境 測試環境用於驗證代碼的正確性，當測試環境驗證ok後才會部署線上環境。 鑑於CI/CD應用的普遍性，源代碼一鍵部署是必要的 本文是探索對dolphinscheduler源代碼改造，構建測試，線上雙環境一鍵部署和上線 同時對dolphinscheduler-api進行改造，使得前端管理系統前後端分離，以
Nickname 神龍大俠
導語：今年的 GSoC 已近尾聲，在這場代碼開發盛宴中，Apache DolphinScheduler 的開發者們積極參與，取得了一項對用户意義重大的成果——引入通用 OIDC 認證，實現無縫安全訪問。令人欣喜的是，該成果出自一位印度開發者之手。在項目導師 Gallardot 與向梓豪（SbloodyS）的精心指導下，這一成果成功在 Apache DolphinScheduler 中落地。今天，就
Nickname 海豚調度
一、背景 DolphinScheduler（海豚調度器）作為開源分佈式調度系統，核心價值在於破解大數據場景下複雜任務的調度與流程編排難題，憑藉可靠的任務調度、可視化工作流管理等能力，已成為生產環境的核心調度中樞——當前95%以上的大數據任務均通過其實現協調調度。而Open-Falcon作為專注大規模分佈式系統的開源監控工具，二者形成"調度核心+監控中樞"的協同關係：前者承擔任務調度的核心職責，後者
Nickname 海豚調度
首先： ETL工程師其實是一個特別簡單的崗位。 為什麼簡單？ ETL就是數據倉庫項目建設和日常維護中的一種工作，ETL，就是抽取、轉換、裝載的英文縮寫。但是這個現實中都是使用相應工具軟件的。至於怎麼抽取，怎麼轉換、怎麼裝載，都是與具體業務相結合的。 比如： 每天晚8點抽取，a+b轉換成c，從A設備讀出a和b，計算成c之後存到W設備上。這就是ETL要乾的事。特別簡單。沒有技術含量。但是工作量卻比較大
Nickname 企業任務調度平台
最近使用 Apache DolphinScheduler 調度任務，不可避免地使用到【補數據】功能，經過不斷嘗試，終於成功運行了【補數據】功能，以此帖記錄。 版本説明：3.1.9 補數據功能簡介 "補數據" 在 Apache DolphinScheduler 中指的是 補數據(Complement Data) 功能，用於補充執行歷史時間段內的工作流實例。 補數據功能概述 補數據是工作流執行
Nickname 海豚調度
各位熱愛 Apache DolphinScheduler 的小夥伴們，社區 9 月份月報姍姍來遲啦！ 本月聚焦功能修復與性能優化，修復工作流計劃設置、HDFS 存儲啓動等關鍵問題，優化數據庫索引、Quartz 數據源配置等提升性能，11 位貢獻者共完成多項 PR，保障系統穩定高效運行。 月度Merge Star 感謝以下小夥伴上個月為 Apache DolphinScheduler 所做的精彩貢獻
Nickname 海豚調度