Stories

Detail Return Return

Apache SeaTunnel 9 月動態:多模塊修復 + 新功能上線,社區貢獻成果亮眼 - Stories Detail

各位熱愛 Apache SeaTunnel 的小夥伴們,社區 9 月份月報來啦!

本月,社區 21 位貢獻者共同參與了 Apache SeaTunnel 的修復與功能升級,助力數據同步能力提升。

  • 核心亮點總結
  • 核心功能持續豐富:新增正則提取轉換、多模態嵌入、向量降維等Transform-V2能力;支持HDFS文件多表源讀取、Databend CDC模式接收,拓展數據處理場景。
  • 多模塊問題修復:完成UI細節與包優化、Excel/DB2/Hive等連接器異常修復、Zeta引擎命令失效及資源泄漏修復,保障系統穩定運行。
  • 性能與兼容性優化:優化ClickHouse批量並行讀取性能,改進Zeta引擎作業指標處理;升級maxwell_json等格式,支持合併數據更新前後狀態。
  • 文檔與生態完善:更新官網部署文檔、修復連接器配置項錯誤,同步推進2.3.12版本文檔迭代,提升用户使用體驗。

月度Merge Star

感謝以下小夥伴上個月為 Apache SeaTunnel 做的精彩貢獻(排名不分先後):
weekly_combined_avatars_2025-10-21

@Hisoka-X,@LeonYoah,@dyp12,@chl-wxp,@CosmosNi,@mikulc,@dybyte,@liucongjy,@hantmac,@gbyangg,@Adamyuanyuan,@zhangshenghang,@lm-ylj,@xiaochen-zhou,@corgy-w,@hengke,@loupipalien,@JeremyXin,@hawk9821,@joonseolee,@wtybxqm

apache/seatunnel倉庫

修復

  • [Fix優化細節和收尾部件 ]( https://github.com/apache/seatunnel/pull/9888 " Fix優化細節和收尾部件 ") @hawk9821
  • [Fix優化UI包 ]( https://github.com/apache/seatunnel/pull/9884 " Fix優化UI包 ") @hawk9821
  • [Fix解決特殊Excel的閲讀問題 ]( https://github.com/apache/seatunnel/pull/9882 " Fix解決特殊Excel的閲讀問題 ") @corgy-w
  • [Fix修復 file_filter_modified_startfile_filter_modified_end 的格式 ]( https://github.com/apache/seatunnel/pull/9880 " Fix修復 file_filter_modified_startfile_filter_modified_end 的格式 ") @Hisoka-X
  • [Fix根據官方文檔修復 ./mvnw install 錯誤 ]( https://github.com/apache/seatunnel/pull/9853 " Fix根據官方文檔修復 ./mvnw install 錯誤 ") @Adamyuanyuan
  • [Fix修復 JobStateEventTest 以使用 await 條件進行 accessCounter 斷言 ]( https://github.com/apache/seatunnel/pull/9842 " Fix修復 JobStateEventTest 以使用 await 條件進行 accessCounter 斷言 ") @dybyte
  • [Fix修復 isPhysicalDAGInfo 中的拼寫錯誤 ]( https://github.com/apache/seatunnel/pull/9840 " Fix修復 isPhysicalDAGInfo 中的拼寫錯誤 ") @dybyte
  • [Fix刪除重複代碼 ]( https://github.com/apache/seatunnel/pull/9839 " Fix刪除重複代碼 ") @zhangshenghang
  • [Fix修復 seatunnel.sh -j 命令無法使用的問題 ]( https://github.com/apache/seatunnel/pull/9832 " Fix修復 seatunnel.sh -j 命令無法使用的問題 ") @lm-ylj
  • [Fix修復 file_name_expression 在 Hive sink 中未生效的問題。 ]( https://github.com/apache/seatunnel/pull/9823 " Fix修復 file_name_expression 在 Hive sink 中未生效的問題。 ") @Adamyuanyuan
  • [Fix修復 connector-http 的單元測試 ]( https://github.com/apache/seatunnel/pull/9821 " Fix修復 connector-http 的單元測試 ") @hawk9821
  • [Fix修復 xugu 連接器中的幾個錯誤 ]( https://github.com/apache/seatunnel/pull/9820 " Fix修復 xugu 連接器中的幾個錯誤 ") @LeonYoah
  • [Fix處理 BaseService 中的 null startTimestamp 以修復不穩定的 MysqlCDCWithBinlogDeleteIT 測試 ]( https://github.com/apache/seatunnel/pull/9815 " Fix處理 BaseService 中的 null startTimestamp 以修復不穩定的 MysqlCDCWithBinlogDeleteIT 測試 ") @dybyte
  • [Fix修復轉換 UDF 依賴版本 ]( https://github.com/apache/seatunnel/pull/9803 " Fix修復轉換 UDF 依賴版本 ") @Hisoka-X
  • [Fix修復使用複雜配置時佔位符無法傳遞參數的問題 ]( https://github.com/apache/seatunnel/pull/9800 " Fix修復使用複雜配置時佔位符無法傳遞參數的問題 ") @LeonYoah
  • [Fix清理 BaseServletTest 單元測試日誌目錄 ]( https://github.com/apache/seatunnel/pull/9795 " Fix清理 BaseServletTest 單元測試日誌目錄 ") @liucongjy
  • [Fix修復 pendingJobMasterMap 資源泄漏 ]( https://github.com/apache/seatunnel/pull/9749 " Fix修復 pendingJobMasterMap 資源泄漏 ") @hawk9821
  • [Fix修復 db2 表小寫錯誤 ]( https://github.com/apache/seatunnel/pull/9568 " Fix修復 db2 表小寫錯誤 ") @chl-wxp

優化

  • [Improve將 kafka-connector-it 的超時時間從 120 分鐘增加到 140 分鐘 ]( https://github.com/apache/seatunnel/pull/9893 " Improve將 kafka-connector-it 的超時時間從 120 分鐘增加到 140 分鐘 ") @dybyte
  • [ImproveMongodbSinkFactory 實現 TableSinkFactory ]( https://github.com/apache/seatunnel/pull/9879 " ImproveMongodbSinkFactory 實現 TableSinkFactory ") @chl-wxp
  • [ [Improve]將快照版本更新為 2.3.13 ]( https://github.com/apache/seatunnel/pull/9858 " [Improve]將快照版本更新為 2.3.13 ") @Hisoka-X
  • [Feature添加 markdown 解析器文檔 ]( https://github.com/apache/seatunnel/pull/9834 " Feature添加 markdown 解析器文檔 ") @joonseolee
  • [Improve通過分區支持改進作業指標處理 ]( https://github.com/apache/seatunnel/pull/9833 " Improve通過分區支持改進作業指標處理 ") @dybyte
  • [Feature支持正則提取轉換 ]( https://github.com/apache/seatunnel/pull/9829 " Feature支持正則提取轉換 ") @xiaochen-zhou
  • [Feature清理 Paimon 接收器的臨時文件 ]( https://github.com/apache/seatunnel/pull/9819 " Feature清理 Paimon 接收器的臨時文件 ") @hawk9821
  • [Feature支持HDFS文件多表源讀取 ]( https://github.com/apache/seatunnel/pull/9816 " Feature支持HDFS文件多表源讀取 ") @JeremyXin
  • [Feature改進 maxwell_json、canal_json、debezium_json 格式支持合併 update_before 和 update_after ]( https://github.com/apache/seatunnel/pull/9805 " Feature改進 maxwell_json、canal_json、debezium_json 格式支持合併 update_before 和 update_after ") @dyp12
  • [Feature支持檢查點的最小暫停配置 ]( https://github.com/apache/seatunnel/pull/9804 " Feature支持檢查點的最小暫停配置 ") @xiaochen-zhou
  • [Improve通過使用最後一個批次的行排序值方法,而不是使用 LIMIT OFFSET 來改進 CK 的批量並行讀取。 ]( https://github.com/apache/seatunnel/pull/9801 " Improve通過使用最後一個批次的行排序值方法,而不是使用 LIMIT OFFSET 來改進 CK 的批量並行讀取。 ") @JeremyXin
  • [Feature支持SQL轉換中的AT TIME ZONE語句 ]( https://github.com/apache/seatunnel/pull/9784 " Feature支持SQL轉換中的AT TIME ZONE語句 ") @Hisoka-X
  • [Feature添加向量降維Transform ]( https://github.com/apache/seatunnel/pull/9783 " Feature添加向量維度約簡轉換 ") @CosmosNi
  • [Feature為RAG支持添加Markdown解析器 #9714 ]( https://github.com/apache/seatunnel/pull/9760 " Feature為RAG支持添加Markdown解析器 #9714 ") @joonseolee
  • [Feature對數據源信息存儲和管理的支持 ]( https://github.com/apache/seatunnel/pull/9688 " Feature對數據源信息存儲和管理的支持 ") @wtybxqm
  • [Feature支持多模態嵌入 ]( https://github.com/apache/seatunnel/pull/9673 " Feature支持多模態嵌入 ") @xiaochen-zhou
  • [Feature支持Databend接收連接器的CDC模式 ]( https://github.com/apache/seatunnel/pull/9661 " Feature支持Databend接收連接器的CDC模式 ") @hantmac

其他

  • [Docs[S3File]修復連接器 s3file 的選項名稱(access_secret -> secret_key) ]( https://github.com/apache/seatunnel/pull/9892 " Docs[S3File]修復連接器 s3file 的選項名稱(access_secret -> secret_key) ") @loupipalien
  • [ [Chore]修復拼寫錯誤:coolumn ---> column ]( https://github.com/apache/seatunnel/pull/9830 " [Chore]修復拼寫錯誤:coolumn ---> column ") @xiaochen-zhou

    apache/seatunnel-website倉庫

其他

  • 更新 docker.md @hengke
  • [Release更新Seatunnel網站文檔 ]( https://github.com/apache/seatunnel-website/pull/395 " Release更新Seatunnel網站文檔 ") @Hisoka-X
  • 更新 hybrid-cluster-deployment.md @gbyangg
  • 更新 docker.md @mikulc
user avatar san-mu Avatar greatsql Avatar Rocokingdom2024 Avatar u_15844731 Avatar aijianshendexuegao Avatar vivotech Avatar lyhabc Avatar datadowell Avatar jzxstudio Avatar openbayescom Avatar euphoria Avatar yan_609cc3c57e745 Avatar
Favorites 12 users favorite the story!
Favorites

Add a new Comments

Some HTML is okay.