各位熱愛 Apache SeaTunnel 的小夥伴們,社區 9 月份月報來啦!
本月,社區 21 位貢獻者共同參與了 Apache SeaTunnel 的修復與功能升級,助力數據同步能力提升。
- 核心亮點總結
- 核心功能持續豐富:新增正則提取轉換、多模態嵌入、向量降維等Transform-V2能力;支持HDFS文件多表源讀取、Databend CDC模式接收,拓展數據處理場景。
- 多模塊問題修復:完成UI細節與包優化、Excel/DB2/Hive等連接器異常修復、Zeta引擎命令失效及資源泄漏修復,保障系統穩定運行。
- 性能與兼容性優化:優化ClickHouse批量並行讀取性能,改進Zeta引擎作業指標處理;升級maxwell_json等格式,支持合併數據更新前後狀態。
- 文檔與生態完善:更新官網部署文檔、修復連接器配置項錯誤,同步推進2.3.12版本文檔迭代,提升用户使用體驗。
月度Merge Star
感謝以下小夥伴上個月為 Apache SeaTunnel 做的精彩貢獻(排名不分先後):
@Hisoka-X,@LeonYoah,@dyp12,@chl-wxp,@CosmosNi,@mikulc,@dybyte,@liucongjy,@hantmac,@gbyangg,@Adamyuanyuan,@zhangshenghang,@lm-ylj,@xiaochen-zhou,@corgy-w,@hengke,@loupipalien,@JeremyXin,@hawk9821,@joonseolee,@wtybxqm
apache/seatunnel倉庫
修復
- [Fix優化細節和收尾部件 ]( https://github.com/apache/seatunnel/pull/9888 " Fix優化細節和收尾部件 ") @hawk9821
- [Fix優化UI包 ]( https://github.com/apache/seatunnel/pull/9884 " Fix優化UI包 ") @hawk9821
- [Fix解決特殊Excel的閲讀問題 ]( https://github.com/apache/seatunnel/pull/9882 " Fix解決特殊Excel的閲讀問題 ") @corgy-w
- [Fix修復
file_filter_modified_start和file_filter_modified_end的格式 ]( https://github.com/apache/seatunnel/pull/9880 " Fix修復file_filter_modified_start和file_filter_modified_end的格式 ") @Hisoka-X - [Fix根據官方文檔修復 ./mvnw install 錯誤 ]( https://github.com/apache/seatunnel/pull/9853 " Fix根據官方文檔修復 ./mvnw install 錯誤 ") @Adamyuanyuan
- [Fix修復
JobStateEventTest以使用 await 條件進行 accessCounter 斷言 ]( https://github.com/apache/seatunnel/pull/9842 " Fix修復JobStateEventTest以使用 await 條件進行 accessCounter 斷言 ") @dybyte - [Fix修復
isPhysicalDAGInfo中的拼寫錯誤 ]( https://github.com/apache/seatunnel/pull/9840 " Fix修復isPhysicalDAGInfo中的拼寫錯誤 ") @dybyte - [Fix刪除重複代碼 ]( https://github.com/apache/seatunnel/pull/9839 " Fix刪除重複代碼 ") @zhangshenghang
- [Fix修復
seatunnel.sh -j命令無法使用的問題 ]( https://github.com/apache/seatunnel/pull/9832 " Fix修復seatunnel.sh -j命令無法使用的問題 ") @lm-ylj - [Fix修復 file_name_expression 在 Hive sink 中未生效的問題。 ]( https://github.com/apache/seatunnel/pull/9823 " Fix修復 file_name_expression 在 Hive sink 中未生效的問題。 ") @Adamyuanyuan
- [Fix修復 connector-http 的單元測試 ]( https://github.com/apache/seatunnel/pull/9821 " Fix修復 connector-http 的單元測試 ") @hawk9821
- [Fix修復 xugu 連接器中的幾個錯誤 ]( https://github.com/apache/seatunnel/pull/9820 " Fix修復 xugu 連接器中的幾個錯誤 ") @LeonYoah
- [Fix處理
BaseService中的 null startTimestamp 以修復不穩定的MysqlCDCWithBinlogDeleteIT測試 ]( https://github.com/apache/seatunnel/pull/9815 " Fix處理BaseService中的 null startTimestamp 以修復不穩定的MysqlCDCWithBinlogDeleteIT測試 ") @dybyte - [Fix修復轉換 UDF 依賴版本 ]( https://github.com/apache/seatunnel/pull/9803 " Fix修復轉換 UDF 依賴版本 ") @Hisoka-X
- [Fix修復使用複雜配置時佔位符無法傳遞參數的問題 ]( https://github.com/apache/seatunnel/pull/9800 " Fix修復使用複雜配置時佔位符無法傳遞參數的問題 ") @LeonYoah
- [Fix清理 BaseServletTest 單元測試日誌目錄 ]( https://github.com/apache/seatunnel/pull/9795 " Fix清理 BaseServletTest 單元測試日誌目錄 ") @liucongjy
- [Fix修復 pendingJobMasterMap 資源泄漏 ]( https://github.com/apache/seatunnel/pull/9749 " Fix修復 pendingJobMasterMap 資源泄漏 ") @hawk9821
- [Fix修復 db2 表小寫錯誤 ]( https://github.com/apache/seatunnel/pull/9568 " Fix修復 db2 表小寫錯誤 ") @chl-wxp
優化
- [Improve將
kafka-connector-it的超時時間從 120 分鐘增加到 140 分鐘 ]( https://github.com/apache/seatunnel/pull/9893 " Improve將kafka-connector-it的超時時間從 120 分鐘增加到 140 分鐘 ") @dybyte - [ImproveMongodbSinkFactory 實現 TableSinkFactory ]( https://github.com/apache/seatunnel/pull/9879 " ImproveMongodbSinkFactory 實現 TableSinkFactory ") @chl-wxp
- [ [Improve]將快照版本更新為 2.3.13 ]( https://github.com/apache/seatunnel/pull/9858 " [Improve]將快照版本更新為 2.3.13 ") @Hisoka-X
- [Feature添加 markdown 解析器文檔 ]( https://github.com/apache/seatunnel/pull/9834 " Feature添加 markdown 解析器文檔 ") @joonseolee
- [Improve通過分區支持改進作業指標處理 ]( https://github.com/apache/seatunnel/pull/9833 " Improve通過分區支持改進作業指標處理 ") @dybyte
- [Feature支持正則提取轉換 ]( https://github.com/apache/seatunnel/pull/9829 " Feature支持正則提取轉換 ") @xiaochen-zhou
- [Feature清理 Paimon 接收器的臨時文件 ]( https://github.com/apache/seatunnel/pull/9819 " Feature清理 Paimon 接收器的臨時文件 ") @hawk9821
- [Feature支持HDFS文件多表源讀取 ]( https://github.com/apache/seatunnel/pull/9816 " Feature支持HDFS文件多表源讀取 ") @JeremyXin
- [Feature改進 maxwell_json、canal_json、debezium_json 格式支持合併 update_before 和 update_after ]( https://github.com/apache/seatunnel/pull/9805 " Feature改進 maxwell_json、canal_json、debezium_json 格式支持合併 update_before 和 update_after ") @dyp12
- [Feature支持檢查點的最小暫停配置 ]( https://github.com/apache/seatunnel/pull/9804 " Feature支持檢查點的最小暫停配置 ") @xiaochen-zhou
- [Improve通過使用最後一個批次的行排序值方法,而不是使用 LIMIT OFFSET 來改進 CK 的批量並行讀取。 ]( https://github.com/apache/seatunnel/pull/9801 " Improve通過使用最後一個批次的行排序值方法,而不是使用 LIMIT OFFSET 來改進 CK 的批量並行讀取。 ") @JeremyXin
- [Feature支持SQL轉換中的
AT TIME ZONE語句 ]( https://github.com/apache/seatunnel/pull/9784 " Feature支持SQL轉換中的AT TIME ZONE語句 ") @Hisoka-X - [Feature添加向量降維Transform ]( https://github.com/apache/seatunnel/pull/9783 " Feature添加向量維度約簡轉換 ") @CosmosNi
- [Feature為RAG支持添加Markdown解析器 #9714 ]( https://github.com/apache/seatunnel/pull/9760 " Feature為RAG支持添加Markdown解析器 #9714 ") @joonseolee
- [Feature對數據源信息存儲和管理的支持 ]( https://github.com/apache/seatunnel/pull/9688 " Feature對數據源信息存儲和管理的支持 ") @wtybxqm
- [Feature支持多模態嵌入 ]( https://github.com/apache/seatunnel/pull/9673 " Feature支持多模態嵌入 ") @xiaochen-zhou
- [Feature支持Databend接收連接器的CDC模式 ]( https://github.com/apache/seatunnel/pull/9661 " Feature支持Databend接收連接器的CDC模式 ") @hantmac
其他
- [Docs[S3File]修復連接器 s3file 的選項名稱(access_secret -> secret_key) ]( https://github.com/apache/seatunnel/pull/9892 " Docs[S3File]修復連接器 s3file 的選項名稱(access_secret -> secret_key) ") @loupipalien
-
[ [Chore]修復拼寫錯誤:coolumn ---> column ]( https://github.com/apache/seatunnel/pull/9830 " [Chore]修復拼寫錯誤:coolumn ---> column ") @xiaochen-zhou
apache/seatunnel-website倉庫
其他
- 更新 docker.md @hengke
- [Release更新Seatunnel網站文檔 ]( https://github.com/apache/seatunnel-website/pull/395 " Release更新Seatunnel網站文檔 ") @Hisoka-X
- 更新 hybrid-cluster-deployment.md @gbyangg
- 更新 docker.md @mikulc