今年的開源之夏活動已接近尾聲，Apache SeaTunnel 社區的開發者們在經過漫長的開發過程也都收穫了自己的成果。上週，我們通過文章《巾幗力量助力 Flink 引擎 CDC 源模式演進》分享了董嘉欣同學的開發故事，今天，讓來看看另一位同學——來自上海交通大學軟件工程專業的吳天宇，在本次活動中是如何完成開發任務的吧！

個人介紹

吳天宇，來自上海交通大學軟件工程專業，目前是碩士二年級學生（GitHub ID：wtybxqm）。現階段主要研究領域是普適計算與人機交互，愛好運動與遊戲。碩士就讀期間曾發表CCF-A類論文，並獲得國家獎學金。

項目名稱

• Apache SeaTunnel支持metalake開發

在2025年開源之夏活動中，我參與了Apache SeaTunnel項目的開發，目標是解決任務配置中敏感信息暴露的問題。

項目背景

傳統的數據處理工具中，數據源的用户名、密碼等敏感信息通常直接寫入腳本中，這種做法不僅存在嚴重的安全隱患，而且在數據源信息需要更新時，用户必須手動修改所有相關任務腳本，既低效又容易出錯。

因此，我設計並實現了metalake的支持功能，允許用户通過唯一的sourceId動態獲取數據源信息，從而避免了敏感信息的暴露，同時簡化了數據源配置的管理過程。

項目實現思路

為了實現這一目標，我首先在SeaTunnel的配置文件中集成了metalake的相關配置，確保任務啓動時能夠從配置文件中加載相關的配置項。這樣，用户可以通過在seatunnel-env.sh或任務配置文件中的env部分配置metalake，任務啓動時便能自動讀取這些配置。通過這種方式，我確保了配置的靈活性和可擴展性。

方案設計

接着，我對源（source）和匯（sink）配置進行了改造，增加了sourceId字段，作為查詢metalake中數據源信息的唯一標識。在任務腳本中，用户只需要指定一個sourceId，系統便會動態地從metalake中獲取相應的數據源信息，並替換配置項中的佔位符。這樣，敏感信息如用户名和密碼不再硬編碼在配置文件中，而是通過metalake接口動態加載，從而提高了系統的安全性，避免了信息泄露。

在項目的實現過程中，我也考慮到系統的擴展性，因此我設計了一個插件化接口，使得系統不僅可以與Apache Gravitino集成，還能支持其他數據目錄服務如UnityCatalog或DataHub。通過這種方式，用户可以根據需要選擇不同的數據源管理工具進行集成，確保系統的靈活性和適應性。

儘管在開發過程中，我遇到了一些挑戰，尤其是在對SeaTunnel代碼的熟悉度上有所欠缺，但通過與導師的溝通和不斷的學習，我逐步解決了這些問題。最困難的一點是，項目中的測試用例非常多，且由於網絡等原因，部分測試用例的穩定性較差，導致需要多次重試才能通過。這也考驗了我的耐心和細緻的工作態度。總體而言，經過不懈努力，我成功地解決了這些問題，順利完成了項目的各項任務，併為開源社區貢獻了代碼和文檔。

最終，通過這個項目的開發，我不僅為SeaTunnel增強了安全性，還提高了數據源配置的靈活性和可管理性。這不僅解決了用户面臨的敏感信息暴露和維護困難的問題，還為系統的後續擴展和集成其他數據源管理工具奠定了基礎。

同時，為了更好地瞭解同學們在參與開源之夏項目中的開發心得和感受，Apache SeaTunnel 對同學們進行了簡短的採訪，以下為採訪實錄：

Q1:在眾多項目中，為什麼選擇參與SeaTunnel的項目？

A: 首先因為SeaTunnel項目屬於Apache社區，Apache社區一直以來都有很高的聲譽，參與這樣的項目對我來説是一次寶貴的機會。其次，SeaTunnel項目與我所在實驗室的研究方向存在一些交集，並且採用的技術棧與我非常吻合，基於這些原因我選擇了SeaTunnel項目。

Q2:SeaTunnel的項目與你的學業有什麼交集嗎？

SeaTunnel項目採用的技術棧與我本科時學習的相關技術有很高的契合度，尤其是在Java開發與測試方面。因此，這次參與SeaTunnel項目不僅讓我能鞏固和複習我之前學過的知識，還能進一步深化我對這些技術的理解，並將理論與實際相結合。

Q3：參與這個項目給你的學業和未來個人規劃帶來了哪些影響？對於這些影響，您有什麼感受和評價？

參與SeaTunnel項目不僅提升了我的實際開發能力，也加深了我對數據處理與集成領域的理解。這個項目讓我認識到在實際工作中，如何處理複雜的數據流轉和調度問題，以及如何在實際開發中克服技術難題。這些經歷對我未來的學術研究和職業生涯都有着深遠的影響。

Q4：參與這個項目的過程中遇到的最大的挑戰是什麼？您是如何克服的？

我在這個項目遇到的最大困難其實是在進行測試時，需要一個Gravitino來提供數據源數據，但是現版本的Gravitino的docker鏡像運行時會出現問題，使得測試無法進行。我是通過直接在測試鏡像裏下載了一個Gravitino來解決的。

Q5: 您參與開源有多長時間了？喜歡開源嗎？開源給你帶來了哪些改變？

這是我第一次參與開源社區。我感覺很喜歡開源。它不僅幫助我提升了技術能力，還讓我更加關注社區的協作和溝通，這對我的個人成長非常有幫助。

Q6: SeaTunnel社區貢獻給您的第一印象是怎樣的？您希望在這裏有何收穫？社區還有哪些地方你覺得可以改進？

SeaTunnel社區給我的第一印象是非常開放和包容的，大家都非常願意分享自己的經驗並幫助新人。通過參與這個社區，我希望能夠在技術上獲得更多的提升，同時也希望能夠認識更多優秀的開發者，進行更多的技術交流。

至於改進，我覺得社區在文檔的完善上還可以做得更好，特別是一些技術細節部分，能幫助新人更好地入門。

Q7: 您後續還會持續在SeaTunnel社區活躍嗎？

是的，我計劃繼續在SeaTunnel社區活躍，參與更多的開發和維護工作。開源社區為我提供了很多機會，我希望通過我的貢獻，幫助更多的開發者和用户。