tag 數據同步

標籤
貢獻11
99
04:43 PM · Oct 26 ,2025
chunzhendegaoshan 頭像 seatunnel 頭像 u_14767244 頭像 javalover 頭像 znonhzx6 頭像 u_16717381 頭像 easepan 頭像 u_17393348 頭像 u_12228 頭像 hangzhoukaiyunjizhikejiyouxiangongsi 頭像 hesheng17 頭像

@數據同步 / 博客 RSS 訂閱

seatunnel 頭像

SeaTunnel - 一次被大 JSON 教訓後的 Apache SeaTunnel 調優筆記

作者 | 肌肉娃子 起因：我以為只是“複製一份配置”這麼簡單 最開始的想法很樸素： amzn_order 的 Seatunnel CDC → Doris 同步已經跑得挺穩了，那我把這套配置直接“平移”到 amzn_api_logs 上，表名改一改，跑起來就完事。 結果就是： 線上機器內存一路飆到十幾 G，Java 進程頻繁 OOM，Doris / Trino 全在同一台機器上跟着抖。

數據同步 , 開源 , seatunnel , Json

收藏 評論

u_16717381 頭像

Turbo_K - 如何實現數據庫的不停服遷移？

數據庫不停服遷移 是指在不影響現有系統正常運行的情況下，進行數據庫的遷移操作。這對於保障系統的高可用性、減少停機時間以及提高業務連續性至關重要。以下是幾種常見的實現數據庫不停服遷移的方式和步驟。 1. 數據庫遷移的需求與挑戰 在進行數據庫遷移時，常見的挑戰包括： 業務不中斷：遷移過程中必須確保業務正常進行，避免影響客户或用户。 數據一致性：源數

數據同步 , 數據 , 數據庫 , 後端開發 , JAVA

收藏 評論

easepan 頭像

潘先生 - 效率工具RunFlow完全手冊之進階篇

效率工具RunFlow完全手冊之進階篇 歡迎來到RunFlow手冊的進階篇，如果您還不瞭解RunFlow，建議先閲讀我們的基礎篇。 搜索文件 按文件大小過濾，添加 len 參數，比如：len:1kb-2kb，len:3mb-5mb 等等。 ** 可以匹配多級目錄，比如您想查找文件夾 folder_a 裏面以 test 開頭的文件，可以這樣輸入：folder_a/**/test。 計算器 我

工具 , 數據同步 , 定時任務 , 計算器 , 效率工具

收藏 評論

u_14767244 頭像

u_14767244 - 從 Flink 到 Doris 的實時數據寫入實踐——基於 Flink CDC 構建更實時高效的數據集成鏈路

Flink-Doris-Connector 作為 Apache Flink 與 Doris 之間的橋樑，打通了實時數據同步、維表關聯與高效寫入的關鍵鏈路。本文將深入解析 Flink-Doris-Connector 三大典型場景中的設計與實現，並結合 Flink CDC 詳細介紹了整庫同步的解決方案，助力構建更加高效、穩定的實時數據處理體系。 一、Apache Doris 簡介 A

數據同步 , 大數據 , 數據 , 數據倉庫 , apache

收藏 評論

u_17393348 頭像

mb681965b2846e2 - Harmony開發之分佈式數據管理——跨設備數據同步

Harmony開發之分佈式數據管理——跨設備數據同步 引入：手機編輯文檔，平板接着看 在日常工作中，我們經常需要在多個設備間切換使用同一個應用。比如在手機上編輯文檔，回到家後想在平板上繼續編輯；或者在手機上添加購物車商品，在平板上查看購物車內容。傳統方案需要手動同步數據，或者依賴雲端存儲，操作繁瑣且存在數據延遲。HarmonyOS的分佈式數據管理技術，讓數據能夠在可信

數據同步 , 數據管理 , 移動開發 , 數據 , Android

收藏 評論

u_12228 頭像

香奈兒 - Kafka為什麼要拋棄ZooKeeper？

Kafka 拋棄 Zookeeper 的背景 早期的 Kafka 嚴重依賴 Zookeeper 完成集羣元數據管理和控制器選舉等核心功能。Zookeeper 作為分佈式協調服務，雖然成熟穩定，但隨着 Kafka 規模擴大和功能迭代，逐漸暴露出以下問題： 性能瓶頸：Zookeeper 的寫操作需通過 Leader 節點同步到 Foll

數據同步 , zookeeper , 元數據 , 分佈式 , jquery , kafka , 前端開發

收藏 評論

hangzhoukaiyunjizhikejiyouxiangongsi 頭像

clougence - 用一條表達式，穩定同步上萬張表

在現代業務環境中，“表太多” 已成為數據庫同步領域越來越普遍的現象。一個成熟的業務背後，數據庫中經常有幾千張甚至上萬張表。在這種規模下，一旦某張表未被同步，下游數倉和分析鏈路就可能出現斷層。 在這樣的背景下，如何實現海量表穩定、可擴展的數據遷移同步，成為一個亟待解決的問題。本文將圍繞這一挑戰展開分析，並分享一種新的解決思路 —— 基於表達式的表名匹配機制。 上萬張表同步，難在哪裏？ 多表同步的挑戰

數據同步 , 大數據 , MySQL

收藏 評論

chunzhendegaoshan 頭像

RestCloud - SQL Server到Oracle：不同事務機制下的數據一致性挑戰

在當今企業數據架構日益複雜的背景下，跨數據庫平台的數據同步已成為許多組織的常態化需求。當數據需要從SQL Server遷移至Oracle時，我們不僅面臨語法差異的挑戰，更需深入理解兩大數據庫在事務處理機制上的本質區別。本文將深入探討在異構數據庫同步過程中，通過使用ETLCLoud的離線數據集成及實時數據集成功能，確保數據在跨平台傳輸時的一致性與完整性，為構建可靠的數據流通體系提供實踐指導。 一、創

oracle , 數據同步 , etl , sqlserver , 數據傳輸

收藏 評論

seatunnel 頭像

SeaTunnel - Apache SeaTunnel 社區年終盤點

Apache SeaTunnel 的社區成員、開發者、合作伙伴以及關心我們的朋友們： 2025 匆匆而過，Apache SeaTunnel 卻在這一年裏收穫了滿滿的成長與驚喜！作為全球增長最快的數據集成項目之一，我們看着 GitHub 上的 Star 和 Fork 數一路攀升，關注的目光越來越多；我們迭代發佈多個重要版本，打磨核心引擎、豐富連接器生態、新增實用功能，讓數據集成的性能、穩定性與靈活性

數據同步 , 年終總結 , 開源 , seatunnel

收藏 評論

hesheng17 頭像

和晟儀器 - 熱重分析儀：材料熱行為的精準解碼者

熱重分析儀（TGA）作為熱分析領域的核心儀器，是研究材料在程序控温下質量變化與温度關係的關鍵設備。它通過精準捕捉材料質量隨温度、時間的動態變化，為材料科學、化學工程、生物醫藥等領域提供不可或缺的基礎數據，成為材料研發與質量管控的 “火眼金睛”。 上海和晟 HS-TGA-101 熱重分析儀 其工作原理基於熱天平技術：將微量樣品置於高精度天平的坩堝中，在特定氣氛（

產品質量 , 數據同步 , 辦公效率 , 工作原理

收藏 評論

chunzhendegaoshan 頭像

RestCloud - ESB是什麼？企業ESB升級到iPaaS的必要性！

在文章的開始前，我們首先要思考一個問題：從“煙囱式"架構、SOA架構、微服務架構。服務架構為何一直在變化演進？ ESB是什麼？ 在過往企業中最常見的SOA 架構實現的一種方式 —— 企業服務總線 ESB (全稱 Enterprise Service Bus)。在 SOA 架構下，隨着業務越來越複雜，服務越來越多，他們的調用關係會非常複雜，為了理清這一團錯綜複雜的內容，ESB 企業服務總線便應運而生

數據同步 , esb , ipaas , 系統架構

收藏 評論