tag apache

標籤
貢獻87
169
05:12 PM · Oct 25 ,2025

@apache / 博客 RSS 訂閱

SelectDB技術團隊 - 從 Flink 到 Doris 的實時數據寫入實踐——基於 Flink CDC 構建更實時高效的數據集成鏈路

Flink-Doris-Connector 作為 Apache Flink 與 Doris 之間的橋樑,打通了實時數據同步、維表關聯與高效寫入的關鍵鏈路。本文將深入解析 Flink-Doris-Connector 三大典型場景中的設計與實現,並結合 Flink CDC 詳細介紹了整庫同步的解決方案,助力構建更加高效、穩定的實時數據處理體系。 一、Apache Doris 簡介 Apache Dor

數據庫 , apache

收藏 評論

浪人小風光 - 大數據Hadoop技術的發展歷史與未來前景_hadoop的未來發展方向

2025 年排名前 15 位的大素材技巧,它們具備不同的架構、性能特性與應用場景,可滿足各類組織的多樣化需求。下文將深入介紹這些領先的大數據工具與框架。就是大信息科技不斷髮展,以應對日益增長的數據量、數據速度與內容多樣性等挑戰。以下 Apache Hadoop。Apache Hadoop 是大數據領域的基礎性框架,可提供可靠、可擴展的分佈式計算環境,非常適

大數據 , 數據 , hadoop , 應用場景 , apache

收藏 評論

mb682da1c57062a - 跨境電商運營半年總結:Apache環境下,這個免費工具幫我保住30%訂單

做跨境户外裝備電商兩年,今年才算真正摸到“穩定運營”的門道。上半年旺季前,我差點因為服務器的各種麻煩放棄拓展歐洲市場——3月份新品上架時,後台突然涌入大量重複請求,商品詳情頁加載慢到3秒以上,當天轉化率直接跌了40%,用基礎款價格拍下高端套裝,核實後只能要麼虧本發貨要麼賠償違約金,光這兩項損失就超5000元。 那段時間試了不少辦法,付費的防護工具看了一圈,年費基本都在200

指尖人生 , 服務器 , 網絡安全 , Docker , apache

收藏 評論

索姆拉 - 虛擬集羣搭建日記2——克隆虛擬機以及實現互通

文章目錄 1.關閉防火牆(三台虛擬機都需要關閉) 查看防火牆的狀態 永久關閉 firewalld 防火牆(推薦方法) 2.查看是否具有ssh服務 3.準備節點(克隆虛擬機) 4.MAC地址和IP地址 5.修改主機名 6.網絡與主機名映射 7.重啓網絡 8.節點之

服務器 , ip , hadoop , Linux , 前端開發 , apache , Javascript

收藏 評論

阿里云云原生 - AgentScope x RocketMQ:打造企業級高可靠 A2A 智能體通信基座

作者:琛琪、稚柳 引言 Agentic AI 時代已至,在智能客服、代碼生成、流程自動化等場景中,多智能體(Multi-Agent)協作正從構想走向落地。然而,當多個 Agent 需要像一個團隊那樣高效協作時,脆弱的通信機制可能因網絡抖動或服務宕機,就讓整個系統瞬間癱瘓,導致昂貴的計算任務失敗、會話狀態丟失。 如何為這些聰明的“數字員工”們構建一個真正可靠、高效的通信基座? 本文將為您介紹 Apa

rocketmq , 雲原生 , apache

收藏 評論

悲傷的斑馬 - Apache DolphinScheduler 數據庫模式深度解析:從表結構到調度邏輯

作為一款分佈式、可擴展的開源工作流調度平台,Apache DolphinScheduler 的數據庫模式是其核心功能的持久化基石。本文將從數據庫表結構、模塊化設計、跨集羣協作等維度,結合真實企業案例,解析其如何通過數據庫模式支撐複雜的數據調度需求。 一、數據庫模式架構:七大核心表組協同工作 DolphinScheduler 的數據庫模式按功能劃分為七大模塊,覆蓋從工作流定義到告警通知的全生命

apache

收藏 評論

技術筆耕者 - Java安全之基於Tomcat實現內存馬 - nice

1.內存馬的原理及實現思路 tomcat在處理傳入的請求時會依次經過 Listener Filter Servlet 這三個組件且這三個組件都會被加載進內存中,所以如果我們把惡意代碼偽裝成這幾個組件並被加載進內存就能達到隱藏木馬的目的而且就算被發現了也有一定的清除難度。 那具體要怎麼實現呢?我們的大致思路是上傳一段能被觸發的 jsp 或 java 代碼,然

加載 , 後端開發 , JAVA , apache , Python

收藏 評論

智能創新夢想家 - 【小家java】Java之Apache Commons-IO使用精講(FileUtils、IOUtils、FileFilter全覆蓋)

【JAVA】Commons-IO的安裝及使用 文章目錄 【JAVA】Commons-IO的安裝及使用 一、前言 二、Commons-IO的安裝 1.點擊鏈接,進入官網 2.進入後,點擊紅色框選中部分下載Commons-IO工具包 3.下載完成後打開文件所在位置進行解壓

jar包 , 開發語言 , 打開文件 , JAVA , 前端開發 , apache , Javascript

收藏 評論

lenglingx - Doris安裝

背景説明: 關於doris本身今天不做過多的介紹,主要説明下doris和MySQL之間的恩怨情仇,mysql主要用來幫助doris記錄元數據的,類似於hive和mysql的關係,Doris用它來記錄整個集羣的結構和信息,主要包括以下方面: 數據庫和表的Schema信息 數據庫名、表名、列名、列的數據類型。 分區信息、分桶信息、

大數據 , 數據 , MySQL , 數據倉庫 , apache

收藏 評論

青雲交技術圈 - Java 大視界 -- Java 大數據在智能建築室內環境舒適度預測與調控中的應用

(centerJava 大視界 -- Java 大數據在智能建築室內環境舒適度預測與調控中的應用/center) 引言: 嘿,親愛的 Java 和 大數據愛好者們,大家好!我是CSDN(全區域)四榜榜首青雲交!凌晨三點的深圳平安金融中心,智能建築管理系統仍在高效運轉。當傳感器檢測到 38 層辦公室二氧化碳濃度升至 800ppm 且人員停留超 2 小時,系統自動啓動新風系統,並將空

spark , 智能建築 , 大數據 , yyds乾貨盤點 , Java大數據 , JAVA , apache

收藏 評論

藍易雲 - 藍易雲cdn:js用Date對象處理時間

在工程實踐裏,Date 不是“日期對象”,而是一個“時間點”容器:內部封裝的是自 1970-01-01 00:00:00 span style="color:red"UTC/span 起的span style="color:red"毫秒時間戳/span(Epoch milliseconds)。(MDN網站) 所以你的策略應該很明確:存儲用時間戳/UTC,展示再按時區格式化。否則“看起來是同一

kubernetes , devops , serverless , Docker , apache

收藏 評論

wx690f565d7bc78 - Java: 在 Excel 中插入、提取或刪除文本框

準備工作 首先需引入 Apache POI 依賴(Maven 為例): xml !-- 處理 .xlsx 格式 -- dependency groupIdorg.apache.poi/groupId artifactIdpoi-ooxml/artifactId version5.2.4/version !-- 最新穩定版 --

MySQL , 數據庫 , 文本框 , JAVA , apache

收藏 評論

碼農阿豪與新空間 - 從PDF到Word:解析PDF轉換為Word的原理與實現

個人名片 🎓 作者簡介 :java領域優質創作者 💡座右銘:總有人要贏。為什麼不能是我呢? 目錄 從PDF到Word:解析PDF轉換為Word的原理與實

word , pdf , JAVA , Css , 前端開發 , apache , HTML

收藏 評論

u_14767244 - 5 倍性能提升,Apache Doris TopN 全局優化詳解|Deep Dive

在日常的數據分析和業務報表中,TopN 查詢幾乎無處不在:無論是尋找銷量最高的前十件商品,還是篩選訪問量最多的前幾條日誌,開發者和數據分析師都在頻繁處理“前 N 條數據”。然而,當表的列數達到百餘或更多時,一個看似簡單的 SELECT \* … ORDER BY … LIMIT N 查詢,背後可能隱藏着巨大的性能瓶頸。儘管我們只關心某一列的前 N 條結果,數據庫依然可能掃描整張表的所有列

大數據 , Doris , 數據 , 數據倉庫 , 數據訪問 , SQL , apache

收藏 評論

藍易雲 - 藍易雲cdn:服務器Linux系統配置mysql數據庫主從自動備份

下面給你一套在服務器 span style="color:red;"Linux/span 上落地 span style="color:red;"MySQL 主從/span + span style="color:red;"自動備份/span 的“可上線”方案(以 span style="color:red;"MySQL 8.0/8.4/span 常見語法為準),兼顧穩定性與可維護性。🔧 1)整

kubernetes , devops , serverless , Docker , apache

收藏 評論

我有一個大目標你信不信 - Apache 與 Nginx 服務器優缺點對比

Apache 和 Nginx 是目前最主流的兩款開源網頁服務器,核心作用都是發佈網站內容,但設計理念、性能特點和適用場景差異很大,下面用直白的語言對比清楚: 特性 Apache 服務器

服務器 , 高併發 , Nginx , apache

收藏 評論

ApacheAnswer - Apache Answer 參與首次 ALC Hangzhou 線下聚會

5 月 28 日,Apache Local Community Hangzhou (ALC Hangzhou) 首次線下聚會順利舉辦。Apache Answer 作為 ALC Hangzhou 初始成員受邀參加。Answer 大部分 PPMC 成員均參加了活動,其中 PPMC 成員祁寧介紹了社區 Roadmap,並就社區運營、開源社區開發者貢獻量等話題分享了 Answer 的最新實踐成果。此外,A

社區 , apache-answer , 開源 , apache

收藏 評論

智能創新夢想家 - Java讀取excel表格(原理+實現)

一、引言 在企業應用中,Excel 是一種常見的數據存儲和交換格式。Java 通過 Apache POI 庫可以高效地讀取、修改和寫入 Excel 文件。本文介紹如何使用 Java 處理 Excel 文件,包括讀取、寫入和修改數據。 二、環境準備 2.1 安裝 Java 開發環境 下載並安裝 Java SDK:Oracle JDK 下載

System , JAVA , Css , 前端開發 , apache , HTML

收藏 評論

青雲交技術圈 - Java 大視界 -- 基於 Java 的大數據實時流處理在智能電網電力負荷預測與調度優化中的應用

(centerJava 大視界 -- 基於 Java 的大數據實時流處理在智能電網電力負荷預測與調度優化中的應用/center) 引言: 嘿,親愛的 Java 和 大數據愛好者們,大家好!我是CSDN(全區域)四榜榜首青雲交!在 “雙碳” 目標與新型電力系統建設的雙重驅動下,智能電網正加速向數字化、智能化轉型。國家能源局《2024 年全國電力工業統計數據》顯示,我國電網調度自動化

spark , 大數據 , yyds乾貨盤點 , 數據 , kafka , apache

收藏 評論

SelectDB技術團隊 - 雲上數據安全新範式:Apache Doris IAM Assume Role 解鎖無密鑰訪問 AWS S3 數據

一、傳統 AK/SK 方式訪問 AWS 資源存在的問題 密鑰管理困境: 長期暴露風險:靜態 AK/SK 需硬編碼於配置文件中,一旦因代碼泄露、誤提交或惡意竊取導致密鑰擴散,攻擊者可永久獲得等同於密鑰所有者的完整權限,引發持續性的數據泄露、資源篡改及資金損失風險; 審計盲區: 多用户/多服務共享同一組密鑰時,雲操作日誌僅記錄密鑰身份而無法關聯具體使用者,無法追溯真實責任人或業務模塊; 運維成

數據庫 , 數據安全 , dorisdb , apache

收藏 評論

阿里雲開發者 - 快手基於 Apache Flink 的實時數倉建設實踐

一、快手實時數倉的發展 作為短視頻領域的領頭羊,快手 APP 一直致力於視頻、直播技術的迭代,其背後對數據實時性、準確性的要求非常高,這對於數倉體系的構建也提出了新的挑戰。 下面是快手實時數倉發展到現在經歷的幾個階段: 在第一個階段,快手的實時數倉起始於春節、國慶、快手之夜等大型活動場景。在這些活動場景下,實時數據主要用於滿足活動大屏、運營看板、活動效果監控等實時需求。在這個階段

構建工具 , 數據 , 數據倉庫 , flink , apache

收藏 評論

SelectDB技術團隊 - 字節跳動:Apache Doris + AI 一站式融合數據引擎的探索與實踐

隨着人工智能技術在業務中的滲透,我們逐漸意識到:AI 不僅是提升效率的工具,更是重構數據處理與消費方式的核心驅動力。在這一背景下,我們思考:能否構建一款「AI + Data」一站式融合的數據引擎? 它不僅能夠統一處理文本、音視頻等非結構化數據與傳統結構化數據,還能為算法工程師提供流暢的數據開發體驗,實現數據處理與 AI 模型無縫銜接,並能確保數據處理負載與在線服務負載完全隔離。這是 2024 年末

字節跳動 , 數據庫 , apache

收藏 評論

智能探索者之家 - Flink源碼解讀系列 | Flink集羣Standalone啓動腳本 -

前文中,我們已經瞭解了 Flink 的三種執行圖是怎麼生成的。今天繼續看一下 Flink 集羣是如何啓動的。 前文中,我們已經瞭解了 Flink 的三種執行圖是怎麼生成的。今天繼續看一下 Flink 集羣是如何啓動的。 啓動腳本 集羣啓動腳本的位置在: flink-dist/src/main/flink

後端開發 , flink , 啓動流程 , apache , Python

收藏 評論

SelectDB技術團隊 - 為什麼實時更新場景下 Doris 查詢性能是 ClickHouse 的 34 倍

在當今數據驅動的商業環境中,企業越來越依賴數據分析來驅動決策。無論是用户行為分析、業務報表還是運營監控,企業都需要具備快速、高效的數據處理能力。企業在數據分析能力上的演進,往往始於 TP(事務處理)系統,隨着業務發展不斷探索 TP 系統的擴展方案,最終走向構建獨立的 AP(分析處理)系統。 企業實時分析典型演進過程 第一階段:使用 TP 系統支撐事務處理和數據分析 在企業信息系統建設的早期,主要存

elasticsearch , 數據庫 , apache

收藏 評論