tag kafka

標籤
貢獻60
159
05:15 PM · Oct 25 ,2025
automq 頭像 plcode 頭像 wangying_5e4b645338a98 頭像 zhuyundataflux 頭像 doge_king 頭像 alixitongruanjianjishu 頭像 kerrywu 頭像 zhaoqianglaoshi 頭像 vivo_tech 頭像 a_yu_super 頭像 linybjikezhilu 頭像 u_16099361 頭像

@kafka / 博客 RSS 訂閱

u_17499862 頭像

u_17499862 - AutoMQ聯手RustFS：構建下一代雲原生Diskless Kafka架構

2025年，雲原生數據基礎設施領域迎來重大突破。AutoMQ與RustFS宣佈達成戰略合作，將共同打造基於對象存儲的新一代Diskless Kafka解決方案，徹底解決傳統Kafka在雲環境下面臨的成本、彈性與運維難題。 目錄 一、雲原生時代下傳統Kafka的架構瓶頸 二、技術突圍：存算分離與高性能對象存儲的融合

企業存儲 , 架構 , RustFS , 雲原生 , kafka , 前端開發 , Javascript

收藏 評論

u_16213684 頭像

mob64ca14106f2f - MQ選型對比ActiveMQ,RabbitMQ,RocketMQ,Kafka 消息隊列框架選哪個？ - 個人文章

在當今的分佈式系統架構中，消息隊列（MQ）作為解耦、異步和削峯填谷的核心組件，其選型直接影響到系統的性能、可靠性和可維護性。 面對眾多優秀的消息中間件，如老牌的 RabbitMQ、阿里巴巴的 RocketMQ、 Apache 的 Kafka 以及經典的 ActiveMQ，開發者們常常會陷入選擇困難。 本文將從吞吐量、延遲、可靠性、功能特性等多

rocketmq , 服務器 , rabbitmq , activemq , 分佈式 , kafka

收藏 評論

automq 頭像

AutoMQ - Kafka 性能調優：linger.ms 和 batch.size 的最佳實踐

2025 年 3 月 18 日，Apache Kafka 4.0 正式發佈。 在此次版本更新中，相較於架構層面的升級，開發者們也應關注一個關鍵的細節變更：官方將生產者參數 linger.ms 的默認值，從沿用多年的 0ms 正式修改為 5ms。 這一調整直擊傳統性能調優的認知盲區，在傳統觀念中，linger.ms=0 意味着"零等待"和實時發送，通常被視為降低延遲的首選策略。然而，Kafka 4.

kafka

收藏 評論

automq 頭像

AutoMQ - 如何選擇合適的 Diskless Kafka

文章導讀 隨着越來越多企業將 Kafka 遷移至雲原生架構，AutoMQ 正逐漸成為 Kafka 用户的雲端優選。作為兼容 Apache Kafka 協議、專為雲設計的新一代發行版，AutoMQ 憑藉高性能、彈性擴展和極致成本等優勢，在全球範圍內的熱度持續攀升，GitHub Star 數也順勢突破 8k 大關。在海外社區涌現的眾多討論與推文中，我們發現了這樣一篇來自開發者的深度好文，將其內容翻譯並

架構 , 雲原生 , kafka

收藏 評論

kerrywu 頭像

KerryWu - 記 Kafka Consumer 消息阻塞（2）

前言 這次是繼 《記 Kafka Consumer 消息阻塞（1）》 之後，其實應該是放在同一篇文章裏面。但因為是新問題，就再加一篇文章。 還是繼那篇文章，提出要調大 max.partition.fetch.bytes、message.max.bytes 的參數值。但是不能調太大，調太大之後，同樣帶來新的問題。 本次就是新問題。再調大10倍後，消費能力下降了不止100倍。 通過消費的監控圖來看，不

kafka

收藏 評論

u_16099179 頭像

互聯網小墨風 - Spring Cloud 從入門到精通（二）集成 Nacos 構建微服務實現服務註冊 - freelife -

簡單實用Nest+Nacos+Kafka+Docker實現微服務架構 設計 新建三個Nest服務 Nacos 配置中心 嘗試 服務註冊 嘗試 改造user-service (TCP)

微服務 , nacos , Css , nestjs , kafka , 前端開發 , 後端 , HTML

收藏 評論

u_16213673 頭像

mob64ca140dc73b - Doris淺略介紹 +部署+使用_doris部署

Apache Doris 4.0 的 AI 功能（LLM 函數 + 向量索引）與 Cloudera CDP 7.3（或類 CDP 的 CMP 7.13 平台，如華為鯤鵬 ARM 版）在銀行信信用卡的操作指南和腳本 針對 國有商業銀行 場景下，Apache Doris 4.0（ARM64 鯤鵬環境）與華為 Cloud Data AI CMP 7.13

大數據 , hive , hadoop , zookeeper , flink , kafka

收藏 評論

automq 頭像

AutoMQ - AutoMQ x FSx: 10ms Latency Diskless Kafka on AWS

介紹 今天，我們正式宣佈：繼 S3 WAL、EBS/Regional EBS WAL[1] 之後，AutoMQ 將在 2025 年的 12 月的新版本中全面支持以 AWS FSx 作為新的 WAL 存儲選項。AutoMQ 本身是一款完全兼容 Apache Kafka 協議、基於 S3 對象存儲構建的新一代 Diskless Kafka，通過自研的「WAL + 對象存儲」創新流存儲引擎，將寫入日誌與

知識 , 開源 , kafka

收藏 評論

u_16099341 頭像

智能開發藝術家 - kafka配置參數詳解【收藏】_51CTO博客

Kafka4.x配置詳解 server.properties broker.properties consumer.properties producer.properties server.properties broker.id 在4.x的時候就已經移除掉了，採用node.id

ssl , 服務器 , 後端開發 , harmonyos , kafka

收藏 評論

u_17590687 頭像

長袖員大表哥 - Flink 與 Kafka

Flink 與 Kafka 是大數據實時處理領域的 “黃金組合”——Kafka 負責高吞吐、高可靠的實時數據收發，Flink 負責低延遲、高精度的實時計算分析，二者深度適配，能支撐電商實時風控、物流軌跡追蹤、直播數據大屏等各類高併發實時業務場景。下面用通俗易懂的方式拆解核心信息： 一、核心分工（為什麼是 “黃金搭檔”？）

大數據 , 數據 , 數據倉庫 , 實時監控 , kafka

收藏 評論

u_16099346 頭像

雲端築夢者 - Kafka到底有多高可靠？（RNG NB）

kafka的高可靠性的核心是保證消息在傳遞過程中不丟失，涉及如下核心環節： 消息從生產者可靠的發送至Broker；—網絡、本地丟數據。 發送Broker的消息可靠持久化；—PageCache緩存落盤、單點崩潰、主從同步跨網絡。 消費者從Broker消費到消息且最好只消費一次。—跨網絡消息傳輸。

數據 , 持久化 , 分佈式 , kafka , 前端開發 , Javascript

收藏 評論

u_14987 頭像

attitude - Kafka/RocketMQ 多線程消費時如何保證消費順序？

多線程問題 對於mysql裏面上萬條信息，我開多線程，比如10個，要是完成第一個線程處理前k條，後面的依次處理後k條，這怎麼建立？要是第3個線程處理k到k+n條數據出問題的時候，我應該記錄這批次信息的id到一個單獨的地方，我覺得這數據量小，可以存在List裏面，然後該批次（批次大小200）的所有數據都進行事務回滾，不提交。最後全部都處理完了，再去處理這些異常的list列表裏

線程池 , 數據 , 後端開發 , harmonyos , kafka

收藏 評論

u_13259 頭像

kekenai - 消息中間件kafka部署(一、使用kafka內置zookeeper組件部署kafka單節點服務)

Kafka 消息中間件實戰指南 1. 引言 在現代分佈式系統中，消息中間件扮演着至關重要的角色，它能夠實現系統間的解耦、異步通信和可靠消息傳遞。Apache Kafka是目前最流行的分佈式流處理平台之一，廣泛應用於構建實時數據管道、流處理應用和事件驅動架構。 Kafka具有高吞吐量、低延遲、高可靠性和可擴展性等特點，能夠處理每秒數百萬條

linq , Css , 分佈式 , kafka , 前端開發 , apache , HTML

收藏 評論

u_16099228 頭像

勇往直前的巨人 - Kafka 延遲操作模塊（三）：DelayedOperation 與 DelayedOperationPurgatory

Apache Kafka 中 延遲操作管理器（DelayedOperationPurgatory） 用於高效管理大量延遲任務（如 DelayedProduce、DelayedFetch）。下面我將從整體架構、核心機制、併發控制和性能優化四個方面詳細解析。 一、整體架構：延遲操作的"中轉站" 設計目標 管理大量延遲操作：

性能優化 , 高併發 , Css , kafka , 前端開發 , apache , HTML

收藏 評論