tag kafka

標籤
貢獻60
163
05:15 PM · Oct 25 ,2025
automq 頭像 plcode 頭像 wangying_5e4b645338a98 頭像 zhuyundataflux 頭像 doge_king 頭像 alixitongruanjianjishu 頭像 kerrywu 頭像 zhaoqianglaoshi 頭像 vivo_tech 頭像 a_yu_super 頭像 linybjikezhilu 頭像 u_16099361 頭像

@kafka / 博客 RSS 訂閱

vleedesigntheory 頭像

維李設論 - 前端日誌採集方案淺析

前言 在前端部署過程中，通常會使用nginx作為部署服務器，而對於默認的nginx服務來説，其提供了對應的日誌記錄，可以用於記錄服務器訪問的相關日誌，對於系統穩定性及健壯性監控來説，日誌採集、分析等能夠提供更加量化的指標性建設，本文旨在簡述前端應用及打點服務過程中所需要使用的nginx採集方案。 架構 打點日誌採集 對於前端應用來説，通常需要埋點及處理對應的數據服務 應用日誌採集 對於日常應用

日誌 , filebeat , Nginx , elk , kafka

收藏 評論

nancheng_692928b663b3c 頭像

南城 - Kafka入門必知概念——Topic、分區、Offset、消費組的協作機制與影響

寫在前面，本人目前處於求職中，如有合適內推崗位，請加：lpshiyue 感謝 理解Kafka的核心概念如同掌握分佈式系統的通用語言，這些基礎組件的高效協作正是Kafka海量數據處理能力的源泉 在消息隊列選型框架中，Kafka以其高吞吐、可擴展架構成為大數據場景的首選。然而，要真正發揮Kafka的潛力，必須深入理解其核心概念之間的協作關係。本文將全面解析Topic、分區、Offset和消費組四大核心

kafka

收藏 評論

u_15336176 頭像

龍翔淺帝 - 基於EFK+logstash+kafka構建高吞吐量的日誌收集平台

通過Filebeat採集日誌，本文以Nginx日誌為例 -- kafka topic存儲日誌 -- logstash去kafka獲取日誌，進行格式轉換 -- elasticsearch -- kibana。 一、環境準備 實驗環境如下： 序號

elasticsearch , yyds乾貨盤點 , logstash , 運維 , zookeeper , filebeat , kafka

收藏 評論

automq 頭像

AutoMQ - 當 Kafka 架構顯露“疲態”：共享存儲領域正迎來創新變革

文章導讀 本文作者為沃爾瑪開發者 Ankur Ranjan 與 Sai Vineel Thamishetty 。二人長期關注 Apache Kafka 與流處理系統的演進，深入研究現代流處理架構面臨的挑戰與創新方向。文章不僅總結了 Kafka 的歷史價值與當前侷限，還展示了下一代開源項目 AutoMQ 如何藉助雲原生設計，解決 Kafka 在成本、擴展性與運維方面的痛點，為實時數據流架構提供全新視

data , 雲原生 , kafka

收藏 評論

plcode 頭像

wx65dfdaaec020c - 消息隊列在物聯網(IoT)與邊緣計算中的深度應用

消息隊列在物聯網(IoT)與邊緣計算中的深度應用 摘要 本文將深入探討消息隊列在物聯網設備管理、邊緣計算、實時數據處理等場景下的高級應用模式。涵蓋MQTT協議集成、邊緣消息路由、設備管理、時序數據處理等關鍵技術，提供完整的物聯網消息架構解決方案。 物聯網消息架構設計 雲邊端協同架構 物聯網消息流架構 物聯網消息處理架構： ┌────────────────

物聯網 , 後端開發 , 消息隊列 , kafka , Python

收藏 評論

shawn_5dd516205b8bd 頭像

Shawn - Java客户端向kafka發送protobuf序列化的數據

需求 跨部門協作，通過Kafka進行溝通，我們是生產者，對方是消費者。因為對方部門後台是使用golang，所以默認是使用Protobuf來解析數據。 解決方法 給Kafka創建一個Protobuf的序列化類，這樣每次發送數據時就會序列化成Protobuf格式的。 根據.proto文件生成對應的Java實體類。 protoc --java_out=./ x.proto java_out後

protobuf , JAVA , kafka

收藏 評論

u_16099343 頭像

編程夢想編織者 - 如何獲取 Kafka 的消費者詳情 ——從 Scala 到 Java 的切換_Java_老男孩的技術博客

1. Kafka 消費者監控概述 1.1 為什麼需要監控 Kafka 消費者 Kafka 消費者監控是確保消息系統穩定運行的關鍵環節。通過監控消費者，我們可以： 實時瞭解消息消費進度 及時發現消費延遲或積壓問題 診斷消費者組重新平衡問題 優化消費者性能和資源配置 保障業務數據的及時處理

linq , Css , c , kafka , 前端開發 , apache , HTML

收藏 評論

plcode 頭像

wx65dfdaaec020c - 消息隊列性能優化與調優實戰指南

消息隊列性能優化與調優實戰指南 摘要 本文將深入探討消息隊列在生產環境中的性能優化策略，涵蓋Kafka、RabbitMQ、RocketMQ三大主流消息中間件的性能調優技巧。通過詳細的配置示例、性能測試數據和實戰案例，幫助開發者構建高性能、高可用的消息系統。 性能優化指標體系 關鍵性能指標定義 指標類別 具體指標 優化目

性能優化 , 後端開發 , 消息隊列 , kafka , Python

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 -- 基於 Java 的大數據實時流處理在智能電網電力負荷預測與調度優化中的應用

(centerJava 大視界 -- 基於 Java 的大數據實時流處理在智能電網電力負荷預測與調度優化中的應用/center) 引言： 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！在 “雙碳” 目標與新型電力系統建設的雙重驅動下，智能電網正加速向數字化、智能化轉型。國家能源局《2024 年全國電力工業統計數據》顯示，我國電網調度自動化

spark , 大數據 , yyds乾貨盤點 , 數據 , kafka , apache

收藏 評論

zzger 頭像

我不是碼農 - kafka stream的自定義時間段窗口實現

最近系統需要做一個日誌平台，對所有接入的系統進行日誌的統計分析，因為之前用的是kafka來實現各業務系統日誌接入日誌平台的，所以想到了直接使用kafka官方本身提供的一個實時計算框架kafka stream。 kafka stream的時間窗口有兩個重要的屬性：窗口大小和步長(移動間隔)，滾動窗口Tumbling Time Window：步長等於窗口大小，滾動窗口是沒有記錄的重疊；跳躍窗口H

大數據 , stream , kafka , 實時計算

收藏 評論

u_14499 頭像

coolfengsy - 分佈式之elk日誌架構的演進_weixin

引言 在分佈式系統中，日誌是問題排查、性能監控、業務分析的核心數據來源。隨着業務規模從單節點擴展到百萬級集羣，日誌架構也需隨之演進 —— 從簡單的 LEK 組合，到標準的 ELK 方案，再到高可用的 EFK 架構，每一步都對應着不同場景的核心訴求。本文將從原理、流程、配置實踐、優缺點等維度，全方位解析三種架構的演進邏輯，幫助開發者根據自身業務選擇合

服務器 , 運維 , 架構 , 單節點 , 分佈式 , kafka

收藏 評論

u_16213577 頭像

信息小飛俠 - Flink 1.11.1:flink CDC Debezium自定義修改debezium-json格式

Flink CDC系列之：Kafka的Debezium JSON 結構定義類DebeziumJsonStruct 這是一個 Debezium JSON 結構定義類，使用枚舉來定義 Debezium JSON 格式的字段結構和位置信息。 類概述 public class DebeziumJsonStruct 這個類

Flink CDC系列 , Debezium JSON , 結構定義類 , debezium , kafka , 前端開發 , Javascript

收藏 評論

u_16366971 頭像

u_16366971 - 如何選擇合適的 Diskless Kafka

文章導讀 隨着越來越多企業將 Kafka 遷移至雲原生架構，AutoMQ 正逐漸成為 Kafka 用户的雲端優選。作為兼容 Apache Kafka 協議、專為雲設計的新一代發行版，AutoMQ 憑藉高性能、彈性擴展和極致成本等優勢，在全球範圍內的熱度持續攀升，GitHub Star 數也順勢突破 8k 大關。在海外社區涌現的眾多討論與推文中，我們發現了這樣一篇來自開發者的深度好文，

diskless , 數據 , 雲計算 , 雲原生 , 對象存儲 , kafka

收藏 評論

u_16099361 頭像

16099361 - flume使用kafka作為sink-

Kafka作為數據管道中的Sink（輸出端），常用於將處理後的數據寫入Kafka主題，供下游系統消費。以下是實現要點和示例： 核心概念 生產者角色 Kafka Sink本質上是生產者（Producer），負責將數據推送到指定主題（Topic） 數據可靠性 通過配置a

sed , 數據 , linq , 後端開發 , c , kafka , Python

收藏 評論

automq 頭像

AutoMQ - 🎉 慶祝 AutoMQ 在 GitHub 上突破 9k Stars！

🎉 8k Stars 的喜悦還未散去，9k 已經悄悄來到。感謝大家一路相伴，讓我們在開源之路上越走越遠！ 明天就是 2026 了，在這個跨年時刻，AutoMQ 提前祝大家新年快樂！🥳 每一顆 Star 的背後，都是我們持續打磨產品的動力，我們也希望用更好的產品體驗回饋大家的信任。 目前 AutoMQ 的版本已經來到 8.0.2。在這個版本中，我們正式支持了 Amazon FSx for Ne

kafka

收藏 評論

jiangyi 頭像

我愛哇哈哈 - Kafka消息丟失的3種場景，生產環境千萬要注意！老司機帶你避坑

明明發送了重要消息，但消費者就是收不到？或者消息處理了一半，突然就消失了？這些問題很可能就是Kafka消息丟失造成的！今天就來聊聊Kafka消息丟失的3種典型場景，以及如何在生產環境中完美避免這些坑！ 一、Kafka消息丟失的根源分析 在深入討論具體場景之前，我們先來了解一下Kafka的消息流轉過程和可能導致消息丟失的關鍵環節。 1.1 Kafka消息流轉過程 // Ka

System , yyds乾貨盤點 , MySQL , 數據庫 , JAVA , kafka

收藏 評論

u_13544 頭像

deanyuancn - 2022年數據工程現狀 -

數據工程持續監控：awesome-data-engineering工具的健康檢查與自動恢復 數據工程系統平均每30天會發生一次未計劃停機，每次故障造成約4.2萬美元損失。當Kafka集羣出現分區不可用、Spark作業堆積或數據管道數據質量驟降時，傳統依賴人工介入的響應模式往往導致業務中斷超過1小時。本文基於awesome-data-

數據 , 後端開發 , harmonyos , kafka , Python

收藏 評論

zhuyundataflux 頭像

觀測雲 - Kafka 業務日誌採集最佳實踐

簡介 Apache Kafka 是一個分佈式流處理平台，主要用於構建實時數據流管道和應用程序。在收集業務日誌的場景中，Kafka 可以作為一個消息中間件，用於接收、存儲和轉發大量的日誌數據。將 Kafka 與其他系統（如 Elasticsearch、Flume、Spark Streaming 等）集成，以提供更豐富的日誌處理和分析功能。本文提到的是和觀測雲集成，即通過觀測雲的採集器 Datakit

日誌分析 , kafka

收藏 評論

u_16213622 頭像

mob64ca1401b651 - 如何管理Spark Streaming消費Kafka的偏移量（二） - 九劫散仙的個人空間 -

在Kafka中，消費者的偏移量（offset）是指消費者在消費消息時所讀取的消息的位置。Kafka提供了幾種方式來管理消費者的偏移量，主要包括以下幾種： 1.自動提交偏移量（Auto Offset Commit） Kafka允許消費者自動提交其偏移量。在消費者從Kafka拉取消息時，Kafka會自動提交消費的最新偏移量，確保消費者從最新的消費位置繼續讀取消息

偏移量 , 重置 , 外部存儲 , 分佈式 , kafka , 前端開發 , Javascript

收藏 評論

u_16213598 頭像

mob64ca13fbd761 - Kafka03--Kafka消費者使用方式

主要步驟 Kafka消費者的使用流程主要包括配置消費者、訂閲主題、拉取消息、處理消息和提交偏移量等關鍵步驟。 消費者配置與初始化 必須配置bootstrap.servers（Kafka集羣地址）、group.id（消費者組ID）和序列化器推薦使用手動提交偏移量以保證消息處理的可靠性

偏移量 , 消息處理 , 分佈式 , kafka , 前端開發 , ide , Javascript

收藏 評論

u_16099217 頭像

技術博客達人 - kafka集羣安裝

Kafka_4.1.0(Kraft模式)集羣安裝 環境準備 系統：Ubuntu 22.04 JDK：21 Kafka: 4.1.0 CPU：4核+ 內存：8GB+（生產環境建議16GB+）

服務器 , 主機名 , ip , 集羣 , kafka

收藏 評論

u_12228 頭像

香奈兒 - Kafka為什麼要拋棄ZooKeeper？

Kafka 拋棄 Zookeeper 的背景 早期的 Kafka 嚴重依賴 Zookeeper 完成集羣元數據管理和控制器選舉等核心功能。Zookeeper 作為分佈式協調服務，雖然成熟穩定，但隨着 Kafka 規模擴大和功能迭代，逐漸暴露出以下問題： 性能瓶頸：Zookeeper 的寫操作需通過 Leader 節點同步到 Foll

數據同步 , zookeeper , 元數據 , 分佈式 , jquery , kafka , 前端開發

收藏 評論

plcode 頭像

wx65dfdaaec020c - 微服務消息隊列監控與運維實戰指南

微服務消息隊列監控與運維實戰指南 摘要 本文將深入探討微服務架構下消息隊列的監控體系構建、運維管理策略以及故障應急處理方案，通過完整的監控指標、自動化運維腳本和實戰案例，幫助構建穩定可靠的消息中間件運維體系。 監控體系架構設計 多維度監控指標採集 監控架構全景圖 監控數據流架構： ┌─────────────────────────────────────

bash , 後端開發 , 消息隊列 , kafka , Python

收藏 評論

mapengfei 頭像

馬鵬飛 - 解決 Kafka KRaft 模式下 Consumer 無法讀取消息的問題

一、背景 在使用 Kafka 4.x 版本（KRaft 模式）時，我們遇到了一個令人困惑的問題：雖然 Producer 發送消息沒有報錯，但使用 `kafka-console-consumer.sh` 和 `--group` 參數時，Consumer 卻無法讀取任何消息。本文將詳細描述該問題的現象、分析原因，並提供完整的解決方案。 二、問題現象 1.

bootstrap , 服務器 , 發送消息 , 分佈式 , kafka

收藏 評論