@Streaming / 博客 RSS 訂閱

Nov 18 2025

數據解碼者 - spark 被壓

因特殊業務場景，如大促、秒殺活動與突發熱點事情等業務流量在短時間內劇增，形成巨大的流量毛刺，數據流入的速度遠高於數據處理的速度，對流處理系統構成巨大的負載壓力，如果不能正確處理，可能導致集羣資源耗盡最終集羣崩潰，因此有效的反壓機制(backpressure)對保障流處理系統的穩定至關重要。 Storm和SparkStreaming都提供了反

spark , Streaming , spark 被壓 , 大數據 , 數據 , 執行過程

收藏 評論

Dec 18 2025

IT狼人9號 - Spark Operator 與工作流 集成

Spark Streaming原理 Spark Streaming 是基於spark的流式批處理引擎。其基本原理是：將實時輸入數據流以時間片為單位進行拆分，然後經Spark引擎以類似批處理的方式處理每個時間片數據。 Spark Streaming作業流程 客户端提交作業後啓動Driver（Driver

spark , Streaming , 大數據 , 數據

收藏 評論

Dec 29 2025

藍夢之翼 - Spark Streaming概述

一、定義 Spark Streaming 是 Spark 的流式數據處理模塊。Spark Streaming 支持的數據輸入源有很多，例如：Kafka、Flume、Twitter、ZeroMQ 和簡單的 TCP 套接字等。 二、DStream 和 Structured Streaming Spark Streaming 使用離散化流（DStream）作為

spark , Streaming , 大數據 , 數據 , API

收藏 評論