tag spark

標籤
貢獻106
217
05:15 PM · Oct 25 ,2025
tech 頭像 elhix0bg 頭像 u_15459354 頭像 zhaoqianglaoshi 頭像 u_15474939 頭像 baidujiagoushi 頭像 starrocks 頭像 u_16099267 頭像 u_15316473 頭像 journey_64224c9377fd5 頭像 u_16099172 頭像 u_106065 頭像

@spark / 博客 RSS 訂閱

u_13544 頭像

deanyuancn - Spark 基礎——RDD 算子

RDD算子介紹 RDD（彈性分佈式數據集）是Spark的核心數據結構，代表不可變、分區化的數據集合。RDD算子分為兩類： 轉換算子（Transformations）：惰性操作，生成新RDD $$ \text{新RDD} = \text{原RDD} \rightarrow \text{算子操作} $$ 行

spark , 數據集 , 開發語言 , 一對一 , Css , c , 前端開發 , HTML

收藏 評論

u_16213583 頭像

mob64ca13f83523 - spark 寫入結構化數據到hdfs

（resilient distributed dataset，RDD）是一個非常重要的分佈式數據架構，即彈性分佈式數據集。 　　它是邏輯集中的實體，在集羣中的多台機器上進行了數據分 區。通過對多台機器上不同RDD分區的控制，就能夠減少機器之間的數據重排（data shuffling）。Spark提供了“partitionBy”運算符，能夠通過集羣中多台機器之間對原始RDD進

spark , hdfs , 大數據 , spark 寫入結構化數據到hdfs , 數據 , hadoop

收藏 評論

u_16213698 頭像

mob64ca1413c518 - spark 決策樹剪枝 spss決策樹剪枝

決策樹——剪枝 本篇是決策樹系列的第二篇，介紹一下決策樹的剪枝過程。過擬合是決策樹構建過程中常見的問題，信息失衡、噪聲等問題都會導致過擬合，剪枝則是提高決策樹模型泛化能力的重要手段，下面對常用的剪枝方法作一些介紹。 1.預剪枝 決策樹系列第一篇《分類：決策樹——樹的生長》中提到過，樹的生長是一種“完全”式的生長，終止條件也僅有“所有的樣本屬於同一類，

spark , 結點 , 誤分類 , 決策樹 , spark 決策樹剪枝 , 大數據 , 子樹

收藏 評論

u_15474939 頭像

海豚調度平台 - 圖解 Apache DolphinScheduler 如何配置飛書告警

飛書創建羣，並添加自定義機器人 記住這個【Webhook】後面配置【海豚告警】的時候會用到。 配置告警 在【安全中心】中，選擇【告警實例管理】中的【創建告警實例】。 在【選擇插件】中，選擇【Feishu】，將前面的【Webhook】填進【Web鈎子】。 然後，在【安全中心】的【告

spark , 大數據 , 自定義 , 推送 , Web

收藏 評論

zhaoqianglaoshi 頭像

趙渝強老師 - 【趙渝強老師】阿里雲大數據存儲計算服務：MaxCompute

阿里雲大數據計算服務（MaxCompute）是一種快速、完全託管的TB/PB級數據倉庫解決方案。MaxCompute向用户提供了完善的數據導入方案以及多種經典的分佈式計算模型，能夠更快速的解決用户海量數據計算問題，有效降低企業成本，並保障數據安全。 視頻講解如下： https://www.bilibili.com/video/BV19M8izmEoU/?aid=114924365812...

spark , 大數據 , hadoop , 阿里雲

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 -- Java 大數據在智能體育賽事運動員體能監測與訓練計劃調整中的應用

(centerJava 大視界 -- Java 大數據在智能體育賽事運動員體能監測與訓練計劃調整中的應用/center) 引言 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！當體育競技的號角愈發激昂，運動員每一次成績突破的背後，都藏着體能科學與訓練智慧的較量。傳統的體能監測和訓練模式，如同用舊地圖探索新大陸，數據零散、分析滯後，早已無法滿

spark , Java 大數據 , 大數據 , yyds乾貨盤點 , 數據 , 訓練計劃 , JAVA , 智能體育

收藏 評論

elhix0bg 頭像

阿里雲大數據AI - 鷹角：EMR Serverless Spark 在《明日方舟》遊戲業務的應用

作者：鷹角網絡高級大數據研發 茅旭輝 背景介紹 鷹角網絡是一家年輕且富有創新的遊戲公司，致力於開發充滿挑戰性和藝術價值的遊戲產品。公司目前涵蓋了遊戲開發、運營和發行的全生命週期業務。隨着業務的擴展，鷹角網絡從單一爆款遊戲發展到多賽道、多平台、全球化的戰略佈局，在數據業務上進行了全面的優化和升級。 從業務上看，以《明日方舟》為代表的長線運營遊戲，具有相對高頻的活動週期和豐富多樣的活動玩法，反映到數據

spark , 大數據 , 數據 , 阿里雲 , serverless

收藏 評論

u_12204 頭像

桃太郎 - Python 數據科學入門教程：OpenCV

此文章一共分為四篇 第一篇入門篇（本篇） 第二篇 基礎篇 第三篇 進階篇 第四篇 項目篇 在這篇系列文章中，我將帶你從“完全小白”一路打怪升級到能動手做真實項目。 不堆術語、不講空話，只用你能跑通的代碼 + 能看懂的圖解 + 踩過的坑總結， 手把手拆解 OpenCV

spark , 大數據 , 圖像處理 , 視覺項目 , 計算機視覺 , opencv , Python

收藏 評論

u_16099236 頭像

是大魔術師 - TMS Sparkle

在TestNG中使用多線程的方式並行執行測試用例可以有效提高用例的執行速度，而且TestNG對多線程提供了很好的支持，即使是菜鳥也可以方便地上手多線程。 前言 最近在做項目裏的自動化測試工作，使用的是TestNG測試框架，主要涉及的測試類型有接口測試以及基於業務實際場景的場景化測試。由於涉及的場景大多都是大數據的作業開發及執行（如MapReduce、Spark、Hql

spark , Test , 大數據 , 用例 , TMS Sparkle , ide

收藏 評論

starrocks 頭像

StarRocks - 從InfluxDB到StarRocks：Grab實現Spark監控平台10倍性能提升

Grab 是東南亞領先的超級應用，業務涵蓋外賣配送、出行服務和數字金融，覆蓋東南亞八個國家的 800 多個城市，每天為數百萬用户提供一站式服務，包括點餐、購物、寄送包裹、打車、在線支付等。 為了優化 Spark 監控性能，Grab 將其 Spark 可觀測平台 Iris 的核心存儲遷移至 StarRocks，實現了顯著的性能提升。新架構統一了原本分散在 Grafana 和 Superse

spark , 大數據 , iris , 數據庫 , 物化視圖

收藏 評論

u_16099335 頭像

碼海無壓 - digispark驅動下載

第一種：JDBC-ODBC橋 Jdbc-odbc橋是sun公司提供的，是jdk提供的的標準api。這種類型的驅動實際是把所有jdbc的調用傳遞給odbc，再由odbc調用本地數據庫驅動代碼。（本地數據庫驅動代碼是指由數據庫廠商提供的數據庫操作二進制代碼庫，例如在oracle for windows中就是oci dll文件) 只要

spark , digispark驅動下載 , 大數據 , jdbc , API , 數據庫 , 數據庫驅動程序

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 -- 基於 Java 的大數據實時流處理在能源行業設備狀態監測與故障預測中的應用

(centerJava 大視界 -- 基於 Java 的大數據實時流處理在能源行業設備狀態監測與故障預測中的應用/center) 引言： 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！在《大數據新視界》和《 Java 大視界》系列的探索之旅中，我們已一同領略 Java 大數據在多個領域的非凡魅力。從智能教育領域用數據重塑教學模式，到智能安

spark , 大數據 , yyds乾貨盤點 , 數據 , JAVA

收藏 評論

u_16213703 頭像

mob64ca14150f43 - spark3 用户權限管理

1 配置 export SCALA_HOME=/Users/zhaoshuai11/work/scala-2.12.14 export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_192.jdk/Contents/Home ## 指定spark老大Master的IP和提交任務

spark , spark3 用户權限管理 , 大數據 , 學習 , hadoop

收藏 評論

tech 頭像

青雲交技術圈 - Java 大數據機器學習模型在自然語言處理中的對抗樣本生成與防禦機制研究

(centerJava 大視界 -- Java 大數據機器學習模型在自然語言處理中的對抗樣本生成與防禦機制研究/center) 引言： 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！凌晨三點的硅谷實驗室裏，研究員 Lisa 盯着屏幕上不斷跳動的代碼，眉頭緊鎖。她剛剛收到某知名電商平台的緊急求助 —— 其智能評論審核系統突然將大量差評誤判為

機器學習 , spark , 大數據 , yyds乾貨盤點 , Deeplearning4j , NLP對抗樣本 , JAVA

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 -- 基於 Java 的大數據實時流處理在智能電網電力負荷預測與調度優化中的應用

(centerJava 大視界 -- 基於 Java 的大數據實時流處理在智能電網電力負荷預測與調度優化中的應用/center) 引言： 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！在 “雙碳” 目標與新型電力系統建設的雙重驅動下，智能電網正加速向數字化、智能化轉型。國家能源局《2024 年全國電力工業統計數據》顯示，我國電網調度自動化

spark , 大數據 , yyds乾貨盤點 , 數據 , kafka , apache

收藏 評論

u_13521 頭像

cnolnic - PySpark ML常用轉換器

一、核心架構圖 二、角色分析 在Driver端，通過Py4j實現在Python調用Java的方法，即將用户寫得PySpark程序“映射”到JVM中，例如，用户在PySpark中實例化一個Python的SparkContext對象，最終會在JVM中實例化Scala的SparkContext對象 在Executor端，則

spark , 大數據 , big data , PySpark ML常用轉換器 , JAVA , Python

收藏 評論

starrocks 頭像

StarRocks - 【活動回顧】StarRocks Singapore Meetup #2 @Shopee

3 月 13 日，StarRocks 社區在新加坡成功舉辦了第二場 Meetup 活動，主題為“Empowering Customer-Facing Analytics”。本次活動在 Shopee 新加坡辦公室舉行，吸引了來自 Shopee、Grab 和 Pinterest 的專家講師以及 50 多位參會者。大家圍繞電商、BI 報表和廣告場景中的數據分析挑戰展開了深入探討，並分享瞭如何利用 Sta

spark , 數據分析 , 物化視圖 , olap

收藏 評論

u_16213668 頭像

mob64ca140caeb2 - 排名前十的倉庫管理系統大盤點（真實測評）！_倉儲管理系統

WMS倉庫管理系統十大排名推薦：企業數字化倉儲首選解決方案指南 一、WMS系統市場概況與選型指南 在數字經濟時代，倉庫管理系統（WMS）已成為企業供應鏈數字化轉型的核心基礎設施。根據IDC最新調研報告顯示，2024年中國WMS市場規模突破200億元，年增長率達25%，其中SaaS化部署模式佔比超過60%。 企業在選擇WMS系統時，需要重點關注系統的智能化程度、行業適配

spark , 大數據 , 市場份額 , 倉庫管理系統 , 解決方案

收藏 評論

u_16099267 頭像

雲端創新夢想家 - 【HBZ分享】數倉裏面的概念-寬表-維度表-事實表概念講解_維表 事實表 寬表

引言 在數據倉庫（Data Warehouse）設計中，事實表（Fact Table）和 事實寬表（Wide Fact Table）是兩種常見的存儲度量數據的表格。它們在結構、查詢效率、存儲方式等方面有所不同，選擇合適的設計模式對於提高查詢性能、減少存儲開銷以及滿足業務需求至關重要。本文將詳細介紹事實表與事實寬表的定義、區別及應用場景，並通過實際的

spark , 大數據 , 數據 , 數據倉庫 , 外鍵

收藏 評論

u_15459354 頭像

ApacheSeaTunnel - 2025 白鯨開源：“溯” 光前行，“源” 啓新程！

引言：2025 年，我們的年終總結髮布姍姍來遲，但此刻開啓回顧正當時。 這一年，數據浪潮洶涌澎湃，開源領域競爭激烈，我們共同經歷了數據行業的高速發展和開源生態不斷演進，在這片充滿挑戰與機遇的海洋裏揚帆遠航。 值此歲末，讓我們一同回首過去一年的奮鬥歷程，審視得失，為新一年的征程汲取力量。接下來，讓我們一同梳理這一年白鯨開源的重要歷程。

spark , 年終總結 , 大數據 , 開源 , 白鯨開源

收藏 評論

zhaoqianglaoshi 頭像

趙渝強老師 - 【趙渝強老師】大數據主從架構的單點故障

  大數據體系架構中的核心組件都是主從架構，即：存在一個主節點和多個從節點，從而組成一個分佈式環境。下圖為展示了大數據體系中主從架構的相關組件。   視頻講解如下： https://www.bilibili.com/video/BV1vz421z72U/?aid=1355982530c...   從上圖可以看出大數據的核心組件都是一種主從架構，而只要是主從架構就存在單點故障的問

spark , 大數據 , hadoop , zookeeper , flink

收藏 評論

u_16099247 頭像

墨韻流香 - 人臉素描數據集

OpenCV實時素描效果：用代碼將攝像頭畫面轉化為藝術素描 實現原理與可視化流程 運行前請安裝OpenCV：`pip install opencv-python`，如攝像頭無法打開請嘗試調整`VideoCapture(0)`或`VideoCapture(1)`參數。 素描效果的核心思想是模擬藝術家繪製素描時的視

spark , 大數據 , 人工智能 , 計算機視覺 , opencv , ide , Python

收藏 評論

u_16213618 頭像

mob64ca1400bfa8 - Doris能否替代spark

目錄 0、準備 1、Spark 讀寫 Doris 1.1 準備 Spark 環境 1.2 使用 Spark Doris Connector 1.2.1 SQL 方式讀寫數據 1.2.2 DataFrame 方式讀寫數據（batch） 1.2.3 RDD 方式讀

spark , Doris能否替代spark , 大數據 , Scala

收藏 評論

u_16213660 頭像

mob64ca140ac564 - spark parquet 布隆過濾器

數學之美中23章介紹的布隆過濾器（Bloom filter），以下是一些算法的實現及應用 1.算法應用 在如那件設計中有個最基本的功能是判斷某個元素是否在集合當中，比如爬蟲中驗證一個url是否被收錄過，如果用普通的hash來判斷那需要的內存容量是驚人的。布隆過濾器的作用就是能夠降低內存用量，他只需要hash表的1/8到1/4就能夠解決問題。 3.算法實現

spark , spark parquet 布隆過濾器 , 大數據 , 字符串 , 主函數 , 布隆過濾器

收藏 評論