tag spark

標籤
貢獻106
209
05:15 PM · Oct 25 ,2025
tech 頭像 elhix0bg 頭像 u_15459354 頭像 zhaoqianglaoshi 頭像 u_15474939 頭像 baidujiagoushi 頭像 starrocks 頭像 u_16099267 頭像 u_15316473 頭像 journey_64224c9377fd5 頭像 u_16099172 頭像 u_106065 頭像

@spark / 博客 RSS 訂閱

elhix0bg 頭像

阿里雲大數據AI - 鷹角：EMR Serverless Spark 在《明日方舟》遊戲業務的應用

作者：鷹角網絡高級大數據研發 茅旭輝 背景介紹 鷹角網絡是一家年輕且富有創新的遊戲公司，致力於開發充滿挑戰性和藝術價值的遊戲產品。公司目前涵蓋了遊戲開發、運營和發行的全生命週期業務。隨着業務的擴展，鷹角網絡從單一爆款遊戲發展到多賽道、多平台、全球化的戰略佈局，在數據業務上進行了全面的優化和升級。 從業務上看，以《明日方舟》為代表的長線運營遊戲，具有相對高頻的活動週期和豐富多樣的活動玩法，反映到數據

spark , 大數據 , 數據 , 阿里雲 , serverless

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 -- Java 大數據在智能建築室內環境舒適度預測與調控中的應用

(centerJava 大視界 -- Java 大數據在智能建築室內環境舒適度預測與調控中的應用/center) 引言： 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！凌晨三點的深圳平安金融中心，智能建築管理系統仍在高效運轉。當傳感器檢測到 38 層辦公室二氧化碳濃度升至 800ppm 且人員停留超 2 小時，系統自動啓動新風系統，並將空

spark , 智能建築 , 大數據 , yyds乾貨盤點 , Java大數據 , JAVA , apache

收藏 評論

u_12228 頭像

香奈兒 - 反射、枚舉以及lambda表達式_枚舉類為什麼不能被反射

文章目錄 字符串常量池 創建對象的思考 字符串常量池(StringTable) 再談String對象創建 intern方法 反射 定義 用途 反射基本信息 反射相關的類 Class類中的相關方法 反射示例

spark , System , 大數據 , 數據結構 , jvm , intellij idea , JAVA

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 --Java 大數據在智慧交通公交車輛調度與乘客需求匹配中的應用創新

(centerJava 大視界 --Java 大數據在智慧交通公交車輛調度與乘客需求匹配中的應用創新/center) 引言： 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！當城市的車水馬龍逐漸成為生活常態，公交系統作為城市交通的 “血管”，其調度效率與服務質量直接影響着數百萬市民的日常出行體驗。傳統調度模式的侷限性日益凸顯，而 Java

spark , 智慧交通 , 大數據 , yyds乾貨盤點 , 數據 , Java大數據 , JAVA , 公交車輛

收藏 評論

u_16099244 頭像

码海舵手之心 - sparktype bigint對應哪個type

為了讓大家理解structured stream的運行流程，我將根據一個代碼例子，講述structured stream的基本運行流程和原理。 下面是一段簡單的代碼: 1 val spark = SparkSession 2 .builder 3 .appName("StructuredNetworkWordCount") 4

spark , 批處理 , System , 大數據

收藏 評論

u_16099267 頭像

雲端創新夢想家 - spark網絡分割模型

摘要： 引言：你可能對使用Spark服務比較感興趣。Spark已經提供了很多功能，也有一個好用的界面，而且背後有強大的社區，開發者十分活躍，這也是人們對Spark寄予厚望的原因。深度學習是當前正在進行中的Spark項目之一。 引言：你可能對使用Spark服務比較感興趣。Spark已經提供了很多功能，也有一個好用的界面，而且背後有強大

spark , 框架 , 大數據 , 算法 , Scala , 腳本 , spark網絡分割模型

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 -- Java 大數據機器學習模型在遙感圖像目標檢測與語義分割中的應用與改進

(centerJava 大視界 -- Java 大數據機器學習模型在遙感圖像目標檢測與語義分割中的應用與改進/center) 引言：從開源生態到遙感智能化的 Java 實踐 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！在《大數據新視界》和《 Java 大視界》系列中，我們已通過智能體育、智能政務、工業互聯網等場景揭示 Java 的工程化

機器學習 , spark , 大數據 , yyds乾貨盤點 , 數據 , Java大數據 , JAVA , Image

收藏 評論

ospo 頭像

字節跳動開源 - 首屆 Apache Gluten 社區年度盛會 —— GlutenCon 2025 正式啓動！

在這個數據爆炸的時代，如何讓 Spark 等計算引擎跑得更快？如何通過原生向量化執行突破性能瓶頸？ 2025 年 12 月 6 日（週六），首屆Apache Gluten 社區年度盛會 —— GlutenCon 2025 將於北京舉辦。來自字節跳動、IBM、微軟、騰訊、華為、小紅書、小米、BIGO 等企業的技術專家將帶來硬核技術分享，帶你深入瞭解 Bolt 加速庫、GPU 優化、內存管理等核心議題

spark , 大數據 , 活動

收藏 評論

u_16099193 頭像

落花有意飛花 - jupyter 運行spark程序

今天在intellij調試spark的時候感覺每次有新的一段代碼，都要重新跑一遍，如果用spark-shell，感覺也不是特別方便，如果能像python那樣，使用jupyter notebook進行編程就很方便了，同時也適合代碼展示，網上查了一下，試了一下，碰到了很多坑，有些是舊的版本，還有些是版本不同導致錯誤，這裏就記錄下來安裝的過程。 1.

spark , notebook , 大數據 , Scala , jupyter 運行spark程序 , jupyter

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 -- Java 大數據在智能家居能源消耗模式分析與節能策略制定中的應用

(centerJava 大視界 -- Java 大數據在智能家居能源消耗模式分析與節能策略制定中的應用/center) 引言 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！在科技的洶涌浪潮中，Java 大數據技術宛如一顆璀璨奪目的明珠，於眾多領域綻放出耀眼光芒。 如今，隨着智能家居的迅猛普及，人們的生活變得愈發便捷，但同時也引發了不容

spark , 大數據 , yyds乾貨盤點 , 數據 , 智能家居 , Java大數據 , 能源消耗 , JAVA

收藏 評論

u_16213657 頭像

mob64ca140a1f7c - Spark指南——第二章：SparkCore——RDD編程（2）

概述 從高層次來看，每個 Spark 應用程序都包含一個驅動程序，該程序運行用户的主函數並在集羣上執行各種並行操作。Spark 提供的核心抽象是彈性分佈式數據集（RDD），即一種分佈在集羣節點間的元素集合，可被並行操作。RDD 可通過以下方式創建：從 Hadoop 文件系統（或任何其他 Hadoop 支持的文件系統）中的文件起步，或基於驅動程序中的

spark , 大數據 , 分佈式 , Python

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 -- Java 大數據在智能教育學習社區用户互動分析與社區活躍度提升中的應用

(centerJava 大視界 -- Java 大數據在智能教育學習社區用户互動分析與社區活躍度提升中的應用/center) 引言： 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！在國家智慧教育公共服務平台的運營大屏上，Java 驅動的大數據分析系統正以毫秒級速度解析全國 1.2 億學習者的互動行為。當系統捕捉到 “Python 數據分析

spark , 大數據 , yyds乾貨盤點 , 數據 , Java大數據 , JAVA

收藏 評論

elhix0bg 頭像

阿里雲大數據AI - 最佳實踐 | 在 EMR Serverless Spark 中實現 StarRocks 讀寫操作

EMR Serverless Spark 是一款兼容開源 Spark 的高性能 Lakehouse 產品。它為用户提供任務開發、調試、發佈、調度和運維等全方位的產品化服務，顯著簡化了大數據計算的工作流程，使用户能更專注於數據分析和價值提煉。 StarRocks官方提供了Spark Connector用於Spark和StarRocks之間的數據讀寫，EMR Serverless Spark可以在開發

spark , 大數據 , serverless

收藏 評論

starrocks 頭像

StarRocks - 【活動回顧】StarRocks Singapore Meetup #2 @Shopee

3 月 13 日，StarRocks 社區在新加坡成功舉辦了第二場 Meetup 活動，主題為“Empowering Customer-Facing Analytics”。本次活動在 Shopee 新加坡辦公室舉行，吸引了來自 Shopee、Grab 和 Pinterest 的專家講師以及 50 多位參會者。大家圍繞電商、BI 報表和廣告場景中的數據分析挑戰展開了深入探討，並分享瞭如何利用 Sta

spark , 數據分析 , 物化視圖 , olap

收藏 評論

u_16099236 頭像

是大魔術師 - TMS Sparkle

在TestNG中使用多線程的方式並行執行測試用例可以有效提高用例的執行速度，而且TestNG對多線程提供了很好的支持，即使是菜鳥也可以方便地上手多線程。 前言 最近在做項目裏的自動化測試工作，使用的是TestNG測試框架，主要涉及的測試類型有接口測試以及基於業務實際場景的場景化測試。由於涉及的場景大多都是大數據的作業開發及執行（如MapReduce、Spark、Hql

spark , Test , 大數據 , 用例 , TMS Sparkle , ide

收藏 評論

starrocks 頭像

StarRocks - 從InfluxDB到StarRocks：Grab實現Spark監控平台10倍性能提升

Grab 是東南亞領先的超級應用，業務涵蓋外賣配送、出行服務和數字金融，覆蓋東南亞八個國家的 800 多個城市，每天為數百萬用户提供一站式服務，包括點餐、購物、寄送包裹、打車、在線支付等。 為了優化 Spark 監控性能，Grab 將其 Spark 可觀測平台 Iris 的核心存儲遷移至 StarRocks，實現了顯著的性能提升。新架構統一了原本分散在 Grafana 和 Superse

spark , 大數據 , iris , 數據庫 , 物化視圖

收藏 評論

u_16099335 頭像

碼海無壓 - digispark驅動下載

第一種：JDBC-ODBC橋 Jdbc-odbc橋是sun公司提供的，是jdk提供的的標準api。這種類型的驅動實際是把所有jdbc的調用傳遞給odbc，再由odbc調用本地數據庫驅動代碼。（本地數據庫驅動代碼是指由數據庫廠商提供的數據庫操作二進制代碼庫，例如在oracle for windows中就是oci dll文件) 只要

spark , digispark驅動下載 , 大數據 , jdbc , API , 數據庫 , 數據庫驅動程序

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 -- 基於 Java 的大數據實時流處理在能源行業設備狀態監測與故障預測中的應用

(centerJava 大視界 -- 基於 Java 的大數據實時流處理在能源行業設備狀態監測與故障預測中的應用/center) 引言： 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！在《大數據新視界》和《 Java 大視界》系列的探索之旅中，我們已一同領略 Java 大數據在多個領域的非凡魅力。從智能教育領域用數據重塑教學模式，到智能安

spark , 大數據 , yyds乾貨盤點 , 數據 , JAVA

收藏 評論

u_16213703 頭像

mob64ca14150f43 - spark3 用户權限管理

1 配置 export SCALA_HOME=/Users/zhaoshuai11/work/scala-2.12.14 export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_192.jdk/Contents/Home ## 指定spark老大Master的IP和提交任務

spark , spark3 用户權限管理 , 大數據 , 學習 , hadoop

收藏 評論

tech 頭像

青雲交技術圈 - Java 大數據機器學習模型在自然語言處理中的對抗樣本生成與防禦機制研究

(centerJava 大視界 -- Java 大數據機器學習模型在自然語言處理中的對抗樣本生成與防禦機制研究/center) 引言： 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！凌晨三點的硅谷實驗室裏，研究員 Lisa 盯着屏幕上不斷跳動的代碼，眉頭緊鎖。她剛剛收到某知名電商平台的緊急求助 —— 其智能評論審核系統突然將大量差評誤判為

機器學習 , spark , 大數據 , yyds乾貨盤點 , Deeplearning4j , NLP對抗樣本 , JAVA

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 -- 基於 Java 的大數據實時流處理在智能電網電力負荷預測與調度優化中的應用

(centerJava 大視界 -- 基於 Java 的大數據實時流處理在智能電網電力負荷預測與調度優化中的應用/center) 引言： 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！在 “雙碳” 目標與新型電力系統建設的雙重驅動下，智能電網正加速向數字化、智能化轉型。國家能源局《2024 年全國電力工業統計數據》顯示，我國電網調度自動化

spark , 大數據 , yyds乾貨盤點 , 數據 , kafka , apache

收藏 評論

u_13521 頭像

cnolnic - PySpark ML常用轉換器

一、核心架構圖 二、角色分析 在Driver端，通過Py4j實現在Python調用Java的方法，即將用户寫得PySpark程序“映射”到JVM中，例如，用户在PySpark中實例化一個Python的SparkContext對象，最終會在JVM中實例化Scala的SparkContext對象 在Executor端，則

spark , 大數據 , big data , PySpark ML常用轉換器 , JAVA , Python

收藏 評論

u_12204 頭像

桃太郎 - Python 數據科學入門教程：OpenCV

此文章一共分為四篇 第一篇入門篇（本篇） 第二篇 基礎篇 第三篇 進階篇 第四篇 項目篇 在這篇系列文章中，我將帶你從“完全小白”一路打怪升級到能動手做真實項目。 不堆術語、不講空話，只用你能跑通的代碼 + 能看懂的圖解 + 踩過的坑總結， 手把手拆解 OpenCV

spark , 大數據 , 圖像處理 , 視覺項目 , 計算機視覺 , opencv , Python

收藏 評論

u_16213668 頭像

mob64ca140caeb2 - 排名前十的倉庫管理系統大盤點（真實測評）！_倉儲管理系統

WMS倉庫管理系統十大排名推薦：企業數字化倉儲首選解決方案指南 一、WMS系統市場概況與選型指南 在數字經濟時代，倉庫管理系統（WMS）已成為企業供應鏈數字化轉型的核心基礎設施。根據IDC最新調研報告顯示，2024年中國WMS市場規模突破200億元，年增長率達25%，其中SaaS化部署模式佔比超過60%。 企業在選擇WMS系統時，需要重點關注系統的智能化程度、行業適配

spark , 大數據 , 市場份額 , 倉庫管理系統 , 解決方案

收藏 評論