tag spark

標籤
貢獻106
213
05:15 PM · Oct 25 ,2025
tech 頭像 elhix0bg 頭像 u_15459354 頭像 zhaoqianglaoshi 頭像 u_15474939 頭像 baidujiagoushi 頭像 starrocks 頭像 u_16099267 頭像 u_15316473 頭像 journey_64224c9377fd5 頭像 u_16099172 頭像 u_106065 頭像

@spark / 博客 RSS 訂閱

u_15459354 頭像

ApacheSeaTunnel - Apache SeaTunnel 如何將 CDC 數據流轉換為 Append-Only 模式？

RowKindExtractor 是 Apache SeaTunnel 的一個轉換插件，它能將 CDC 數據流轉為 Append-Only 模式，並提取原始 RowKind 信息為新字段。本文將介紹 RowKindExtractor 的核心功能，其在 CDC 數據同步場景下的使用方法，以及配置選項、注意事項及多種應用示例。 RowKindExtractor RowKindE

spark , 大數據 , 數據 , 數據轉換 , 開源 , seatunnel

收藏 評論

u_16213676 頭像

mob64ca140e76c8 - 網站優化超越競爭對手的核心因素

一位行業朋友最近愁眉不展地問我："我發現我們的競爭對手在的業務規模下，軟件許可成本比我們低30%，這讓我們在市場競爭中處處受限，怎麼破？" 2025年初，一位經營着中型企業的老總在問我的問題，彷彿他説的是20年前的困惑。而現在，軟件許可優化這一話題已經成為企業數字化轉型中大多數公司CEO極其關注的核心議題。 一、認清成本差距的本質：不只是算術問題 我

spark , 商業 , 大數據 , 數據 , 數據驗證

收藏 評論

u_16213675 頭像

mob64ca140e4022 - airflow spark 區別

Ref: https://airflow.apache.org/ Ref: Extra Packages Ref: https://github.com/tuanavu/airflow-tutorial[youtube教程和代碼] 有點太全了，還是i一步一步的學習的代碼demo為好。 Ref: How to write your first DAG

spark , airflow spark 區別 , 大數據 , 數據 , Docker , apache

收藏 評論

u_16213575 頭像

墨舞青雲 - 人工智能 - Spark—15分鐘教程 - 個人文章

10分鐘上手Magika+Spark：超大規模文件類型智能檢測方案 你是否還在為大數據平台中PB級文件的類型識別而煩惱？傳統工具要麼準確率不足，要麼處理速度跟不上業務需求。本文將帶你實現Magika與Spark的無縫集成，藉助Magika的AI深度學習模型（99%+準確率、毫秒級響應）和Spark的分佈式計算能力，輕鬆應對億級文件類型檢測挑

spark , 加載 , aigc , bard , SQL

收藏 評論

elhix0bg 頭像

阿里雲大數據AI - Fusion引擎賦能：流利説如何用阿里雲Serverless Spark實現數倉計算加速

作者：流利説 Ibson（大數據負責人）/ Bruce（數據工程師） 背景介紹 行業 流利説是領先的科技驅動的教育公司，公司自主研發了領先的英語口語評測、寫作打分引擎和深度自適應學習系統，致力於為用户提供一整套系統性的英語學習解決方案，從聽、説、讀、寫多個維度提升用户的英語水平。 業務特徵 AI 打分：利用大數據和人工智能算法對用户英語口語評測、

spark , 大數據 , 數據庫 , 人工智能 , 數據處理

收藏 評論

u_16175466 頭像

mob649e815c3b9e - spark 追加表 saveAsTable 參數

在使用 Apache Spark 的過程中，尤其是使用 saveAsTable 方法進行表的追加寫入時，可能會出現一些問題，這不僅影響了業務的穩定性，也影響了數據的準確性和完整性。因此，本文將詳細記錄如何解決與“spark 追加表 saveAsTable 參數”相關的問題，幫助大家更好地理解和使用 Spark。 背景定位 在某個項目中，我們使用 Apache Spark 處理大規

spark , 數據 , hive , aigc

收藏 評論

u_16213606 頭像

mob64ca13fdd43c - 究諸經典，探尋大模型演變之蹤跡_人工智能_Baihai IDP

關聯知識庫：# 大語言模型學術史：從分佈式表示到Transformer的演進路徑（Gregory Gundersen 2025） 大語言模型學術史：從分佈式表示到Transformer的演進路徑 發佈時間：2025年10月1日 核心主題：追溯大語言模型背後的核心思想的學術歷史 哲學視角：技術演進中

spark , 大數據 , 神經網絡 , 語言模型 , 並行化

收藏 評論

u_16099271 頭像

代碼魔術師之手 - 2011-2022年高職大數據競賽-賽題任務剖析

目錄 一、環境準備 （一）新建maven項目 （二）添加框架支持 （三）修改maven倉庫地址 （四）pom文件 （五）新建scala目錄 二、編寫具體代碼 （一）全量抽取 （二）增量抽取 題目一：兩個時

spark , 字段 , 大數據 , hive , Css , 前端開發 , HTML

收藏 評論

u_16213651 頭像

mob64ca14089531 - spark 心跳超時配置

Flask框架學習總結 Flask的特點 輕量、簡潔、擴展性強 常用的擴展包：wtf、sqlalchemy、login、script、migrate、mail 創建虛擬環境：mkvirtualenv 創建虛擬環境，workon 進入虛擬環境，deactivate退出虛擬環境

spark , 大數據 , 數據 , spark 心跳超時配置 , 狀態碼 , Python

收藏 評論

u_16213694 頭像

mob64ca1412b28c - 「RocketMQ技術專題」幫你梳理RocketMQ/Kafka的選擇理由及二者PK

一、先分清：兩家店 “主打啥”（定位） 店類型 對應 MQ 主打能力（一句話） 像生活裏的啥？

spark , 定時任務 , 大數據 , 高可用

收藏 評論

u_87634 頭像

新新人類 - Spark大數據分析技術 spark 大數據

Apache Spark最初在2009年誕生於美國加州大學伯克利分校的APM實驗室，並於2010年開源，如今是Apache軟件基金會下的頂級開源項目之一。Spark的目標是設計一種編程模型，能夠快速地進行數據分析。Spark提供了內存計算，減少了IO開銷。另外Spark是基於Scala編寫的，提供了交互式的編程體驗。經過10年的發展，Spark成為了炙手可熱的大數據處理平台，目前

spark , Spark大數據分析技術 , 大數據 , 搜索 , 應用程序 , hadoop

收藏 評論

starrocks 頭像

StarRocks - StarRocks 助力首汽約車精細化運營

作者：任智紅，首汽約車大數據負責人 更多交流，聯繫我們:https://wx.focussend.com/weComLink/mobileQrCodeLink/334%201%2... 導讀：本文整理自汽首約車大數據負責人任智紅在 StarRocks 年度峯會上的演講，介紹了 StarRocks 在公司內部的應用。主要業務場景包括： 運效診斷與干預：實現秒級數據接入和計算，分鐘級生

spark , 數據庫 , 數據分析 , 數據查詢

收藏 評論

u_15459354 頭像

ApacheSeaTunnel - Apache SeaTunnel 社區年終盤點

Apache SeaTunnel 的社區成員、開發者、合作伙伴以及關心我們的朋友們： 2025 匆匆而過，Apache SeaTunnel 卻在這一年裏收穫了滿滿的成長與驚喜！作為全球增長最快的數據集成項目之一，我們看着 GitHub 上的 Star 和 Fork 數一路攀升，關注的目光越來越多；我們迭代發佈多個重要版本，打磨核心引擎、豐富連接器生態、新增實用功能，讓數據集成的性能、

spark , 年終總結 , 大數據 , 數據 , 數據集成 , apache

收藏 評論

u_16213665 頭像

mob64ca140beea5 - Spark機器學習實戰 (十二) - 推薦系統實戰 - JavaEdge的個人空間 -

Spark Cluster模式下DDP網絡配置解析 問題的核心 在Spark cluster模式下，executor是動態分配的，這引發了一個問題： DDP需要master_addr和master_port 但我們怎麼知道executor的IP？ 端口會不會衝突？ 關鍵理解：DDP進程都在同一個E

機器學習 , spark , 人工智能 , 深度學習 , 網絡 , Css , 前端開發 , HTML

收藏 評論

u_16099325 頭像

數據小築 - 關於數據中台建設，“新舊”兩種思路對比_51CTO博客

🔥🔥 AllData大數據產品是可定義數據中台，以數據平台為底座，以數據中台為橋樑，以機器學習平台為中層框架，以大模型應用為上游產品，提供全鏈路數字化解決方案。 杭州奧零數據科技推出的AIIData數據中台，以“商業版+開源版雙選擇”模式，為企業提供了一條低成本、高靈活性的數字化轉型路徑。 一、開源版+商業版雙模式 1.商業版：穩定

spark , 鏈路 , 大數據 , 數據 , 架構 , 開源

收藏 評論

u_19261 頭像

戀上一隻豬 - pycharm搭建spark環境 - jackmanwu的個人空間 -

本教程使用所有軟件版本：pycharm 25.2 ，spark 3.4.2 ，hadoop 3.3.3 一 確認虛擬環境中已安裝pyspark source /home/hadoop/.virtualenvs/PythonProject1/bin/activate pip show pyspark 運行結果如圖：

spark , 大數據 , pycharm , ide

收藏 評論

a_yu_super 頭像

企業任務調度平台 - Spark與Hive的完美結合：如何在Spark上部署Hive

主要記錄如何安裝配置 Hive on Spark，在執行以下步驟之前，請先確保已經安裝 Hadoop 集羣，Hive，MySQL，JDK，Scala，具體安裝步驟不再贅述。 背景 Hive 默認使用 MapReduce 作為執行引擎，即 Hive on mr。實際上，Hive 還可以使用 Tez 和 Spark 作為其執行引擎，分別為 Hive on Tez 和 Hive on Spark。由於

spark , cloudera , yarn , hive , hadoop

收藏 評論

elhix0bg 頭像

阿里雲大數據AI - 迅雷基於阿里雲 EMR Serverless Spark 實現數倉資源效率與業務提升

劉敏|迅雷大數據平台負責人 尤帥|迅雷大數據平台資深工程師 陳照|阿里雲公共雲業務事業部解決方案架構師 潘錦棉|阿里雲公共雲業務事業部解決方案架構師 劉瑞偉|阿里雲公共雲業務事業部大數據解決方案架構師 一、背景介紹 企業簡介 迅雷（納斯達克股票代碼：XNET）作為全球分佈式技術領域的先行者，以技術構建商業，以服務創造共識，從而建立一個高效可信的存儲與傳輸網絡。 自2003年

spark , 阿里雲

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 -- Java 大數據在智能教育學習效果評估與教學質量改進實戰

(centerJava 大視界 -- Java 大數據在智能教育學習效果評估與教學質量改進實戰/center) 引言： 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！在《大數據新視界》和《 Java 大視界》專欄攜手探索技術前沿的旅程中，我們一同見證了 Java 大數據在多個領域的輝煌成就。 如今，教育領域正面臨着新的挑戰與機遇，傳統

spark , 大數據 , yyds乾貨盤點 , Java大數據 , AI , JAVA , 智能教育

收藏 評論

elhix0bg 頭像

阿里雲大數據AI - 阿里雲 EMR Serverless Spark： 面向 Data+AI 的高性能 Lakehouse 產品

作者：玄橙 - 阿里雲 EMR Serverless Spark 產品專家 EMR Serverless Spark 是一款面向 Data+AI 的高性能 Lakehouse 產品。它為企業提供了一站式的數據平台服務，包括任務開發、調試、調度和運維等，極大地簡化了數據處理和模型訓練的全流程。同時，它100%兼容開源 Spark 生態，能夠無縫集成到客户現有的數據平台。使用 EMR Serverle

spark , 大數據 , 人工智能 , serverless , 數據處理

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 -- Java 大數據機器學習模型在自然語言處理中的對抗樣本生成與防禦機制研究

(centerJava 大視界 -- Java 大數據機器學習模型在自然語言處理中的對抗樣本生成與防禦機制研究/center) 引言： 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！凌晨三點的硅谷實驗室裏，研究員 Lisa 盯着屏幕上不斷跳動的代碼，眉頭緊鎖。她剛剛收到某知名電商平台的緊急求助 —— 其智能評論審核系統突然將大量差評誤判為

spark , NLP對抗 , 自然言語 , 大數據 , yyds乾貨盤點 , Deeplearning4j , 對抗樣本 , JAVA

收藏 評論

u_16213582 頭像

mob64ca13f7ecc9 - Linux 進去Spark sql

Tom,DataBase,80 Tom,Algorithm,50 Tom,DataStructure,60 Jim,DataBase,90 Jim,Algorithm,60 Jim,DataStructure,80 ....... 根據給定的數據在spark-shell中通過編程來計算以下內容 （1） 該系總共有多少學生；

spark , 大數據 , 數據 , Linux 進去Spark sql , SQL

收藏 評論

u_12207 頭像

衞斯理 - spark sql中over函數range和rows框架

本文基於 sqlite3 進行測試，準備工作如下 import sqlite3 conn = sqlite3.connect('window.db') cur = conn.cursor() ##### 原始數據 sql = '''select * from window;''' cur.execute(sql) print(cur.fetchall()) #

spark , 大數據 , sqlite , SQL , 窗口函數

收藏 評論

elhix0bg 頭像

阿里雲大數據AI - 兩項世界第一！阿里雲EMR登頂全球數據倉庫性能及性價比排行榜

節前，和大家分享一個好消息： 阿里雲EMR在全球數據倉庫性能及性價比排行榜中斬獲兩項全球冠軍！ 在“數據分析”性能測試TPC-H榜單中，阿里雲EMRServerlessStarRocks（Stella1.2.0內核）以QphH超754萬分的性能結果斬獲全球冠軍，領先第二名111%； 在“決策支持類”性能測試TPC-DS榜單中，阿里雲EMRServerlessSpark（Fusion2.0內

spark , 阿里雲 , starrocks

收藏 評論