tag 大數據

標籤
貢獻412
479
05:15 PM · Oct 25 ,2025
tech 頭像 nebulabio 頭像 u_16272508 頭像 elhix0bg 頭像 u_15844731 頭像 u_14767244 頭像 dolphinscheduler 頭像 ververica 頭像 seatunnel 頭像 zhaoqianglaoshi 頭像 huikaichedemianbao 頭像 u_15591410 頭像

@大數據 / 博客 RSS 訂閱

u_15459354 頭像

ApacheSeaTunnel - Apache SeaTunnel 如何將 CDC 數據流轉換為 Append-Only 模式？

RowKindExtractor 是 Apache SeaTunnel 的一個轉換插件，它能將 CDC 數據流轉為 Append-Only 模式，並提取原始 RowKind 信息為新字段。本文將介紹 RowKindExtractor 的核心功能，其在 CDC 數據同步場景下的使用方法，以及配置選項、注意事項及多種應用示例。 RowKindExtractor RowKindE

spark , 大數據 , 數據 , 數據轉換 , 開源 , seatunnel

收藏 評論

u_16099220 頭像

數碼精靈abc - 範圍查詢索引會失效麼

在計算機科學中，k-d樹（k-dimensional的縮寫）是一種空間劃分數據結構，用於組織k維空間中的點。主要應用於多維空間關鍵數據的搜索（如：範圍搜索和最近鄰搜索）。k-d樹是空間二分樹（Binary space partitioning ）的一種特殊情況。 索引結構中相似性查詢有兩種基本的方式： 一種是範圍查詢（range s

機器學習 , 範圍查詢索引會失效麼 , 大數據 , 搜索 , 算法 , 數據倉庫 , 子節點

收藏 評論

u_87851 頭像

人類新新 - 大數據技術之_27_電商平台數據分析項目_03

目錄 實現步驟： 1、Hive數倉建模 2、執行Hive建表腳本 3、業務分析 ①基礎驗證腳本 ②業務分析腳本 4、提交到git倉庫（對應自己的文件） 案例小結 實現步驟： 1、Hive數倉建模 在scripts目錄創建 HQL 腳本，定義兩層表結構，直接關聯 HDFS 清洗後的數

User , 數據挖掘 , 大數據 , hive , 數據分析

收藏 評論

seatunnel 頭像

SeaTunnel - 喜報！白鯨開源 CEO 榮登「2025 中國數智化轉型升級先鋒人物」榜

2025年9月8日，由數智猿×數據猿聯合主辦，中關村科學城公司協辦，中國經濟信息社×北京軟件和信息服務業協會×中國互聯網協會數字化轉型與發展工作委員會×上海大數據聯盟作為支持單位，以 “破界·反捲” 為主題的 “2025第五屆數智化轉型升級發展論壇——暨AI大模型AI Agent趨勢論壇” 成功舉辦，並首次對外公佈了 《2025中國數智化轉型升級先鋒人物》榜單/獎項 等七大榜單，展示了“中國數智

大數據 , 科技 , 開源 , 技術

收藏 評論

kamier 頭像

kamier - 【Hadoop】HDFS架構解析

一、HDFS簡介 HDFS（Hadoop Distributed File System）是一個分佈式文件系統，它的主要設計目標是為了解決‌存儲和處理大規模數據的挑戰‌，尤其針對‌低成本硬件集羣‌和‌高吞吐量批處理‌場景。其有以下幾個主要特性： 跨平台（底層由Java開發，天然支持跨平台部署） 高容錯（數據冗餘存儲，數據塊默認有3個副本） 高吞吐（並行讀取或寫入多個數據塊，且是順序讀寫，流

hdfs , 大數據 , hadoop

收藏 評論

u_16099314 頭像

技術極客 - hive 中括號雙引號數據格式 提取

Hive 是基於Hadoop 構建的一套數據倉庫分析系統，它提供了豐富的SQL查詢方式來分析存儲在Hadoop 分佈式文件系統中的數據，可以將結構 化的數據文件映射為一張數據庫表，並提供完整的SQL查詢功能，可以將SQL語句轉換為MapReduce任務進行運行，通過自己的SQL 去查詢分析需 要的內容，這套SQL 簡稱Hive SQL

hive 中括號雙引號數據格式 提取 , 大數據 , 數據 , hive

收藏 評論

u_16213683 頭像

mob64ca14101b2f - oracel 分區表不走normal索引

表空間是指磁盤上的一塊存儲區域，用來存放表。 　　使用範圍分區法對數據量大的表進行分區，分區存放到不同的表空間。 　　範圍分區就是用表中的某個字段值的範圍進行分區。 　　比如： 　　1）用數值型的id字段,id100000的在第1個分區，100000=id200000的在第二個分區。 　　2）用日期類型的字段，2011年的數據在一個分區，2012年的

字段 , 表空間 , 大數據 , 數據 , 數據倉庫

收藏 評論

u_16099176 頭像

IT劍客風雲 - 大數據未來發展的七大趨勢

大數據展望 隨着信息技術的飛速發展，大數據已經成為推動社會進步和商業創新的重要力量。它不僅僅是海量數據的簡單堆砌，更是對這些數據進行深度挖掘和分析的過程，以期從中發現有價值的信息和知識。 在商業領域，大數據的應用前景廣闊。企業可以利用大數據分析消費者行為，優化產品設計，提高營銷效率，甚至預測市場趨勢。通過對數據的實時監控和分析，企業能夠更快地

商業 , 大數據 , 數據 , Css , 前端開發 , HTML

收藏 評論

u_15444 頭像

gulaotou - QT和C#究竟選哪個_c#和qt

C# 桌面框架與 Qt 對比分析 本文主要是豆包生成，本人根據實際情況有所修改 一、文檔簡介 本文圍繞 C# 生態主流桌面框架（MAUI、Avalonia、WinUI 3）與 Qt（C++ 跨平台框架）展開對比，從開發效率、跨平台能力、界面生態等核心維度分析差異，為不同場景下的框架選擇提供參考。適用人羣為桌面應用開發者、技術選型負責人，

控件 , 大數據 , qt , 開發語言 , hadoop , c

收藏 評論

u_14767244 頭像

u_14767244 - Apache Doris 4.0.2 版本正式發佈

親愛的社區小夥伴們，**Apache Doris 4.0.2 版本已正式發佈。**此版本新增了在 AI Search、函數、物化視圖、Lakehouse 等方面的功能，並同步進行了多項優化改進及問題修復，歡迎下載體驗！ GitHub 下載：https://github.com/apache/doris/releases 官網下載：https://doris.apach

大數據 , hive , 數據倉庫 , 人工智能 , 物化視圖 , apache

收藏 評論

u_15591410 頭像

我就是不長肉而已 - B5819W-ASEMI可直接替代安世PMEG4010CEGW

編輯：ll B5819W-ASEMI可直接替代安世PMEG4010CEGW ASEMI首芯半導體可替代安氏半導體功率器件 型號：B5819W 品牌：ASEMI 封裝：SOD-123 正向電流：1A 反向電壓：40V 正向壓降：0.44V~0.47V 引線數量：2 芯片個數：1 芯片尺寸：MIL 漏電流：10u

ASEMI , 大數據 , B5817W , hadoop , 在51CTO的第一篇博文 , 二極管

收藏 評論

u_16213584 頭像

mob64ca13f87273 - C++實現

1 ~ 初識紅黑樹：概念熟悉 紅黑樹也是一棵二叉搜索樹，其每個結點會增加一個存儲位（顏色存儲位），用來表示結點的顏色（兩種顏色），可以是紅色或者黑色（因此被稱為紅黑樹）。通過對任何一條從根到葉子的路徑上各個結點的顏色進行約束，紅黑樹確保沒有一條路徑會比其他路徑長出2倍，因而是接近平衡的，也就是説，紅黑樹是近似平衡的，這裏提前説一句，因為紅黑樹是近似平衡的，所以紅黑樹的插入的

紅黑樹 , 大數據 , 開發語言 , c++ , 後端開發 , 人工智能 , Python

收藏 評論

u_16213662 頭像

mob64ca140b466e - Windows Hadoop版本下載

相關內容：hadoop2.5.2彙總：新增功能最新編譯 32位、64位安裝、源碼包、API、eclipse插件下載Hadoop2.5 Eclipse插件製作、連接集羣視頻、及hadoop-eclipse-plugin-2.5.0插件下載hadoop2.5.1彙總：最新編譯 32位、64位安裝、源碼包、API下載及新特性等新手指導：hadoop官網介紹及如何下載hadoop（2.4

大數據 , hadoop , Windows Hadoop版本下載 , apache

收藏 評論

kpaas 頭像

KPaaS集成擴展平台 - 聚水潭如何自動同步銷售出庫單到金蝶雲星空？購銷業務集成

在“以銷定採、快反快供”成為電商運營核心邏輯的今天，企業對前後端系統協同效率的要求前所未有地提高。前端依賴聚水潭等電商SaaS平台快速響應市場訂單、高效管理倉配；後端則依託金蝶雲·星空實現財務合規、成本核算與供應鏈計劃。然而，若兩者之間僅靠人工導表或簡單接口對接，極易在採購入庫、銷售出庫等關鍵業務環節出現斷點——不僅拖慢履約速度，更可能引發賬實不符、税務風險和客户投訴。 本

大數據 , yyds乾貨盤點 , 數據孤島解決方案 , 數據倉庫 , 異構數據整合 , 數據一致性 , etl , 數據集成與應用集成

收藏 評論

u_12227 頭像

軒轅 - spring mybatis集成hive 使用mapper操作數據

（五）Spring-spring和mybatis的整合 一、整合要點 1.1 準備工作 spring和mybatis的官網整合地址為： http://www.mybatis.cn/archives/769.html 需要導入依賴： dependency groupIdorg.mybatis/groupId artifactId

spring , 大數據 , hive , xml , SQL

收藏 評論

yunshu_blog 頭像

雲叔_又拍雲 - 有贊個性化推薦能力的演進與實踐

日前，由又拍雲舉辦的大數據與 AI 技術實踐｜Open Talk 杭州站沙龍在杭州西溪科創園順利舉辦。本次活動邀請了有贊、個推、方得智能、又拍雲等公司核心技術開發者，現場分享各自領域的大數據技術經驗和心得。以下內容整理自有贊數據智能團隊負責人尹越現場分享： 尹越，有贊數據智能團隊負責人，與團隊成員一起承擔有贊搜索、推薦、客服機器人、智慧零售、風控、會員營銷等多場景的數智化建設的職責。 大家好，我是

大數據 , 雲計算 , 又拍雲 , 雲存儲 , 雲服務

收藏 評論

elhix0bg 頭像

阿里雲大數據AI - 阿里雲技術公開課：基於阿里雲 Elasticsearch 構建 AI 搜索和可觀測 Chatbot

公開課簡介 時間：12月27日晚 7:30 - 8:15 直播間地址：https://developer.aliyun.com/topic/aisearch2025 講師介紹： 槐新 | 阿里雲 Elasticsearch 引擎研發工程師 朱傑 | Elastic 中國首席解決方案架構師、Elastic 社區和阿里雲Elasticsearch社區佈道者 主要內容： 深入解析阿里雲Elastic

elasticsearch , 大數據 , 搜索 , 阿里雲 , 人工智能

收藏 評論

u_16213646 頭像

mob64ca140761a4 - openstack雲平台搭建 可用內存

一、互聯網行業及雲計算 在互聯網時代，技術是推動社會發展的驅動，雲計算則是一個包羅萬象的技術棧集合，通過網絡提供IAAS、PAAS、SAAS等資源，涵蓋從數據中心底層的硬件設置到最上層客户的應用。給我們工作生活提供服務！ 1、互聯網大事記 1936年 英國數學家A.M.Turing發明圖靈機，為現代計算機硬件和軟件做了理論上的準備。艾倫·麥席森·圖

虛擬化 , 大數據 , 雲計算 , OpenStack , 人工智能 , openstack雲平台搭建 可用內存

收藏 評論

kpaas 頭像

KPaaS集成擴展平台 - 連鎖餐飲系統集成方法論：從點對點到中台化的演進之路

業務背景 在過去十年，中國餐飲行業經歷了快速連鎖化的過程。根據《中國餐飲連鎖化發展白皮書》數據顯示，截至 2024 年，全國餐飲收入 5.5 萬億元，連鎖化率已從 2021 年的 18% 提升至 23%。頭部品牌如西貝、綠茶、蜜雪冰城、瑞幸咖啡等，門店規模動輒上千甚至上萬。 隨着規模的擴大，信息系統建設呈現出以下特點： 系統數量劇增 門店：POS

大數據 , yyds乾貨盤點 , 數據孤島解決方案 , 數據倉庫 , 異構數據整合 , 異構系統集成 , 數據一致性 , 數據集成與應用集成

收藏 評論

zhongkejin 頭像

中關村科金 - Mobpush上線跨時區推送功能，助力中國開發者應用出海

近年來隨着國內移動應用存量市場飽和，國內移動應用廠商轉向”移動出海“，把握國際市場中存在結構性發展機會，提升中國品牌移動應用的知名度和影響力。根據公開資料顯示，中國應用開發者中有79.1%計劃出海，其中43%的開發者已經將自己的應用推廣至海外。然而，由於海外用户和應用開發者處在不同時區，如何選擇合適的時間發送推送和通知成為困擾着應用開發者的難題。 近日，MobPush智能消息推送服務全新上線了全球

大數據 , 移動app , 開發者

收藏 評論

u_15879876 頭像

Aloudata - AI 數據分析的終點不止數據探查，要構建“智能問數-歸因分析-決策建議”價值閉環

在數字化轉型浪潮中，企業每天產生海量數據，但“數據爆炸”與“決策困難”的矛盾愈發尖鋭。隨着 Data + AI 的融合創新，以 ChatBI 為代表的 AI 數據分析工具開始爆火。 但大多數 AI 數據分析工具往往止步於“智能問數”，難以給出深層次的分析洞察，特別是對於異常數據表現，無法下鑽和歸因分析，難以為業務決策提供有效支持。 因此，一款優秀的 AI 數據分析工具

大數據 , 數據 , 自然語言 , 數據倉庫 , dataagent , 數據分析 , chatbi

收藏 評論

u_14405 頭像

fjfdh - uploadArchives 包括源碼

Web Uploader內部類的詳細説明，以下提及的功能類，都可以在WebUploader這個變量中訪問到。 As you know, Web Uploader的每個文件都是用過AMD規範中的define組織起來的, 每個Module都會有個module id. 默認module id為該文件的路徑，而此路徑將會轉化成名字空間存放在WebUploader中。如：

uploadArchives 包括源碼 , 大數據 , hive , 上傳 , 默認值 , Boo

收藏 評論

u_16213676 頭像

mob64ca140e76c8 - 網站優化超越競爭對手的核心因素

一位行業朋友最近愁眉不展地問我："我發現我們的競爭對手在的業務規模下，軟件許可成本比我們低30%，這讓我們在市場競爭中處處受限，怎麼破？" 2025年初，一位經營着中型企業的老總在問我的問題，彷彿他説的是20年前的困惑。而現在，軟件許可優化這一話題已經成為企業數字化轉型中大多數公司CEO極其關注的核心議題。 一、認清成本差距的本質：不只是算術問題 我

spark , 商業 , 大數據 , 數據 , 數據驗證

收藏 評論

u_16213675 頭像

mob64ca140e4022 - airflow spark 區別

Ref: https://airflow.apache.org/ Ref: Extra Packages Ref: https://github.com/tuanavu/airflow-tutorial[youtube教程和代碼] 有點太全了，還是i一步一步的學習的代碼demo為好。 Ref: How to write your first DAG

spark , airflow spark 區別 , 大數據 , 數據 , Docker , apache

收藏 評論