tag 大數據

標籤
貢獻412
510
05:15 PM · Oct 25 ,2025
tech 頭像 nebulabio 頭像 u_16272508 頭像 elhix0bg 頭像 u_15844731 頭像 u_14767244 頭像 dolphinscheduler 頭像 ververica 頭像 seatunnel 頭像 zhaoqianglaoshi 頭像 huikaichedemianbao 頭像 u_15591410 頭像

@大數據 / 博客 RSS 訂閱

seatunnel 頭像

SeaTunnel - LLM 時代，DataAgent × WhaleTunnel 如何將數據庫變更瞬時 “轉譯” 為洞察？

在軟件世界中，用户的形態正在發生變化。 過去，軟件的使用者是工程師、分析師或運維人員；而如今，他們正在被一羣“數字化身”——Agent 所取代。AI 不再只是一個算法模型，而是逐漸演變為能理解業務語境、自動執行任務、並進行協同決策的智能體。 隨着大模型技術的快速成熟，這場以 “Agent 化” 為核心的軟件革命，正推動企業數據系統從傳統的自動化，走向真正的智能化。 在這一趨勢中，數據基礎設施的智

llm , 數據同步 , 大數據 , 開源 , seatunnel

收藏 評論

huikaichedemianbao 頭像

合合技術團隊 - 啓信寶獲得法博會“行業洞見獎”，相關服務即將登陸“深律通”

為構建多元聯動、創新開放的法律服務體系，近日，以“以法律創新護航科技與產業創新”為主題的2025深圳法律服務博覽會（下稱“法博會”）順利舉辦，吸引國內外權威機構和行業專家參與。合合信息旗下啓信寶憑藉其在法律科技領域的創新應用，於法律科技產品大賽中斬獲“行業洞見獎”。該獎項由深圳市律師協會組織評選，體現了法律行業對啓信寶產品創新性、實用性與可推廣性的權威認可。後續啓信寶相關功能將正式接入深圳市律師協

大數據 , 算法 , 人工智能

收藏 評論

liudamao 頭像

劉大貓 - Redis 搭建主從複用-讀寫分離和主備切換,及重要的關鍵詞解釋 部分2

# 3.10註釋公共配置追加文件 根據需求配置是否打開追加文件選項 appendonly yes - 每當 Redis 執行一個改變數據集的命令時（比如 SET），這個命 令就會被追加到 AOF 文件的末尾。這樣的話，當 Redis 重新啓時，程序就可以通過重新執 行 AOF 文件中的命令來達到重建數據集的目的。 3.11從服務器默認是隻讀不允許寫操作(不用修改) 4. 添

大數據 , 雲計算 , 算法 , 物聯網 , 人工智能

收藏 評論

hangzhoukaiyunjizhikejiyouxiangongsi 頭像

clougence - 百草味數據架構升級實踐：打造 Always Ready 的企業級數據平台

朱齊天，百草味數據部負責人 前言 百草味是國內知名的休閒零食品牌，業務覆蓋線上電商平台與線下零售渠道，服務用户超過 2 億。隨着商品 SKU 數量劇增和渠道多元化發展，百草味在供應鏈、運營、銷售等環節積累了海量數據，對數據的依賴也日益增強。 在這一背景下，百草味選擇與 CloudCanal 合作，構建統一的數據集成平台，支撐數據驅動的業務運營與決策。 業務背景 百草味的業務涵蓋從原料採購、生

大數據 , MySQL , 數據庫 , starrocks , 數據分析

收藏 評論

leguandeludeng 頭像

數據集成與治理 - 終於有人把數據庫搭建講清楚了

在信息時代，數據已成為最寶貴的資產。 如何科學地管理這些數據，讓它們從雜亂的信息碎片成為有序的知識寶藏？ 我們可以藉助數據庫來實現，數據庫能讓數據管理變得高效可靠。 你看，從網站用户信息到購物記錄，從業務報表到日誌數據，幾乎所有現代應用都離不開數據庫的支撐。 今天我就來給大家聊聊數據庫怎麼搭建，有哪些困難和挑戰，在今後發展中，它有着什麼樣的發展趨勢。 一、數據庫的定義 數據庫，就是一個高度結構化的

觀點 , 大數據 , 教程 , 數據庫

收藏 評論

huikaichedemianbao 頭像

合合技術團隊 - 讓大模型一鍵“讀懂”全球文檔，合合信息攜手火山引擎打造AI智能體新範式

當前，大模型的發展正加速進入“強應用”階段。中國信通院7月數據顯示，國內已發佈大模型超過1500個。如何打通諸多大模型落地的“最後一公里”，讓技術從“實驗室”走向“生產線”，成為全行業共同探索的課題。 近日，由合合信息TextIn打造，火山引擎提供平台支撐的“大模型加速器”升級版正式發佈。 雙方將共同打造文本智能領域的AI創新應用，為企業與開發者提供一站式AI工程化能力，通過補全“從模型到應用”的

大數據 , 算法 , 人工智能

收藏 評論

seatunnel 頭像

SeaTunnel - 結項報告完整版：Apache SeaTunnel 支持 Flink 引擎 Schema Evolution 功能

過去兩週，我們對開源之夏活動中表現優異的開發者們進行了簡單的採訪，初步粗略地瞭解了一下他們的開發過程和心得體會。今天，我們將通過同學們的完整結項報告，深入瞭解項目的開發技術細節，希望能夠幫助大家更好地瞭解 Apache SeaTunnel 項目的最新進展。 接下來是關於在 Flink 引擎上對 Schema Evolution 功能的支持這一項目的完整報告： 一. 已完成工作 根據原定方案（htt

數據同步 , 大數據 , 開源 , seatunnel , flink

收藏 評論

seatunnel 頭像

SeaTunnel - 結項報告完整版 | Apache SeaTunnel支持metalake開發

過去兩週，我們對開源之夏活動中表現優異的開發者們進行了簡單的採訪，初步粗略地瞭解了一下他們的開發過程和心得體會。今天，我們將通過同學們的完整結項報告，深入瞭解項目的開發技術細節，希望能夠幫助大家更好地瞭解 Apache SeaTunnel 項目的最新進展。 接下來是關於Apache SeaTunnel支持metalake開發這一項目的完整報告： 一、項目背景 目前，Apache SeaTunnel

大數據 , 開源 , seatunnel , 開發者

收藏 評論

dolphinscheduler 頭像

海豚調度 - Apache DolphinScheduler 新增 gRPC 任務插件 | 開源之夏成果總結

今年的開源之夏活動已接近尾聲，Apache DolphinScheduler 社區的開發者在經過漫長的開發過程收穫了自己的成果，同時為 Apache DolphinScheduler 帶來了全新的任務插件 gRPC。 這項成果是由來自北京交通大學電氣工程專業的優秀同學趙海波帶來的，今天我們就來看看他是如何在本次活動中圓滿完成開發任務的吧！ 個人介紹 趙海波，北京交通大學 電氣工程專業 導師

大數據 , 任務調度 , 開源 , seatunnel

收藏 評論

dolphinscheduler 頭像

海豚調度 - 實戰乾貨：Apache DolphinScheduler 參數使用與優化總結

在使用 DolphinScheduler 進行數據調度開發的過程中，參數的靈活運用是提升任務複用性、動態化執行邏輯的關鍵。無論是日常跑批任務中的日期處理，還是複雜工作流中的上下游傳參，掌握參數的正確使用方式，能極大提高開發效率與任務健壯性。本文基於海豚調度3.1.9版本將系統梳理 DolphinScheduler 中各類參數的使用方法，涵蓋內置參數、衍生函數、日期計算、全局變量設置以及跨任務參數傳

dolphinscheduler , 大數據 , 開源 , 參數

收藏 評論

huikaichedemianbao 頭像

合合技術團隊 - 論文解讀 - 大型多模態模型中現實世界個性化基準測試

​一、簡要介紹 快速發展的大型多模態模型（LMMs）領域催生了多種具有顯著能力的模型。然而，現有的評估標準未能全面、客觀且準確地評估這些模型是否能滿足現實世界中人類的多樣化需求。為了解決這一問題，論文提出了多維度洞察（MDI）基準，該基準包含超過500張圖像，涵蓋了人類生活的六個常見場景。值得注意的是，MDI基準相比現有評估方法具有兩大優勢：(1)每張圖像都附有兩類問題：簡單問題用於評估模型對圖

大數據 , 算法 , 人工智能

收藏 評論

u_11920995 頭像

wx579efdd457bb0 - python ddt數據驅動

數據驅動的意義：在自動化測試當中，我們通常會將測試數據從測試代碼中抽離出來放在單獨的文件中，既能減少代碼量，也能降低代碼的維護成本，通過數據的改變從而驅動自動化測試的執行。接觸python自動化測試的第一個框架通常都是unittest，使用@ddt裝飾器來完成數據驅動，ddt意思就是 “Data-Driven Tests”。 項目目錄結構 使用pycharm新

大數據 , 數據倉庫 , 測試數據 , 自動化測試 , Json

收藏 評論

u_15844731 頭像

阿森CTO - 自定義類型：結構體深入解析

@TOC 📝前言 本小節，阿森繼續和你一起學習什麼是結構體？結構體類型的聲明和創建，然後就是結構體的初始化，隨即學習結構成員的訪問操作符來更好的打印結構體的數據，當然還有匿名結構體類型，和結構的自引用。文章乾貨滿滿，接下來我們就學習一下結構體吧 😃！ 🌠 什麼是結構體？ 結構體是一種用户定義的數據類型，它允許

大數據 , yyds乾貨盤點 , 初始化 , 操作符 , 數據倉庫 , 結構體指針

收藏 評論

u_15844731 頭像

阿森CTO - C++內存管理的機制

@TOC 📝new和delete操作自定義類型 我們先看malloc與free，調試可以發現並不會調用析構函數 class A { public: A(int a = 0) : _a(a) { cout "A():" this endl; } ~A() { cout "~A():" this endl; }

數組 , 大數據 , yyds乾貨盤點 , 數據倉庫 , 構造函數 , ci

收藏 評論

u_15844731 頭像

阿森CTO - 初始化列表與explicit

@TOC 📝再談構造函數 🌠 構造函數體賦值 在創建對象時，編譯器通過調用構造函數，給對象中各個變量一個合適的初始值 class Date { public: Date(int year, int month, int day) { _year = year; _month = month; _day = day;

初始化列表 , 大數據 , yyds乾貨盤點 , 初始化 , 數據倉庫 , 構造函數

收藏 評論

u_17558081 頭像

饕餮大數據 - MDEP-187 從根因到修復

温馨提示 此內容版本在 ttr-2.2.1 已經修復,低於該版本需要手動處理。有任何問題可以聯繫作者，或者訪問 TTBigdata知識庫 獲取其他技術支持。 一、問題背景 在編譯 Ambari Views 模塊時，常會遇到以下錯誤： 典型報錯信息如下： [DEBUG] (f) session = org.apache

大數據 , yyds乾貨盤點 , Bigtop , 運維 , hadoop , 開源大數據 , Ambari

收藏 評論

u_15505879 頭像

資深程序設計 - 基於python大數據的房價數據分析系統

1、研究背景 在當今數字化時代，房地產行業作為國民經濟的重要支柱產業，其數據量呈現出爆炸式增長。房價數據不僅涵蓋了房屋的基本屬性，如面積、户型、樓層等，還涉及地理位置、周邊配套設施、市場供需關係、宏觀經濟指標等眾多因素。這些海量且複雜的數據藴含着豐富的信息，對於政府制定房地產調控政策、企業進行市場決策以及購房者做出合理選擇都具有至關重要的價值。傳統的人工分析方法在處理如此龐

大數據 , yyds乾貨盤點 , 數據 , MySQL , 後端開發 , 房價分析 , Python

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 -- Java 大數據在智能農業温室環境調控與作物生長模型構建中的應用

(centerJava 大視界 -- Java 大數據在智能農業温室環境調控與作物生長模型構建中的應用/center) 引言 親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！在技術發展的漫漫長路上，我們一同見證了 Java 大數據在諸多領域掀起的創新風暴。 如今，農業領域正站在智能化變革的關鍵節點，智能農業温室作為這場變革的前沿陣地，承載着

spark , 大數據 , yyds乾貨盤點 , 數據 , 智能農業 , Java大數據 , JAVA

收藏 評論

u_17558081 頭像

饕餮大數據 - 【Ambari開啓Kerberos】-Kafka啓動失敗處理

温馨提示 本文內容在使用 ttr-2.2.0版本之前，開啓Kerberos後才會遇到。 後續版本已經做了處理，無需關注！ 如果在部署、二開過程中，遇到任何問題可以讓作者幫你解決。 一、問題現象 在 Ambari 啓用 Kerberos 後啓動 Kafka 服務時，出現如下錯誤，Kafka 無法正常啓動。 [2025-10-29

hdp , 大數據 , cdh , 私藏項目實操分享 , 運維 , hadoop , 開源

收藏 評論

lying7 頭像

躺柒 - 讀用數據説服：如何設計、呈現和捍衞你的數據08數據呈現和反對意見

1.數據呈現 1.1.數據自己會説話，但事實並非如此 1.1.1.數據不會説話，當然更不能解釋它對你的業務有何意義 1.1.2.數據自己不會説話，必須由你讓它説話 1.2.在最好的情況下，數據導向的演示文稿能夠促進交互，豐富討論，得出優質決策 1.3.TOP-T框架，這是一種數據向幻燈片的製作思路 1.3.1.能確保你全面涵蓋優秀演示的要素，讓你的內容與受眾

大數據

收藏 評論

DolphinScheduler 頭像

海豚調度 - 二次開發必看！DolphinScheduler 3.1.9 開發環境搭建指南

在生產實踐中，Apache DolphinScheduler 3.1.9 版本因其穩定性和成熟的特性，成為眾多企業用户的首選版本。隨着使用深入，不少用户希望在此基礎上進行二次開發，以更好地滿足自身業務需求。然而，開展二次開發前，搭建完善的本地開發環境至關重要。本文結合真實案例，詳細介紹 DolphinScheduler 3.1.9 的二次開發環境配置流程，希望為有定製化開發需求的用户提供實用、可靠

大數據

收藏 評論

lying7 頭像

躺柒 - 讀用數據説服：如何設計、呈現和捍衞你的數據09讀後總結與感想兼導讀

1.基本信息 用數據説服：如何設計、呈現和捍衞你的數據 米羅·卡扎科夫 著 金城出版社有限公司,2025年07月出版 1.1.讀薄率 書籍總字數8.6萬字，筆記總字數26227字。 讀薄率26227÷86000≈30.5% 1.2.讀厚方向 DataMesh權威指南 數據的邊界：隱私與個人數據保護 Julia數據科學應用

大數據

收藏 評論

developer-tianyiyun 頭像

天翼雲開發者社區 - 數據治理之數據質量評估維度及方法

本文分享自天翼雲開發者社區《數據治理之數據質量評估維度及方法》，作者：i****n 從某種程度上來説“數據=金錢”，數據質量的好壞直接決定着數據價值高低，直接或簡介影響一個企業的決策方向。數據質量管理是指在數據創建、加工、使用和遷移等過程中，通過開展數據質量定義、過程控制、監測、問題分析和整改、評估與考核等一系列管理活動，提高數據質量以滿足業務要求。 一、數據質量關注點 一致性：值數內容在系統內，

大數據

收藏 評論

laoqing 頭像

張永清 - 《數據資產管理核心技術與應用》讀書筆記- 第六章-數據監控與告警（二) -如何使用Grafana和Prometheus來實現數據監控與告警

《數據資產管理核心技術與應用》是清華大學出版社出版的一本圖書，全書共分10章，第1章主要讓讀者認識數據資產，瞭解數據資產相關的基礎概念，以及數據資產的發展情況。第2～8章主要介紹大數據時代數據資產管理所涉及的核心技術，內容包括元數據的採集與存儲、數據血緣、數據質量、數據監控與告警、數據服務、數據權限與安全、數據資產管理架構等。第9～10章主要從實戰的角度介紹數據資產管理技術的應用實踐，包括如何對元

大數據

收藏 評論