tag 大數據

標籤
貢獻412
466
05:15 PM · Oct 25 ,2025
tech 頭像 nebulabio 頭像 u_16272508 頭像 elhix0bg 頭像 u_15844731 頭像 u_14767244 頭像 dolphinscheduler 頭像 ververica 頭像 seatunnel 頭像 zhaoqianglaoshi 頭像 huikaichedemianbao 頭像 u_15591410 頭像

@大數據 / 博客 RSS 訂閱

u_14256 頭像

laojean - pcb四線測試spark

吉時利源表萬用表：四線測試法是什麼，四線測試法是目前為止最好的消除引線電阻引入誤差（或將其將至最小的）的測試方案 　　兩線測量法： 　　傳統的電阻測量通常用的是兩線測量法來進行測量，比如我們最常用的手持式萬用表。測量時只需要將紅黑表筆點在待測電阻的左右兩端，萬用表會自動添加一個激勵電流或激勵電壓（自動激勵大小與選擇的檔位有關，萬用表中激勵大小

spark , 電路圖 , 線電阻 , 大數據 , 數學方法 , pcb四線測試spark , 吉時利源表

收藏 評論

u_16213725 頭像

mob64ca141a683a - spark shuffle優化介紹 - double

Spark Shuffle性能優化：數據重分佈的“加速器” 在Spark分佈式計算中，Shuffle操作（如groupByKey、reduceByKey）是性能瓶頸的核心場景。它涉及跨節點數據重分佈，其效率直接影響作業執行時間。以下通過關鍵優化策略實現“加速器”效果： 1. 減少Shuffle數據量 原理：降低網絡傳輸

spark , 性能優化 , 序列化 , 大數據 , 後端開發 , harmonyos

收藏 評論

seatunnel 頭像

SeaTunnel - （四）收官篇！從分層架構到數據湖倉架構系列：數據服務層和數據應用層及湖倉技術趨勢小結

《新興數據湖倉設計與實踐手冊·從分層架構到數據湖倉架構設計（2025 年）》 系列文章將聚焦從數據倉庫分層到數據湖倉架構的設計與實踐。手冊將闡述數據倉庫分層的核心價值、常見分層類型，詳解分層下的 ETL 架構及數據轉換環節，介紹數據倉庫分層對應的技術架構，並以貼源層（ODS）、數據倉庫層（DW）、數據服務層（DWS）為例，深入剖析數湖倉分層設計，最後探討數據倉庫技術趨勢並進行小結。 本文為系列文

大數據 , 開源軟件 , 數據庫 , 數據湖

收藏 評論

u_16773655 頭像

向量檢索 - 如何通過HTTP API插入Doc

本文介紹如何通過HTTP API向Collection中插入Doc。 説明 插入Doc時若指定id已存在，已存在的Doc不會被覆蓋，本次插入Doc操作無效。 插入Doc時若不指定id，則在插入過程中會自動生成id，並在返回結果中攜帶id信息。 前提條件 已創建Cluster：創建Clus

向量檢索 , 大數據 , yyds乾貨盤點 , 數據倉庫 , AI , 數據庫 , 大模型

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 --Java 大數據在智慧農業農產品市場價格預測與種植決策支持中的應用實戰

(centerJava 大視界 --Java 大數據在智慧農業農產品市場價格預測與種植決策支持中的應用實戰/center) 引言： 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！在《大數據新視界》和《 Java 大視界》專欄攜手探索技術前沿的精彩旅程中，我們已一同領略 Java 大數據在多個領域的輝煌戰績。 如今，廣袤的農田也在呼喚數

spark , 智慧農業 , 大數據 , yyds乾貨盤點 , 數據 , Java大數據 , JAVA

收藏 評論

seatunnel 頭像

SeaTunnel - 深陷 Sqoop+Canal 困境？中控技術用 SeaTunnel 打造高效數據採集破局方案

核心數據一致性達99.99%、開發效率提升50%、運維成本降低70%——這是中控技術採用 Apache SeaTunnel 構建數據採集框架及相關數據服務體系後的實測成效。 上週 Apache SeaTunnel 線上 Meetup 上，中控技術工程師崔俊樂分享了這家大型工業 AI 平台型公司的實踐經驗。我們已將視頻內容整理成文，供行業同仁參考借鑑。 作者簡介 崔俊樂，中控技術股份有限公司數據技術

數據同步 , 大數據 , 開源 , seatunnel

收藏 評論

ruanjiankaifa_xiaofanya 頭像

軟件部長 - JVS-智能BI高級數據可視化折線圖的配置技巧與實戰

在數據可視化的世界裏，折線圖作為一種直觀且有效的數據展示方式，被廣泛應用於各類數據分析與報告中。折線圖不僅能夠清晰地展示數據隨時間或其他連續變量的變化趨勢，還能通過不同的樣式配置，增強圖表的可讀性和美觀度。在JVS-智能BI中，提供了折線圖圖表類型，接下來我詳細介紹折線圖樣式的配置。 折線圖表概述折線圖圖表組件可分為基礎折線圖、基礎面積圖、對比折線圖和其他折線圖。除了其他組件都有的通

大數據 , 數據可視化 , 圖表工具 , 數據分析 , 圖表

收藏 評論

u_16213572 頭像

技術領航探索者 - yarn 打包 dev環境

webpack介紹、基礎配置 webpack介紹 Webpack是一種前端資源構建工具，一個靜態模塊打包器（module bundler） webpack可以做的事情 代碼轉換、文件優化、代碼分割、模塊合併、自動刷新、代碼校驗、自動發佈 webpack安裝

yarn 打包 dev環境 , 大數據 , yarn , bundle , Css , HTML

收藏 評論

u_16099277 頭像

架構領航員 - llamaindex實現rag

Elasticsearch 基本操作 DSL高級查詢 進階查詢 #解析案列demo POST _analyze { "analyzer": "standard", "text": "我是中國人" } #查詢所有索引 GET _search { "query": { "match_all": {} } } #創建索

elasticsearch , 搜索引擎 , 大數據 , llamaindex實現rag , analyzer , 後端開發 , Python

收藏 評論

u_12959 頭像

lanhy - ray spark 融合

1.算法功能簡介 Pansharp 融合是基於最小二乘逼近法來計算多光譜影像和全色影像之間灰度值關係，具體過程是利用最小方差技術對參與融合的波段灰度值進行最佳匹配，以減少融合後的顏色偏差。該融合方法不受波段限制，可以實現多個波段的同時融合，能最大限度地保留多光譜影像的顏色信息（高保真）和全色影像的空間紋理信息。 PIE支持算法功能的執行，下面對Pans

ray spark 融合 , spark , 大數據 , data , Events , 數據路徑

收藏 評論

u_17434023 頭像

樂逍遙happy - 大數據計算引擎正在拋棄 JVM

在寫這篇文章之前，Java 25正式發佈，其中JEP-508Vector API 迎來了第10次孵化，旨在提供一種向量計算的接口，從而獲得比等效標量計算更高的性能。傳統的基於Java虛擬機（JVM）的執行引擎在處理大規模數據時逐漸顯露出性能瓶頸 (標量計算) ，特別是在 CPU 密集型任務和內存管理方面。近年來，眾多大數據計算引擎開始轉向原生（Native）執行模型，採用 C++

向量化 , 大數據 , 數據 , jvm , 數據倉庫

收藏 評論

u_15844731 頭像

阿森CTO - 內聯函數和auto關鍵推導和指針空值

@TOC 📝內聯函數 內聯函數是一種編譯器優化技術,它可以將函數的代碼直接插入到函數調用的地方,而不是通過函數調用的方式。這樣可以減少函數調用的開銷,提高程序的執行效率。 舉個例子，當你在一個項目中，想要頻繁調用一個Add函數 int Add(int x, int y) { return x + y; } 當你調用一千次

數組 , 大數據 , yyds乾貨盤點 , 數據倉庫 , 編譯器 , 內聯函數

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 -- Java 大數據在智能醫療手術風險評估與術前方案制定中的應用探索

(centerJava 大視界 -- Java 大數據在智能醫療手術風險評估與術前方案制定中的應用探索/center) 引言： 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！當冰冷的手術刀遇上熾熱的代碼，當生命體徵數據碰撞分佈式計算，會擦出怎樣的火花？在醫療領域，每一次手術都是與時間的賽跑，每一個決策都關乎患者的生死。傳統的手術風險評估與

機器學習 , spark , 大數據 , yyds乾貨盤點 , 數據 , JAVA , 智能醫療

收藏 評論

u_16213705 頭像

mob64ca14157da7 - 使用go-mysql-elasticsearch同步mysql數據庫信息到ElasticSearch-原創手記

挑戰：構建更好的 CDC 工具 在現代數據架構中，從數據庫到搜索引擎的實時同步已經成為一項關鍵需求。無論您是在構建電商搜索、分析儀表板還是日誌聚合系統，都需要可靠、快速且易於維護的 CDC（變更數據捕獲）解決方案。 當我們開始構建 ElasticRelay 時，我們研究了現有的解決方案，如 Logstash、Debezium + Kafka Connect 和 Apa

elasticsearch , 大數據 , MySQL , 後端開發 , elk , harmonyos , go

收藏 評論

huikaichedemianbao 頭像

合合技術團隊 - 啓信寶《2025 全國採購地圖》：藏在縣城的“隱形冠軍”，撐起你的購物車

第17個“雙十一”剛剛收官，越來越多消費者留意到，平台上“產地直髮”“工廠優選”類商品明顯增多。隨手買的辣條、高性價比的培育鑽石、風靡全球的漢服......這些商品的源頭並非熟悉的北上廣深，而是一個個“低調”的中國縣城。這些縣域產業憑藉高效供應鏈與成本優勢，正悄然成為大眾日常消費的重要支撐。 近日，啓信寶發佈《2025全國採購地圖》（下稱“採購地圖”），系統梳理了多個熱門消費品的產業佈局與發展趨勢

大數據 , 算法 , 人工智能

收藏 評論

zhaoqianglaoshi 頭像

趙渝強老師 - 【趙渝強老師】阿里雲大數據集成開發平台DataWorks

DataWorks是阿里雲重要的PaaS（Platform as a Service）平台產品，為用户提供數據集成、數據開發、數據地圖、數據質量和數據服務等全方位的產品服務，一站式開發管理的界面，幫助企業專注於數據價值的挖掘和探索。 DataWorks支持多種計算和存儲引擎服務，包括離線計算MaxCompute、開源大數據引擎E-MapReduce、基於Flink的實時計算、機器學習PAI、圖計算

大數據 , 阿里雲

收藏 評論

huikaichedemianbao 頭像

合合技術團隊 - 論文解讀 - 潛在思維鏈推理的全面綜述

一、簡要介紹 大語言模型（LLMs）在複雜推理任務中，通過思路鏈（CoT）提示取得了顯著的性能。然而，傳統的CoT依賴於用自然語言明確表達的推理步驟，這不僅降低了效率，還限制了其在抽象推理中的應用。為了解決這一問題，研究者們對潛在CoT推理產生了濃厚的興趣，這種推理方式在潛在空間中進行。通過將推理與語言分離，潛在推理不僅提供了更豐富的認知表示，還實現了更靈活、更快的推理過程。研究者們在這一

大數據 , 人工智能 , 深度學習

收藏 評論

u_12960863 頭像

wx59290cd7bb11a - AI 計費的秘密：為什麼你的 Prompt 越寫越貴？

【本文價值提示】 作為一個擁有大數據背景的工程師，你可能習慣了按 GB、TB 甚至 PB 來衡量數據。但在大模型（LLM）的世界裏，計量單位變了——變成了 Token。 這不僅僅是一個計費單位，它是大模型理解世界的“原子”，是架構設計的“硬約束”，更是導致模型“算術不好”的罪魁禍首。 本文是 “從大數據工程師到 AI 架構師” 系列教程的第一篇。我們將揭開大模型黑

大數據 , API , 數據倉庫 , 架構師

收藏 評論

u_15844731 頭像

阿森CTO - C++拓展及命名空間的使用

@TOC 📝C++簡述 與C語言一樣，C++也是在貝爾實驗室誕生的，Bjarne Stroustrup於1979年首次推出，C++是一種高級編程語言，它是在C語言的基礎上發展而來，融合了面向對象的思想。它的特點是高效、低級和麪向對象。 在C++的發展歷程中,最為重要的里程碑是C++11標準的發佈。C++11版本增加了許多現代化的特性,例如類型推斷、lambd

命名空間 , 作用域 , 大數據 , yyds乾貨盤點 , 數據倉庫 , 嵌套

收藏 評論

u_16099247 頭像

墨韻流香 - YARN ResourceManager

2. ResourceManager端 Client端通過YarnRunner.submitJob()將Application提交給了ResourceManager。 連接Client與ResourceManager的協議為ClientRMProtocol，該協議的實現類為ClientRMService。 1) ClientRMServ

狀態機 , 封裝 , 大數據 , yarn , JAVA , 事件處理

收藏 評論

zhaoqianglaoshi 頭像

趙渝強老師 - 【趙渝強老師】基於ZooKeeper實現Hadoop HA

  由於在HA架構中包含的節點比較多，在進行實際部署的時候需要做好集羣的規劃。圖14.9一共使用了4個節點來部署HDFS HA，它們分別是：bigdata112、bigdata113、bigdata114和bigdata115。由於Hadoop默認包含了HDFS和Yarn，因此在部署HDFS HA的時候，也可以同時部署Yarn的HA。每個節點上部署的服務如下表所示：   視頻講解如下：

ha , 大數據 , hadoop , zookeeper

收藏 評論

u_12831 頭像

epeppanda - 創建外鍵時被引用的索引不存在

外鍵的數據來源於主鍵表裏的數據，也就是説主鍵表裏如果沒有這個數據外鍵表是插不進去的，你必須先在主鍵表插入進去了才能在外鍵表插入。主鍵表的主鍵字段不能重複哦。重複了也插不進的 如下表 CREATE TABLE Course( Cno VARCHAR(4) PRIMARY KEY, Cname VARCHAR(20) NOT NULL, Cpno VARC

大數據 , 數據 , 創建外鍵時被引用的索引不存在 , 數據倉庫 , 外鍵 , 主鍵

收藏 評論

danxiaodezixingche 頭像

老紀的技術嘮嗑局 - OceanBase 在滴滴大規模運維經驗以及新功能落地實踐

作者：吳其朋，滴滴分佈式存儲運維負責人 滴滴出行（下文簡稱“滴滴”）作為涵蓋#網約車、#出租車、#順風車、#代駕 等業務的一站式多元化出行平台，擁有全球客户6.5億。自2024年應用OceanBase以來，已在多個場景落地並替換RocksDB、TokuDB，包括網約車增長服務、中台核心歸檔庫、代駕核心歸檔庫、EP、無人車服務等。本文以網約車增長服務、歸檔庫等核心業務為例，闡述滴滴的數據庫技術經驗以

大數據 , 運維

收藏 評論

u_15879876 頭像

Aloudata - 如何找到適合好用的 AI 數據分析軟件？實用指南

AI 數據分析軟件顯著提升企業決策精準性與敏捷性 在數字經濟時代，數據已經成為企業最核心的生產要素，無論是戰略規劃、市場策略調整，還是日常運營優化，都依賴於對數據的深度洞察。而 AI 數據分析軟件則是將數據轉化為決策力的關鍵工具。 傳統數據分析依賴人工處理與經驗判斷，存在“響應慢”、“分析不靈活”、“誤差率高”等問題，難以滿足快速變化的市場需求。AI 數據分析軟件則通

自然語言問數 , 大數據 , 數據倉庫 , dataagent , 數據分析 , 智能問數 , chatbi

收藏 評論