tag 大數據

標籤
貢獻412
470
05:15 PM · Oct 25 ,2025
tech 頭像 nebulabio 頭像 u_16272508 頭像 elhix0bg 頭像 u_15844731 頭像 u_14767244 頭像 dolphinscheduler 頭像 ververica 頭像 seatunnel 頭像 zhaoqianglaoshi 頭像 huikaichedemianbao 頭像 u_15591410 頭像

@大數據 / 博客 RSS 訂閱

alluxio_com 頭像

Alluxio - Meta公司新探索 | 利用Alluxio數據緩存降低Presto延遲

概要速覽📕 Meta公司（前“Facebook公司”，下文統稱“Meta”）的Presto團隊一直在與Alluxio 合作為Presto提供開源數據緩存方案。該方案被用於Meta的多個用例，來降低從諸如HDFS等遠端數據源掃描數據產生的查詢延遲。實驗證明，使用Alluxio數據緩存後，查詢延遲和IO掃描都得到了顯著優化。 我們發現，Meta架構環境中的多個用例都得益於Alluxio數據緩存。以M

大數據 , 查詢優化 , meta , 開源 , presto

收藏 評論

dolphinscheduler 頭像

海豚調度 - （二）一文讀懂數倉設計的核心規範：從層次、類型到生命週期

《新興數據湖倉設計與實踐手冊·數據湖倉建模及模型命名規範（2025年）》 由四篇遞進式指南組成，以“模型架構—公共規範—分層規範—命名規範”為主線，系統構建可演進、可治理、可共享的現代數據湖倉。 首篇 《數據模型架構原則》 提出了 “ODS-DW-APP” 四層（含DW內DWD/DWM/DWS）數據分層架構，並圍繞主題域劃分、高內聚低耦合、公共邏輯下沉及成本性能平衡四大原則，為湖倉一體的維度建模奠

大數據 , 數據倉庫 , 數據庫 , 技術

收藏 評論

u_16099353 頭像

漫步雲端的豬 - 可視化 - AntV 推出全新的圖編輯引擎 X6，讓你們久等了 - 個人文章

引言 在數據可視化與低代碼平台蓬勃發展的今天，如何讓業務人員通過圖形化界面構建邏輯表達式，已成為提升開發效率的關鍵課題。本文將深入探討如何基於 AntV X6、Vue3 與 TDesign 技術棧，實現一套**可視化表達式編輯器**，支持四則運算、Math 函數與分支語句的圖靈完備圖形編程系統。 項目地址：https://github.co

spark , express , 編輯器 , 大數據 , Graph , Math , antvx6

收藏 評論

u_16099203 頭像

網絡安全守衞 - Labview點查詢框自動二維數組自動索引設置步驟

1、二維插值之插值節點為網格節點 已知m x n個節點：（xi，yj，zij）(i=1…m,j=1…n)，且xi,yi遞增。求（x，y）處的插值z。 Matlab可以直接調用interp2(x0,y0,z0,x,y,`method`) m維和n維向量，表示節點， z0 為n×m維矩陣，表示節點值， x,y 為一維數組，表示插值點， x 與 y

多項式 , 擬合 , 大數據 , 數據倉庫 , 插值

收藏 評論

u_16213614 頭像

mob64ca13ffd0f1 - brainstorm流程

頭腦風暴（Brainstorming）是一種激發集體智慧產生和提出創新設想的思維方法，建議與Brainwriting、Brainwalking、and Braindumping搭配使用。 頭腦風暴是無限制的自由聯想和討論的代名詞，頭腦風暴的力量在於讓參與者在自由思考環境中與吸引他們的想法之間建立聯繫，從而擴大解決方案空間。這些想法不是你坐下來拿着紙

brainstorm流程 , 思維方法 , Storm , 大數據 , 產品經理 , Power , 解決方案

收藏 評論

u_15654855 頭像

此星光明 - LBA-ECO ND-11 在巴西馬託格羅索州西北部未受干擾和採伐過的森林中的更新

LBA-ECO ND-11 Regeneration in Undisturbed and Logged Forests, NW Mato Grosso, Brazil 摘要 代碼 !pip install leafmap !pip install pandas !pip install folium !pip

數據挖掘 , github , 大數據 , 後端開發 , JAVA , NASA , Python

收藏 評論

u_16213568 頭像

網絡小墨舞風 - Galaxy生成bam索引bai文件

難以預知的未來，難以握住的當下。自己總是永遠都不夠好。也許稀裏糊塗，這輩子就過去了。人生啊。 三星系統【three-star system】通常指的是優秀的索引需要滿足的三個原則 索引將相關記錄放到一起則獲得一星 索引中數據的順序和查找中的排列順序一致則獲得二星 如果索引中的列包含了查詢中需要的全部列則獲得三星 索引可以帶來的優

非主屬性 , 大數據 , 數據倉庫 , 主鍵 , Galaxy生成bam索引bai文件 , 主屬性

收藏 評論

u_16213710 頭像

mob64ca1416b5a8 - 視圖 指定索引 索引,視圖

一、索引視圖基本概念 　　索引視圖實際上是一種將一組唯一值“物化”為羣集索引形式的視圖，所為物化就是幾乎和表一樣，其數據也是會存儲一份的(會佔用硬盤空間，但是查詢速度快，例如可以將count(),sum()等值設在索引視圖中)。其優點是它在提取視圖背後的信息方面提供了一個非常快的查找方法。在第一個索引(必須是針對一組唯一值的聚集索引)之後，通過使用來自第一個索引的聚集鍵作為

視圖 指定索引 , 大數據 , 數據倉庫 , SQL , 聚集索引

收藏 評論

u_16099253 頭像

數據解碼者 - db25打印機接法

叼叼的我從來到學校就開始無盡的折騰來折騰去，趁着快考完試，現總結一下這幾天修電腦的主要注意事項 網線水晶頭做法 白橙、橙、白綠、藍、白藍、綠、白棕、棕 這個是我們學校的常用的水晶頭接法。 具體的話可以自行百度 接下來就是接網線連打印機了，困難簡直是一堆一堆的，我也是見過了各種奇形怪狀的電腦

路由器 , 大數據 , db25打印機接法 , 數據倉庫 , 網線 , 局域網 , 網絡

收藏 評論

u_14444 頭像

lgmyxbjfu - ElasticSearch:組合查詢或複合查詢 - 個人文章

這裏寫目錄標題 ElasticSearch 1 DSL查詢 1.1 快速入門 1.2 葉子查詢 1.2.1 全文檢索 1.2.2 精確查詢 1.3 複合查詢 1.3.1 算法函數查詢（瞭解） 1.3.2 bool

spark , elasticsearch , 大數據 , 搜索 , jenkins

收藏 評論

elhix0bg 頭像

阿里雲大數據AI - 美的樓宇科技基於阿里雲 EMR Serverless Spark 構建 LakeHouse 湖倉數據平台

美的樓宇科技基於阿里雲 EMR Serverless Spark 構建 LakeHouse 湖倉數據平台 作者：美的樓宇科技事業部 先行研究中心智能技術部 美的樓宇科技 IoT 數據平台建設背景 美的樓宇科技事業部（以下簡稱樓宇科技）是美的集團旗下五大板塊之一，產品覆蓋多聯機組、大型冷水機組、單元機、機房空調、扶梯、直梯、貨梯以及樓宇自控軟件和建築弱電集成解決方案，遠銷海內外200多個國家。針對當

spark , 大數據 , serverless

收藏 評論

elhix0bg 頭像

阿里雲大數據AI - AI搜索 MCP最佳實踐

背景 那些 LLM 不知道的事 嘗試直接詢問LLM“今天天氣如何”時，會發現LLM無法回答——它既不知道“今天”是哪天，也無法獲取地理位置信息。這揭示了LLM的侷限：缺乏與外部工具和實時數據的交互能力。 為解決這一問題，MCP（Model Context Protocol）應運而生。通過標準化協議，MCP使LLM能夠自主調用工具（如天氣API、地理位置服務），並解耦Agent與Tools的開發，顯

大數據 , 搜索 , 人工智能 , 檢索系統 , 數據處理

收藏 評論

u_16213604 頭像

mob64ca13fd559d - dify plugin_daemon日誌位置

認識Kibana 　　Kibana 是一個為 Logstash 和 ElasticSearch 提供的日誌分析的 Web 接口。可使用它對日誌進行高效的搜索、可視化、分析等各種操作。Kibana的使用場景主要集中在兩方面： 實時監控。通過histogram面板，配合不同條件的多個queries可以對一個事件走很多個維度組合出不同的時

機器學習 , 字段 , 大數據 , php , 搜索 , 人工智能 , Json

收藏 評論

u_16213647 頭像

mob64ca14079fb3 - spring hadoop集羣配置

第一章：Spring Data JPA入門 Spring Data是什麼 Spring Data是一個用於簡化數據庫訪問，並支持雲服務的開源框架。其主要目標是使得對數據的訪問變得方便快捷，並支持map-reduce框架和雲計算數據服務。 Spring Data 包含多個子項目： Commons - 提供共享的基礎框架，適合各個子項目使用，支持跨數據庫持久化 JPA - 簡化創建

spring , 大數據 , jar , hadoop , jpa , spring hadoop集羣配置

收藏 評論

u_16099212 頭像

智慧編織者 - db25針腳151724

單片機封裝格式 單片機封裝格式為LQFP44，封裝圖如下圖所示： 使用LQFP44封裝形式的STC15W4K56S4單片機共有44個引腳，除14號引腳接電源，16號引腳接地外，默認情況下其餘所有引腳都是I / O（INOUT / OUTPUT）口。 各引腳功能説明如下： P0口：

大數據 , 引腳複用功能 , 數據倉庫 , 單片機 , 引腳 , db25針腳151724 , STC15

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 -- Java 大數據在智能物流末端配送路徑動態規劃與配送員調度中的應用創新

(centerJava 大視界 -- Java 大數據在智能物流末端配送路徑動態規劃與配送員調度中的應用創新/center) 引言： 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！凌晨四點的杭州蕭山物流園，自動化分揀線上閃爍的指示燈與掃碼槍的紅光交織。在這個日均處理 30 萬件包裹的樞紐中心，一套基於 Java 開發的智能調度系統正在悄然

spark , 大數據 , yyds乾貨盤點 , 數據 , 智能物流 , Java大數據 , JAVA

收藏 評論

ruozxby 頭像

不語 - elasticsearch-head 無法連接 elasticsearch問題的原因及解決

原因： elasticsearch開啓成功的前提下，elasticsearch的默認端口是9200 elasticsearch-head的端口是9100，會涉及到跨域問題所有無法直接連接 解決辦法： 安裝路徑\elasticsearch\elasticsearch-7.6.1\config 中有個elasticsearch.yml文件，這是elasticsearch的配置文件 裏面添加： http

es7 , 大數據 , JAVA , 程序員 , 前端

收藏 評論

u_17513521 頭像

署署愛測評 - 適合企業的數據API對接廠商有哪些推薦？

在數據驅動的商業時代，企業高效、安全地獲取和處理內外部數據，已成為構築核心競爭力的關鍵。數據API（應用程序編程接口）作為連接不同系統、打通數據孤島的“神經樞紐”，其重要性不言而喻。然而，面對市場上眾多的API服務商，企業該如何選擇最適合自己的夥伴？ 本文將為您梳理幾類主流的數據API對接廠商，並提供一份實用的選型指南，助您做出明智決策。 一、 為什麼企業需要專業的數

大數據 , 數據 , API , 物聯網 , 數據倉庫

收藏 評論

u_13066 頭像

hochie - Bill Inmon數據倉庫pdf下載

高級數據倉庫 SQL Server 2012 [本文檔僅供預覽，在以後的版本中可能會更改。空白主題作為佔位符包含在內。] 本主題提供了有關如何使用 Integration Services 將數據加載到 高級數據倉庫 中的基本信息。Integration Services是用於數據的高性能提

大數據 , Bill Inmon數據倉庫pdf下載 , 數據倉庫 , 數據庫 , SQL Server , ui

收藏 評論

elhix0bg 頭像

阿里雲大數據AI - DataWorks 又又又升級了，這次我們通過 Arrow 列存格式讓數據同步速度提升10倍！

引言 在大數據時代，數據集成作為企業數據流轉的核心樞紐，承擔着異構數據源之間高效同步的重要職責。隨着數據量的爆炸式增長，傳統的行存同步方式在面對大規模列存數據處理時，逐漸顯露出性能瓶頸。 為解決這一挑戰，，DataWorks數據集成推出基於Apache Arrow列存格式的高性能同步能力，實現從“行式傳輸”到“列式直通”的技術躍遷。通過引入零拷貝、列式內存標準Apache Arrow，DataWo

大數據 , 阿里雲

收藏 評論

elhix0bg 頭像

阿里雲大數據AI - AI 搜索開放平台 × DeepSeek，面向企業及開發者的首選解決方案

AI 搜索開放平台介紹 阿里雲 AI 搜索開放平台面向企業及開發者提供豐富的 AI 搜索組件化服務，用户可靈活調用多模態數據解析、大語言模型、效果測評等數十個服務。自發布以來，已有1千多個企業及開發者開通使用，實現智能搜索、檢索增強生成（RAG）、多模態搜索等場景的搭建。 核心優勢： 豐富的 AI 搜索能力： 依託領先的模型底座訓練 AI 搜索專屬模型，內置搜索及 RAG 場景全鏈路組件化服務

大數據 , 搜索 , deepseek , 人工智能

收藏 評論

u_16099177 頭像

雲端小夢 - 小圈sparking實踐網站

SP是（Service Provider）服務提供商的縮寫, 是指移動互聯網服務內容應用服務的直接提供者! SP指移動互聯網服務內容應用服務的直接提供者，負責根據用户的要求開發和提供適合手機用户使用的服務。從企業業務開展的角度來看，目前 SP可以分成三大類： ★門户型 SP就是由門户網站提供的短信服務。主要有搜狐、新浪、網易、中華網、Tom等幾

spark , 大數據 , 小圈sparking實踐網站 , 應用服務 , 數據庫 , ide

收藏 評論

u_16099226 頭像

雲端夢想實現家 - 單機部署hive2要啓動嗎

Linux服務器搭建單機版Hive與搭建Hive集羣 Hive Hive概述 Hive架構 Hive計算引擎 Linux安裝Hive 下載Hive 解壓及重命名 配置hive-env.sh 創建hive-site.xml

服務器 , 大數據 , hive , hadoop , 單機部署hive2要啓動嗎 , Linux

收藏 評論

u_14767244 頭像

u_14767244 - SelectDB x 同轅開發：在 ARM 架構下實現 25% 分析性能提升

近日，北京飛輪數據科技有限公司（以下簡稱“飛輪科技”）旗下現代化數據倉庫 SelectDB 完成同轅開發深度適配，正式獲得 Kunpeng Native 測試認證證書。 該認證表明 SelectDB 深度兼容鯤鵬芯片，可實現高效部署。通過與同轅開發協同創新，SelectDB 實時分析、湖倉一體、存算分離等核心能力，可針對性解決海量數據處理慢、實時決策延遲、運維複雜等痛點，助力金融、製造、

大數據 , 數據 , 數據倉庫 , 數據分析

收藏 評論