tag 數據倉庫

標籤
貢獻167
307
01:08 PM · Nov 03 ,2025

@數據倉庫 / 博客 RSS 訂閱

南大通用GBase - 南大通用GBase 8a堆棧收集方式彙總

集羣在運行過程中偶爾會出現crash,當集羣crash時,從哪裏查看堆棧信息呢?system.log 中記錄了宕機的堆棧信息,core 文件中記錄了宕機的詳細的堆棧信息,如果想要看到詳細的堆棧信息,則需要在集羣coor節點以及集羣data節點的配置文件中,開啓該功能,具體步驟如下: 1、修改集羣coor節點配置文件:在每台集羣coor節點機器的集羣安裝目錄,如/opt/gc

sed , GBase 8a , 大數據 , 配置文件 , 數據倉庫 , 堆棧

收藏 評論

mob64ca14068b0b - 限積天EDADB2

本文包含:--> --> 本文章為轉載內容,我們尊重原作者對文章享有的著作權。如有內容錯誤或侵權問題,歡迎原作者聯繫我們進行內容更正或刪除文章。

限積天EDADB2 , 大數據 , 數據倉庫 , 定積分

收藏 評論

ApacheSeaTunnel - (四)收官篇!從分層架構到數據湖倉架構系列:數據服務層和數據應用層及湖倉技術趨勢小結

《新興數據湖倉設計與實踐手冊·從分層架構到數據湖倉架構設計(2025 年)》 系列文章將聚焦從數據倉庫分層到數據湖倉架構的設計與實踐。手冊將闡述數據倉庫分層的核心價值、常見分層類型,詳解分層下的 ETL 架構及數據轉換環節,介紹數據倉庫分層對應的技術架構,並以貼源層(ODS)、數據倉庫層(DW)、數據服務層(DWS)為例,深入剖析數湖倉分層設計,最後探討數據倉庫技術趨勢並進行小結。

spark , WhaleStudio , 大數據 , 數據倉庫 , 數據庫 , 白鯨開源

收藏 評論

網絡安全俠 - pdb2gmx和gaff的區別

---恢復內容開始--- 1.1 電路原理圖         S1-S5共5個按鍵,其中,S2-S4為中斷按鍵,S1為復位按鍵。S1直接為硬件復位電路,並不需要我們寫進驅動。   單片機接口如下圖:               由圖中可以看出,EIN

大數據 , pdb2gmx和gaff的區別 , include , 數據倉庫 , 引腳 , define

收藏 評論

killads - 數據湖為什麼比hive快

導讀: 大數據技術的發展歷程中,繼數據倉庫、數據湖之後,大數據平台的又一革新技術——湖倉一體近年來開始引起業內關注。市場發展催生的數據管理需求一直是數據技術革新的動力。比如數據倉庫如何存儲不同結構的數據?數據湖又如何避免因為缺乏治理導致的數據雜亂現象?今天的文章想跟大傢俱體聊聊我們的數棧如何解決這些問題。 你能看到👇👇👇 ▫ 湖倉一體概念簡述 ▫ 數

數據源 , 大數據 , 數據 , hive , 數據倉庫 , 數據湖為什麼比hive快

收藏 評論

夢想啓航吧 - 二級間接索引示意圖

#define _CRT_SECURE_NO_WARNINGS 1 //樹:非線性的數據結構,由有限個節點組成一個具有層次關係的集合。像是一顆倒掛的樹,所以叫樹。 //樹的相關概念: //1、節點的度:一個節點含有的子樹的個數成為節點的度 //2、葉節點(終端節點):度為0的節點稱為終端節點,(子節點為空的節點) //3、非終端節點(分支節點):度不為0的節點,即(

二級間接索引示意圖 , 大數據 , 數據倉庫 , 二叉樹 , 子樹 , 子節點

收藏 評論

lingyuli - 多索引組合值不可以唯一嘛

長期以來,Lucene在搜索領域的壟斷地位無人能及,基於Lucene之上的Elastic Search與Solr 也是家喻户曉的產品;錄信數據庫最初的版本也是基於Lucene來實現的,在設計之初經常會遇到跟solr、es同樣的問題。如面對幾十億的數據就遇到內存爆掉的問題,此時CPU與IO都飆到系統極限;100億的數據就需要100多台512G的大內

lucene , 大數據 , 索引 , 數據倉庫 , 數據庫 , olap , 多索引組合值不可以唯一嘛

收藏 評論

wx6953b3319ffb2 - 計算機導論學習:在基礎中窺見學科的深邃

接觸《計算機科學導論》這門課程前,我對計算機的認知僅停留在“會用軟件、能上網”的淺層階段,總覺得這門學科只是冰冷的代碼和複雜的機器。但經過一學期的系統學習,我不僅搭建起計算機學科的基礎框架,更在一個個知識點的探索中,體會到這門學科背後的邏輯之美與創新之力,也對“如何學習計算機”有了全新的感悟。 課程的開篇從計算機的發展歷程講起,從圖靈提出的抽象計算

大數據 , 數據倉庫 , 人工智能 , 計算機科學 , Python

收藏 評論

小題大作 - VMFS索引

什麼是索引 索引時數據庫的一種數據結構,數據庫與索引的關係可以看作書籍和目錄的關係。當用户通過索引查找數據時,好比用户通過目錄查詢某章節的某個知識點。這樣可以幫助用户提高查找速度。所以,索引可以提高數據庫的性能。 索引的分類 從物理存儲角度: 聚簇索引和非聚簇索引 從數據結構角度: B-樹、B+

結點 , 大數據 , 數據 , VMFS索引 , 數據倉庫 , 數據庫

收藏 評論

阿里雲大數據AI技術 - 【跨國數倉遷移最佳實踐11】基於 MaxCompute Resource & Quota策略優化實現資源管理性能與成本最優平衡

本系列文章將圍繞東南亞頭部科技集團的真實遷移歷程展開,逐步拆解 BigQuery 遷移至 MaxCompute 過程中的關鍵挑戰與技術創新。本篇為第十一篇,基於 MaxCompute Resource Quota 策略優化實現資源管理性能與成本最優平衡。 注:客户背景為東南亞頭部科技集團,文中用 GoTerra 表示。 1. 背景 GoTerra 作為東南亞互

MaxCompute , 大數據 , 數據倉庫 , 阿里雲 , 數倉遷移

收藏 評論

署署愛測評 - 企業數據採集系統的構建思路與技術方案探討

在數字化轉型過程中,企業普遍面臨數據源分散、格式不一、實時性要求高等挑戰。數據採集作為數據價值鏈的起點,其技術選型與架構設計直接影響後續數據治理與應用的效率與成本。本文旨在從技術原理與工程實踐角度,分析構建企業級數據採集系統時需考量的核心要素與可能的實現路徑。 一、數據採集的核心挑戰與技術考量數據採集並非簡單的數據搬運,其複雜性主要源於業務環境的多樣性。常見挑戰包括:

數據源 , 大數據 , 數據 , 運維 , 數據倉庫

收藏 評論

mob64ca13feda16 - simulink索引模塊

Simulink是有定點化工具(fixed-point tool),沒有用過,因為我想生成一個不帶有浮點數的代碼的話只要把所有的數據類型定義為非浮點的形式就好了。 首先 要做的是找到模型中的浮點數(當然如果建模的時候沒有對數據類型進行特別設置的話,默認的數據類型都是double型的浮點數)。找浮點數有兩個方法:

定點化 , 數據類型 , 大數據 , Simulink , 數據倉庫 , simulink索引模塊

收藏 評論

亞拉索第一 - 聚焦行業價值與生態演進:一個開發者眼中的技術躍遷

引言 作為一名深耕行業十年的開發者,我親歷了從傳統瀑布式開發到敏捷迭代的轉型,也見證了AI技術從實驗室走向產業落地的全過程。當對話式AI成為生產力工具的核心入口時,我們不再只是代碼的寫作者,更是人機交互範式的構建者。華為雲推出的MateChat作為面向AIGC場景的對話組件庫,正以務實的技術底座推動行業價值的釋放。以下是我基於實戰經驗,對大模型適配

人機交互 , 大數據 , 數據倉庫 , 開發者 , 模態

收藏 評論

事辯天下 - 太藍新能源完成B+輪融資,引領固態電池“多場景”未來

近日,重慶太藍新能源有限公司(以下簡稱“太藍新能源”“公司”)宣佈完成超4億元B+輪融資。本輪融資由兩江基金、君安迴天、交銀投資、潛江零度共同參與。融資資金將用於加快公司車規級固態電池產品產業化進程,加大固態電池關鍵技術研發投入,推進公司首條全固態電池量產線建設,強化新階段人才體系建設,持續鞏固公司在多場景、多維度固態電池應用的先發優勢。   本輪融資的順利完成,得

大數據 , 數據倉庫 , 應用場景 , 核心技術 , 解決方案

收藏 評論

向量檢索 - 如何通過HTTP API獲取Doc

本文介紹如何通過HTTP API,根據id列表獲取Collection中已存在的Doc。 説明 如果指定id不存在,則該id對應的Doc為空。 前提條件 已創建Cluster:創建Cluster。 已獲得API-KEY:API-KEY管理。 Method與URL HTTP

大數據 , yyds乾貨盤點 , 數據倉庫 , 向量 , AI , 數據庫 , 大模型

收藏 評論

u_14767244 - Doris Catalog 已上線!性能提升 200x ,全面優於 JDBC Catalog,跨集羣查詢邁入高性能分析時代

“統一”是 Apache Doris 長期以來秉持的設計理念之一。在這一理念指引下,構建完善的 Catalog 生態是實現異構數據源統一查詢分析的關鍵。目前,Doris 已支持 Iceberg、Paimon、Hudi 等數據湖 Catalog,以及 JDBC Catalog,用户無需遷移數據,即可對不同數據湖和傳統數據庫進行聯邦查詢分析。 本文聚焦 Doris 多集羣間的查詢分析。實

大數據 , 數據 , 執行計劃 , 數據倉庫 , 數據庫 , SQL , apache

收藏 評論

代碼匠人之心 - 在文本類型上設置索引 會生效麼

在建立索引前,先了解下lucene中的一些與索引相關的重要類。 為了對文檔進行索引,Lucene 提供了五個基礎的類,他們分別是 Document, Field, IndexWriter, Analyzer, Directory。下面我們分別介紹一下這五個類的用途: Document Document 是用來描述文檔的,這裏的文檔可以指

在文本類型上設置索引 會生效麼 , System , 大數據 , 數據倉庫 , text , HTML

收藏 評論

mb69410ac31213c - AI普惠時代:中小企業如何用智能體重構競爭力?

根據工業和信息化部2024年數據,我國專精特新“小巨人”企業中,超80%集中在人工智能等戰略性領域,但僅有不足30%實現AI技術規模化應用。這一數字背後,折射出中小企業在AI轉型中的三大結構性矛盾: 1. 技術-成本悖論 AI研發需要持續投入算力與數據資源,而中小微企業年均AI預算不足5000元/月(CSDN調研)。例如,某製造業企業嘗試部署自研質檢模型,初期算力採購

大數據 , 數據 , 數據倉庫 , 人工智能 , 開發週期

收藏 評論

secondriver - 數據倉庫建設-分層和優化

1. 為什麼要對數倉進行分層? 在複雜的業務場景和多源異構的數據環境下,數據倉庫通過分層設計實現以下目標: 提升可維護性:避免所有數據混雜在一起,降低系統耦合度。 增強可管理性:每一層職責清晰、邊界明確,便於團隊協作與問題追蹤。 提高複用性:標準化處理後的中間層數據可被多個上層應用共享使用。 保障數據質量:逐層清洗、校驗、聚合,確保最

數倉分層 , 大數據 , 數據倉庫 , 用AIGC寫一篇爆文

收藏 評論

u_15444077 - 利特爾法則(little' law)在軟件開發領域的應用

本文分享自天翼雲開發者社區《利特爾法則(little' law)在軟件開發領域的應用》.作者:王****淋 一、引例 先考慮一個小學數學問題: - a)某小學每屆1000名學生,6年制,請估算此刻該學校內學生總人數。 很明顯,6個年級每個都是1000,學生人數為1000*6=6000。 這就是利特爾法則的直觀體現。看上去好無聊,這還用搞個法則來麼?事

大數據 , 操作系統 , 數據倉庫

收藏 評論

u_15022783 - 國產工業時序數據庫—DolphinDB的技術突破與實踐優勢

1. 工業數字化轉型的“數據焦慮” 隨着工業物聯網(IIoT, Industrial Internet of Things)浪潮的全面深入,全球製造業正經歷一場深刻的數字化轉型(Digital Transformation)。數以億計的傳感器和智能設備被部署到生產一線,形成了龐大的工業數據網絡。這場變革的基石——海量、高頻的工業時序數據,也成為了企業邁向智能化生產最大的“數

大數據 , 數據 , 毫秒級 , 數據倉庫 , 高可用

收藏 評論

阿森CTO - linux指令與實踐文件編寫

@TOC 📝前言 本節阿森將和你一起深入淺出的學習簡單幾條指令,快速上手在linux寫代碼,同時更好的理解指令記憶 🌠 linux目錄結構 在linux系統中,磁盤上的文件和目錄被組成一個樹,每個節點都是目錄或文件,像是一個多叉樹的層次結構。如圖所示: 以上只是展示目錄的結構是目錄樹的結構,以下是 Linux 文件目錄結構的主要組

大數據 , yyds乾貨盤點 , 搜索 , 數據倉庫 , Linux , Css

收藏 評論

智慧編織者 - 數據倉庫 etl 工具 腳本 kafka 數據倉庫etl開發過程

本文是關於計劃、設計和實現基本數據倉庫解決方案的系列文章的第 3 部分,將設計和實現倉庫 ETL 過程,並瞭解倉庫的性能和安全問題。 請多多支持作者作品RKWeb1.1 asp.net開發模板! 有效提高asp.net開發效率60%以上的代碼框架! 類似java的struts+spring+hirbenate 下

商業智能 , 大數據 , 數據倉庫 , 數據庫 , db2 , ibm

收藏 評論

信息流星 - db2 刪除分區報錯 set integrity

海量信息即大規模數據,隨着互聯網技術的發展,互聯網上的信息越來越多,如何從海量信息中提取有用信息成為當前互聯網技術發展必須面對的問題。 在海量數據中提取信息,不同於常規量級數據中提取信息,在海量信息中提取有用數據,會存在以下幾個方面的問題: (1)數據量過大,數據中什麼情況都可能存在,如果信息數量只有20條,人工可以逐條進行查找、

海量數據 , 大數據 , 字符串 , 數據 , 算法 , 數據倉庫

收藏 評論