@數據分析

Stories List
@selectdb

數據無界、湖倉無界, Apache Doris 湖倉一體解決方案全面解讀(上篇)

導讀:湖倉一體架構融合了數據湖的低成本、高擴展性,以及數據倉庫的高性能、強數據治理能力,高效應對大數據時代的挑戰。為助力企業實現湖倉一體的建設,Apache Doris 提出了數據無界和湖倉無界核心理念,並結合自身特性,助力企業加速從 0 到 1 構建湖倉體系,降低轉型過程中的風險和成本。本文將對湖倉一體演進及 Apache Doris 湖倉一體方案進行介紹。 在過去的數年間,數據分析技術棧

selectdb Avatar

@selectdb

Nickname SelectDB技術團隊

@nbidashuju

NBI可視化平台內置多種風格多套模板,做數據可視化不費勁

NBI可視化平台版本已經更新到4.9.1啦,在NBI可視化平台4.9.1版本中內置了多種風格、多套模板可以供用户選擇使用,並且在可視化視覺上面做了增強 NBI具有豐富的數據源對接能力 易於操作的可視化編輯器 豐富的組件庫: 易於功能擴展的腳本功能: NBI大數據可視化分析平台作為新一代自助式(體驗地址:http://

nbidashuju Avatar

@nbidashuju

Nickname NBI大數據

@zixindebocai

深入研究:淘寶天貓商品詳情查詢API詳解

淘寶開放平台提供了一組API接口,用於獲取淘寶商品的詳細信息。通過這些接口,開發者可以在自己的應用或系統中集成淘寶商品數據,實現商品展示、搜索、價格比較等功能。以下是一些常見的淘寶商品詳情數據API接口及其功能: item_get:獲取單個商品的詳細信息,包括商品標題、價格、描述、圖片、屬性、庫存等。 item_review:獲取商品的評論信息,包括評論內容、評分、用户信息等。 item_fee:

zixindebocai Avatar

@zixindebocai

Nickname Odin

@smartbidashuju

Smartbi 10 月版本亮點:AIChat對話能力提升,國產化部署更安全

10 月版本煥新上線!Smartbi AIChat 與一站式 ABI 平台再升級,聚焦「交互體驗、數據效率、部署適配、安全管控」四大方向,解決溝通閉環、國產化遷移、大規模授權加載慢等實際業務痛點,讓數據分析更順暢、部署更靈活、安全更可靠,助力企業降本提效!下文為你拆解功能亮點~ 01 Smartbi AIChat 1 新增對話評論與回覆,雙向溝通更高效 AIChat 以往的反饋是單向的:用户提交問

smartbidashuju Avatar

@smartbidashuju

Nickname Smartbi

@secretflow

隱私計算系列MOOC第二期 強勢迴歸!隱語聯合產學研“專家天團”,共同打造全景知識地圖

近年來,我國數據要素市場規模保持高速增長,隨着《數據安全法》、《個人信息保護法》、《數據二十條》等相關政策相繼出台,對隱私數據安全提出了新的要求。作為數據要素流通的實踐探索者與隱私計算技術的佈道者,隱語希望凝聚學術界與產業界生態共建力量,帶來“數據安全/隱私計算”的系列課程分享。 緊跟數據要素市場發展前沿趨勢,普及數據安全與隱私保護的重要意義,隱語開源社區聯合學術屆與產業界的數十位專家學者,於20

secretflow Avatar

@secretflow

Nickname 隱語SecretFlow

@mirrorship

什麼是 MPP 數據庫?解鎖海量數據分析的關鍵技術

為什麼需要 MPP 數據庫? 在數據爆炸的時代,傳統數據庫處理 TB 甚至 PB 級數據時往往力不從心,查詢緩慢,無法支撐實時分析需求。這種情況下,MPP 數據庫成為解決大規模數據分析性能瓶頸的關鍵技術。 想象一下:一個電商平台在大促期間,原本穩定的系統突然卡死;一個數據彙總應用在處理全年數據時崩潰。這些都是我們在高併發、高吞吐量場景下常見的問題。為什麼會這樣?因為系統設計時沒有考慮極限情況下的數

mirrorship Avatar

@mirrorship

Nickname 鏡舟科技

@aloudata

重磅活動!3.14,與數智領袖共探 NoETL 指標平台最佳實踐

NoETL 指標平台重塑了指標開發協作模式。Aloudata CAN 以強大的指標定義和查詢加速能力,直連數倉公共層明細數據,自動化代持寬表與彙總表開發,實現了 NoSQL 指標定義、NoETL 指標開發、統一指標管理,一舉解決了指標“開發週期長、口徑不統一、分析不靈活、冗餘成本高”等頑疾,並在金融、消費零售、製造、ICT、能源、航空、醫療等多行業打造了標杆案例,為企業數據開發、消費與管理帶來了顛

aloudata Avatar

@aloudata

Nickname Aloudata大應科技

@mirrorship

數據湖和數據倉庫的區別

在當今數據驅動的時代,企業需要處理和存儲海量數據。數據湖與數據倉庫作為兩種主要的數據存儲解決方案,各自有其獨特的優勢與適用場景。本文將客觀詳細地介紹數據湖與數據倉庫的基本概念、核心區別、應用場景以及未來發展趨勢,幫助讀者更好地理解和選擇適合自身需求的數據存儲方案。 一、基本概念 數據湖(Data Lake) 數據湖的概念最早由Pentaho公司的James Dixon在2011年提出,是一種能夠存

mirrorship Avatar

@mirrorship

Nickname 鏡舟科技

@starrocks

Airtable 如何用 StarRocks 構建數據驗證系統

摘要:歸檔冷數據至 S3,藉助 StarRocks 實現一致性驗證與存儲降本 作者:Riley ,Airtable 數據基礎設施團隊 導讀: 開源無國界,在本期“StarRocks 全球用户精選案例”專欄中,我們將介紹總部位於舊金山的雲端協作服務公司 Airtable。作為一家致力於讓用户像操作表格一樣輕鬆構建數據應用的企業,Airtable 在 2025 年完成

starrocks Avatar

@starrocks

Nickname StarRocks

@qiyuxuanangdechuangkoutie

體育數據:足球/籃球數據API接入指南

數據是體育 API 的核心資產,足球與籃球因運動特性差異,形成了各具特色的核心數據體系,且需通過標準化技術路徑實現接入與應用。以下從數據解析、技術實現、場景落地、實施考量四大維度,構建完整的 API 接入指南。 一、核心數據類型解析 1.足球數據維度 比賽基礎信息: 賽事架構:聯賽層級、賽季階段、比賽狀態 參與方信息:球隊陣容、球員資料、裁判組成 動態事件流: 場上行為:傳球路線、射門嘗試

qiyuxuanangdechuangkoutie Avatar

@qiyuxuanangdechuangkoutie

Nickname 行走的體育數據庫

@mirrorship

鏡舟科技亮相 2025 中國移動雲智算大會,展示數據湖倉一體創新方案

4月10-11日,2025 中國移動雲智算大會在蘇州金雞湖國際會議中心成功舉辦。大會以“由雲向智,共繪算網新生態”為主題,匯聚了眾多行業領袖與技術專家,共同探討了算力網絡與人工智能的深度融合與未來發展趨勢。 作為中國領先的企業級數據基礎設施服務商,鏡舟科技受邀亮相本次大會,展示了其在新一代數據架構領域的創新成果與實踐案例。 在本次大會上,鏡舟科技重點展示了基於鏡舟數據庫的 Lakehouse 解

mirrorship Avatar

@mirrorship

Nickname 鏡舟科技

@mirrorship

StarRocks 主鍵(Primary Key)深度解析

一、StarRocks 產品簡介 StarRocks 是一款高性能分析型數據庫,專為海量數據的實時分析而設計。作為新一代湖倉(Lakehouse)加速引擎,StarRocks 融合了 MPP 架構和列式存儲引擎的優勢,能夠支持億級數據秒級查詢響應。 核心特性: 全面的數據模型:支持明細模型、主鍵模型和聚合模型,滿足多樣化業務場景 實時數據分析:提供高效的數據導入與更新能力,支持實時數據處理

mirrorship Avatar

@mirrorship

Nickname 鏡舟科技

@mirrorship

數據湖典型架構解析:2025 年湖倉一體化解決方案

數據湖架構概述:從傳統模型到 2025 年新範式 數據湖作為存儲海量異構數據的中央倉庫,其架構設計直接影響企業數據價值的釋放效率。傳統數據湖架構主要關注數據的存儲和管理,而 2025 年的數據湖架構已經演變為更加智能化、自動化的綜合性數據平台。 數據湖本質上是一個存儲庫,允許企業以原生格式存儲各類數據,包括結構化、半結構化和非結構化數據。與傳統數據倉庫相比,數據湖採用“讀時模式”(schema-o

mirrorship Avatar

@mirrorship

Nickname 鏡舟科技

@mirrorship

什麼是列存儲(Columnar Storage)?深度解析其原理與應用場景

列存儲的基本概念:顛覆傳統的數據組織方式 列存儲(Column Storage)是一種革命性的數據庫存儲技術,它通過按列而非按行組織數據,從根本上改變了數據的物理存儲結構。與傳統行存儲數據庫不同,列式數據庫將每一列的數據連續存儲在一起,而不是將每一行的數據存儲在一起。這種看似簡單的存儲結構變化,卻為分析型查詢帶來了質的飛躍。 要理解列存儲的本質,我們可以通過一個簡單的例子來説明。假設有一個包含用户

mirrorship Avatar

@mirrorship

Nickname 鏡舟科技

@aixiaodekaomianbao_ddkwvd

ClkLog埋點與用户行為分析系統2.0:架構升級性能躍遷,限時優惠速來體驗

ClkLog本次升級版本為PRO專業版和CDP企業版 ,我們通過使用寬表模式以提升複雜查詢性能與二次擴展的便利程度。2.0將更適合高併發、複雜分析場景的企業團隊。 一、2.0版本能力亮點 架構級別的升級 數據接收與存儲結構全面重構 1.0版本:自定義事件屬性、用户屬性以JSON格式存儲 2.0版本:升級為「寬表模式」,更適合結構化分析與查詢優化 查

@datadowell

「企業信息查詢API接口」詳細介紹及調用使用方法!

在當今瞬息萬變的市場競爭中,獲取及時、準確的商業情報信息已成為企業構築核心競爭優勢的關鍵。“企業數據信息”作為最重要的商業情報,能夠讓擁有者精準洞察市場趨勢、競爭對手動態及客户需求變化,幫助企業預見風險、發現機遇,從而在戰略規劃、產品創新和市場營銷中做出先人一步的精準決策,在激烈的商戰中搶佔先機、贏得主動。目前獲取企業數據信息最為便捷的方法就是通過「企業信息查詢API接口」調用,快速、便捷、高效。

datadowell Avatar

@datadowell

Nickname 五度易鏈

@starrocks

實戰|StarRocks 通過 JDBC Catalog 訪問 MongoDB 的數據

方案介紹 本文檔介紹如何通過 StarRocks 的 JDBC Catalog 功能,結合 MongoDB BI Connector,將 MongoDB 數據便捷接入 StarRocks,實現數據打通和 SQL 查詢分析,以下是整體流程圖。 前提條件 StarRocks 環境:版本 ≥ 3.0,支持 JDBC Catalog 功能。 MongoDB BI Connector:已安裝並運行,

starrocks Avatar

@starrocks

Nickname StarRocks

@secretflow

隱語SecreFlow SCQL 1.0.0b1 發佈:更完善的 SQL 支持與更高效的隱私查詢引擎

打開鏈接點亮社區Star,照亮技術的前進之路。每一個點贊,都是社區技術大佬前進的動力 Github 地址: https://github.com/secretflow/scql 我們非常高興地宣佈 —— **SCQL 1.0.0b1 版本正式發佈!** 作為 SecretFlow 生態下的核心組件之一,SCQL 在本次版本中迎來了功能完善、性能優化與配置升級的多重提升,為開發者帶來更易用、

secretflow Avatar

@secretflow

Nickname 隱語SecretFlow

@aloudata

Aloudata 亮相 2025 DACon 數智大會,為企業打造可信智能的 Data Agent

10 月 24 日,由國內知名大數據與人工智能技術社區 DataFun 主辦的 2025 DACon 數智大會在北京隆重舉行。此次大會以“大模型時代,Data + AI 的變與不變”為主題,聚焦大數據、大模型技術動態及 AI 應用實踐,涵蓋了汽車製造、金融、保險、電商、消費、零售、物流、軟件開發等行業領域。 Aloudata 大應科技產品專家趙禕祺受邀參會,帶來了《以 NoETL 指標語義層為核心

aloudata Avatar

@aloudata

Nickname Aloudata大應科技

@anjingdexiaoyanyao_ciaxxr

📥 x-cmd install | l'oGGo - 終端日誌的救星!快速過濾、輕鬆搜索、高效分析

在終端中查看大量的 JSON 格式日誌常常讓人頭疼,信息雜亂無章,難以快速定位關鍵信息。l'oGGo 正是為了解決這個問題而生的!它是一款基於 Golang 開發的終端用户界面 (TUI) 應用,能夠有效地解析和展示 JSON 日誌流,讓日誌分析變得輕鬆高效。 l'oGGo 的優勢 相比於傳統的終端日誌輸出,l'oGGo 提供了更加友好的交互式界面,讓您可以: 過濾/搜索日誌: 無需改