tag SQL

標籤
貢獻236
289
06:37 AM · Oct 27 ,2025

@SQL / 博客 RSS 訂閱

u_14767244 - Doris Catalog 已上線!性能提升 200x ,全面優於 JDBC Catalog,跨集羣查詢邁入高性能分析時代

“統一”是 Apache Doris 長期以來秉持的設計理念之一。在這一理念指引下,構建完善的 Catalog 生態是實現異構數據源統一查詢分析的關鍵。目前,Doris 已支持 Iceberg、Paimon、Hudi 等數據湖 Catalog,以及 JDBC Catalog,用户無需遷移數據,即可對不同數據湖和傳統數據庫進行聯邦查詢分析。 本文聚焦 Doris 多集羣間的查詢分析。實

大數據 , 數據 , 執行計劃 , 數據倉庫 , 數據庫 , SQL , apache

收藏 評論

Alluxio - Meta(Facebook): 基於Alluxio Shadow Cache優化Presto架構決策

Facebook Presto是一個以SQL語言作為接口的分佈式實時查詢引擎,可以對PB級的數據進行快速的交互式查詢。它支持標準的ANSI SQL.包含查詢、聚合、JOIN以及窗口函數等。 Alluxio將其在數據層的創新作為Presto和各種分析應用程序和用例的關鍵支持技術。它創建了一個虛擬數據層,可以聚合來自任何文件或對象存儲的數據,提供跨存儲系統的統一命名空間,並允許應用程序

分佈式系統 , meta , presto , 過濾器 , SQL

收藏 評論

愛可生開源社區 - SCALE | 2025 年 10 月《大模型 SQL 能力排行榜》發佈

一、本月導覽與核心看點 2025 年 10 月,SCALE 評測基準持續追蹤 AI 在專業 SQL 領域的最新進展。本月,榜單迎來了螞蟻百靈大模型團隊發佈的兩大 萬億級 參數的模型:Ling-1T 和 Ring-1T。 Ling-1T :螞蟻百靈大模型 Ling 2.0 系列的第一款旗艦模型。 Ring-1T :一款基於 Ling 2.0 架構的思考模型,也是全球首個開源萬億參數思考模型

llm , 數據庫 , SQL

收藏 評論

雲和恩墨 - 7 個前置動作,讓 80% 數據庫隱患 “扼殺在萌芽裏”

在數字化時代,數據庫作為企業核心數據資產的載體,其穩定性直接決定業務連續性。然而殘酷的現實是,75%的嚴重業務中斷源於未被及時發現的數據庫隱患,超過60%的數據庫故障因缺乏提前預警而升級為重大事故。對於運維團隊而言,“事後救火”式的應急響應不僅成本高昂,更可能造成不可挽回的業務損失。因此,小編總結了降低數據庫故障概率的7大核心動作,可覆蓋80%以上的數據庫潛在隱患,讓企業的數據庫

運維 , 數據庫 , SQL

收藏 評論

京東雲開發者 - 線上SQL超時場景分析-MySQL超時之間隙鎖 | 京東物流技術團隊

前言 之前遇到過一個由MySQL間隙鎖引發線上sql執行超時的場景,記錄一下。 背景説明 分佈式事務消息表:業務上使用消息表的方式,依賴本地事務,實現了一套分佈式事務方案 消息表名:mq_messages 數據量:3000多萬 索引:create_time 和 status status:有兩個值,1 和 2, 其中99%以上的狀態都是2,表示分佈式事務全部已經執行完成,可以刪除。 消息表處理邏輯

MySQL , , 數據庫 , SQL

收藏 評論

泊浮目 - 培訓班誤人子弟!扒源碼見真相

本文在綠泡泡“狗哥瑣話”首發於2025.11.24 -關注不走丟。 前言 大家好,這裏是狗哥。前陣子一個粉絲髮了我一個鏈接,問了我個問題。 那從這篇文章可以看到呢,這裏的確提到了一些RBO規則啊,還説是關鍵優化示例,但並不是啊,真實情況會有50多個規則,50多個規則裏呢,會有不少規則是關鍵優化示例。那今天就帶大家一個個解讀過去,主打一個真實硬核的扒源碼説話! 那要注意的是呢,講

spark , SQL , 優化

收藏 評論

趙渝強老師 - 【趙渝強老師】MySQL InnoDB的數據文件與重做日誌文件

MySQL與Oracle一樣都是通過邏輯存儲結構來管理物理存儲結構,即管理硬盤上存儲的各種文件。下面將詳細介紹InnoDB存儲引擎中的數據文件和重做日誌文件。 一、數據文件 “.ibd”文件和ibdata文件 這兩種文件都是存放Innodb數據的文件,之所以有兩種文件來存放Innodb的數據(包括索引),是因為 Innodb 的數據存儲方式能夠通過配置來決定是使用共享表空間存放存儲數據,還是獨享表

MySQL , innodb , 數據庫 , SQL

收藏 評論

商湯萬象開發者 - LazyLLM教程 | 第16講:實戰:打造具備宏觀問答與圖表生成功能的論文問答的RAG系統

在前面的課程中,我們利用所學的 RAG 知識,搭建了一個基於論文的問答系統。但是當論文數量比較多時,針對一些統計信息,比如某個方向的論文數量、某個會議的論文數量等,如果只通過傳統的 RAG 是沒辦法對這些信息進行檢索的。 對此,本章將先簡單回顧之前內容,並在此基礎上再做升級,完成一個集統計分析和知識問答功能於一體的智能問答系統。 一、上節回顧 為了更好地理解本章內容,我們先簡要回顧前兩

機器學習 , 教程 , 知識 , 人工智能 , SQL

收藏 評論

mb43f60adeco02a - DBA必備腳本:一鍵殺會話

在週末時一位朋友諮詢有沒有自動殺會話的腳本,今天就和大家分享一下自己常用的兩個殺會話的腳本。殺會話這個工作本身來説非常的簡單,但是在日常工作中怎麼能把殺會話的效率做到極致是我們衡量的一個標準,因為在系統緊急故障時,我們需要通過殺會話來快速恢復系統,如果殺會話的速度跟不上,那整個系統就直接掛了。記得曾經在駐場時就出現過兩次類似的情況:一次是國慶值班時,跟值

微信 , 數據庫 , 後端開發 , SQL , Python

收藏 評論

信息流星 - 2021年最新最全Flink系列教程

1. 什麼時候需要“混用”? 先用 Table 生態(Catalog、Connector、SQL 函數)做取數/清洗,再回到 DataStream 寫低階算子(自定義定時器、精細狀態)。 某些 無狀態歸一化(大小寫、正則清洗、簡單投影)交給 SQL;複雜業務/亂序處理交給 DataStream。 歷史補數(有界流)走 Ba

服務器 , 大數據 , 自定義 , 後端開發 , flink , SQL , Python

收藏 評論

技術領航者之聲 - DB2 jabcd連接串socketTimeout

以遞歸方式處理數據關係的一種新方法 Birgitta Hauser, 軟件工程師, Toolmaker Advanced Efficiency GmbH 簡介:根據 SQL 標準,分級數據(如組織圖和材料單)或雙向數據(如航班中轉)可以通過使用遞歸通用表表達式 (RCTE) 進行評估。DB2 for i 的 V5R4 版本中提供了 RCTE 功能。其他的數據庫(如 O

大數據 , 遞歸 , 數據 , 數據倉庫 , SQL

收藏 評論

讓世界更美好 - OceanBase數據庫全解析:架構、特性與應用實踐

一、OceanBase簡介:中國原生的分佈式數據庫 OceanBase是由螞蟻集團完全自主研發的分佈式關係型數據庫,誕生於2010年,最初用於解決支付寶的核心交易需求。經過十餘年發展,如今已成為支撐雙11百萬級TPS、金融級一致性的成熟數據庫產品。 核心定位:OceanBase定位於"高可用、高擴展、高兼容的分佈式關係數據庫",尤其擅長處理金融級事務和高併發場景。20

oracle , yyds乾貨盤點 , 數據 , 數據庫 , 分佈式事務 , SQL

收藏 評論

爾等氏人 - PostgreSQL批量數據導入優化

引言 在大數據時代,高效的數據導入能力成為衡量數據庫性能的重要指標。無論是數據倉庫建設、日誌分析還是系統遷移,批量數據導入都是不可避免的操作。PostgreSQL提供了多種優化手段來提升大批量數據插入的性能,正確使用這些技術可以將導入速度提升數倍甚至數十倍。 影響導入性能的關鍵因素 批量數據導入的性能受到多個因素的影響,包括硬件配置、網絡帶寬、數據格式、索引結構以及Postg

redis , 數據 , 數據導入 , 數據庫 , SQL

收藏 評論

Bytebase - 業界數據庫工具結合 ChatGPT 的(不完全)彙總

雖然 ChatGPT 才發佈沒多久,但已經成為了打工人必不可少的工具,基於 ChatGPT 的工具也像雨後春筍般涌現出來。而在數據庫相關領域,大家立馬想到的就是能否利用 ChatGPT 的相關技術來幫大家實現用自然語言聊天的方式寫出 SQL。下面我們就來盤點一下最近出現的一系列工具。 sqlTranslate sqlTranslate是利用 OpenAI 的 API 實現的一個很簡單的工具,輸入自

plugin , 數據庫 , chatgpt , SQL

收藏 評論

mb69129985e0f10 - SCALE發佈《2025年12月大模型SQL能力排行榜》:技術迭代加速,專業模型持續領跑

2026年1月6日,SCALE評測機構正式發佈《2025年12月大模型SQL能力排行榜》,揭示全球頂尖AI模型在數據庫查詢優化、方言轉換及複雜邏輯解析等核心維度的最新進展。本次評測首次引入生產級複雜場景數據集2.0版本,覆蓋MySQL、Oracle、PostgreSQL及SQL Server四大主流數據庫方言,重點考察模型在真實業務環境中的性能調優能力與方言適配性。

數據集 , redis , 數據庫 , SQL

收藏 評論

墨天輪 - 技術分享 | 某客户突發大量異常GC等待故障分析

本文為墨天輪數據庫管理服務團隊第152期技術分享,內容原創,作者為技術顧問肖傑,如需轉載請聯繫小墨(VX:modb666)並註明來源。如需查看更多文章可關注【墨天輪】公眾號。 故障概述 客户一Oracle數據庫發生出現大量gc cr multi block request,gc buffer busy acquire,read by other session 等等與物理讀相關的等待,CPU使用率

oracle , 數據庫 , SQL

收藏 評論

IvorySQL - PostgreSQL 中的“髒頁(Dirty Pages)”是什麼?

PostgreSQL 以固定大小的數據塊(Page)存儲數據,默認大小為 8 KB。當客户端執行更新或插入操作時,PostgreSQL 並不會立即將變更寫入磁盤,而是先將相關數據頁加載到共享內存(Shared Buffers)中,在內存中完成修改,並將該頁面標記為“髒頁”。所謂“髒頁”,是指內存中的頁面版本已經新於磁盤上的對應版本。 在向客户端返回操作結果之前,PostgreSQL 會先將變更記錄

數據庫 , postgresql , 人工智能 , SQL

收藏 評論

獨淚了無痕 - COALESCE函數:處理NULL值的利器

一、基礎解析 基本概念   在 SQL 數據查詢中,空值(NULL)處理是開發者經常面臨的挑戰,空值可能由於數據缺失、未知或未定義的值而存在。SQL 提供了多種方法來處理空值,其中 COALESCE 函數是一個非常有用的工具,能夠優雅地解決數據缺失問題,為查詢結果提供可靠的默認值。   COALESCE 是ANSI SQL標準定義的函數,其名稱源自"coaliti

數據 , MySQL , 默認值 , 數據庫 , SQL

收藏 評論

數據探索先鋒 - db2 shell腳本批量插入數據

《DB 查詢分析器》批量執行DML語句並返回更詳細的信息 馬根峯 ( 廣東聯合電子收費股份有限公司, 廣州 510300) 摘要本文簡單闡明瞭DB 查詢分析器訪問DB2時批量執行DML語句,並返回更詳細的信息。 關鍵詞 DB 查詢分析器;DML;數據庫客户端工具 DB Query Analy

大數據 , 數據倉庫 , 數據庫查詢 , 數據庫 , SQL , db2 shell腳本批量插入數據 , 查詢分析器

收藏 評論

蔣點數分 - 【Uber 面試真題】SQL :每個星期連續5星評價最多的司機

大家好,我是“蔣點數分”,多年以來一直從事數據分析工作。從今天開始,與大家持續分享關於數據分析的學習內容。 本文是第一篇,也是【SQL 週週練】系列的第一篇。該系列是挑選或自編具有一些難度的 SQL 題目,一週至少更新一篇。後續創作的內容,初步規劃的方向包括: 後續內容規劃 1.利用 Streamlit 實現 Hive 元數據展示、SQL 編輯器、 結合Docker 沙箱實現數據分析 Agent

hive , pandas , 數據分析 , SQL , Python

收藏 評論

u_15714439 - 寶劍鋒從磨礪出——零售數據庫內核,為大促鑄劍!

癸卯七月風雨大作 京東零售·袁博文 僵卧雙九不自哀,尚思為東戍輪台。 夜闌卧聽珊瑚雨,鐵馬內核入夢來。 前言略長,只關心技術的同學可直接跳過看第二章 一、前言:技術的底色是什麼? 這個問題在技術人心中其實沒有標準答案,每個人都有每個人的見解。架構師眼裏大抵是高屋建瓴,統領全局;技術大牛的視角可能是剖根溯源,精刀

軟件研發 , 限流 , 數據庫 , SQL

收藏 評論

mob64ca1402665b - Spark SQL 優化筆記

1. 數據存儲與格式優化 選擇合適的文件格式:推薦使用 Parquet、ORC 等列式存儲格式,壓縮率高,查詢快。 分區存儲:根據業務字段(如日期、地區等)合理分區,減少掃描數據量。 避免小文件:合併小文件,減少文件系統開銷,提高並行度。 2. SQL 查詢優化 謂詞下推(Predic

spark , 大數據 , SQL

收藏 評論

MatrixOrigin - MatrixOne Intelligence 4.0 全新升級:讓數據智能觸手可及!

MatrixOne Intelligence 4.0 全新升級:讓數據智能觸手可及! MatrixOne Intelligence 介紹 MatrixOne Intelligence 是一套面向多模態數據的 AI 數據智能平台,旨在幫助企業應對數據碎片化、多模態數據整合複雜、GenAI 應用落地困難等挑戰。通過數據接入、智能解析、數據工作流、超融合的湖倉底座,MatrixOne Intellige

llm , 數據挖掘 , 數據庫 , 人工智能 , SQL

收藏 評論