tag 數據庫

標籤
貢獻699
2315
05:15 PM · Oct 25 ,2025

@數據庫 / 博客 RSS 訂閱

數據集成與治理 - 一文帶你全面解讀數據治理

先問大家一個問題:公司的數據現在處於一種什麼狀態? 兩年前我幹數據工作時,團隊總是會出現:開會的時候不同部門因為“客户數量”根本對不上而爭吵; 新來的同事想查找信息,卻發現同一個產品叫法有好幾個; 公司想搞個精準營銷,卻發現客户手機號一堆是空的,結果根本就執行不了。 聽着是不是很熟? 其實就是因為沒有進行數據治理。説白了,數據治理可是一項必須要做的基礎性工作。 但是要怎麼做?怎樣做好?有

數據管理 , 教程 , 知識 , 數據庫

收藏 評論

數據集成與治理 - 元數據管理是什麼?怎麼管?

做數據最怕什麼? 需要分析業務時找不到數據在哪;各部門對"活躍用户"等指標定義不一,數據對不上;報表出錯時,還得花大量時間排查問題根源…… 這些情況其實就是缺乏對元數據的有效管理。 找數據難、數據口徑不一致、問題追溯效率低等問題,其實把元數據管理做好了,就能解決這些問題。 下面我就來給大家好好講講元數據管理的概念、作用、管理步驟和重要性,幫你找到切實可行的解決方案。 一、什麼是元數據管理? 咱們先

數據 , 教程 , 知識 , 數據庫

收藏 評論

普郎特 - # Python多進程深度解析:Windows下的進程創建與數據傳遞機制

前言 在使用 Python 的 multiprocessing 模塊時,你是否遇到過這些困惑: 為什麼子進程能訪問 self.url 和 self.headers 這些實例屬性? 子進程是如何獲取類方法、類屬性和模塊函數的? 為什麼數據庫連接不能放在 __init__ 中? if __name__ == '__main__': 到底保護了什麼? 本文將深入剖析 Windows 平台下

教程 , 知識 , 數據庫 , 爬蟲 , Python

收藏 評論

墨天輪 - 2025年10月國產數據庫大事記:達夢前三季度淨利潤大幅增長達3.3億元,移動雲獲CCF科技成果獎……

本文為墨天輪社區整理的2025年10月國產數據庫大事件和重要產品發佈消息。 達夢數據財報顯示,前三季度淨利潤達3.3億元,同比增長89.11%,同時達夢數據屢獲殊榮,包括入選中國軟件百強等。南大通用 GBase 8a 獲評軟博會“2024-2025年度優秀創新軟件產品”;移動云云原生數據庫項目獲CCF科技成果獎;KWDB開發站上線,為開發者提供資源支持;崖山數據庫華東區域總部落地南京;此外,Dol

騰訊雲 , oceanbase , 阿里雲 , 數據庫 , 達夢數據庫

收藏 評論

冷冷的炒麪 - 網站為什麼要HTTPS訪問?

在瀏覽網站時,您可能注意到有些網址以“http://”開頭,而有些則以“https://”開頭。這個額外的“s”代表着安全(Secure),意味着您的連接受到SSL證書的保護。本文將解釋為什麼HTTPS如此重要。 什麼是HTTPS? HTTPS是HTTP的安全版本。它通過SSL(安全套接層)或TLS(傳輸層安全)協議對數據進行加密。當網站使用HTTPS時,瀏覽器和服務器之間的所有通信都會被加密,防

觀點 , HTTP , 知識 , 數據庫 , 前端

收藏 評論

碼雲筆記 - MySQL執行計劃出現 Using filesort 是什麼原因?如何進行優化?

在對以一個SQL的執行計劃進行分析時,我們會關注Extra這個屬性,當這個屬性的值是Using filesort時,就需要看下SQL是否需要優化一下了。 1.Using filesort 比如下面的這個SQL,排序字段上沒有索引,執行計劃Extra就顯示Using filesort: EXPLAINSELECT*FROMtest4ORDERBYtime_stamp; 也可以通過FORMAT=JSO

MySQL , 教程 , 數據庫

收藏 評論

SelectDB技術團隊 - 貨拉拉用户畫像基於 Apache Doris 的數據模型設計與實踐

貨拉拉是國內領先的同城貨運數字化平台,成立於 2013 年。截⾄2025 年 4⽉ ,貨拉拉業務覆蓋全球 14 個市場 ,400+ 城市 ,其中中國內地總共覆蓋 363 座城市 ,⽉活司機達 120 萬 ,⽉活⽤户達 1400 萬, 並在全球設有 6 個數據中⼼。作為共享經濟模式的代表企業 ,貨拉拉通過移動互聯⽹技術整合社會運⼒資源 ,為⽤户提供即時貨運、企業物流、搬家服務等多元化解決⽅案。 在龐

數據庫 , apache

收藏 評論

SelectDB技術團隊 - 從 OpenSearch 到 Apache Doris:領創集團日誌系統升級實踐,降本 45%

隨着業務全球化擴展與數字化運營的深入推進,日誌系統的規模和複雜度不斷攀升,原有基於 OpenSearch 的日誌平台逐漸難以滿足成本控制、性能保障和可維護性等多維需求。為應對持續增長的數據壓力和更靈活的分析場景,領創集團技術團隊啓動了日誌系統的架構升級實踐,並最終選擇 Apache Doris 作為新一代日誌系統的核心。實現了綜合成本下降超 45%、查詢性能提升 5 倍、日誌寫入達到準實時以及靈活

資訊 , 數據庫

收藏 評論

access開發 - Access導出帶圖表的 HTML 報表:技術實現詳解

Hi,大家好! 上週我分享了把表中數據導出為 HTML 的實現;這次聚焦進階:如何把圖表也導出到 HTML 中並保持交互性與可移植性。開始前,給大家再彙報一下框架的情況,由於近兩月參與其他項目的交付,框架開發有所延後;現已調整優先級,計劃本月先發布一版可用實現,後續再按需迭代與優化。本來我也是遊刃有餘,現在是匆匆忙忙,不過這個Flag先立下了。 在 Access 開發中,我們經常需要將

數據庫 , vba , access , HTML , Javascript

收藏 評論

得物技術 - 得物TiDB升級實踐

一、背 景 得物DBA自2020年初開始自建TiDB,5年以來隨着NewSQL數據庫迭代發展、運維體系逐步完善、產品自身能力逐步提升,接入業務涵蓋了多個業務線和關鍵場景。從第一套TIDB v4.0.9 版本開始,到後來v4.0.11、v5.1.1、v5.3.0,在經歷了各種 BUG 踩坑、問題調試後,最終穩定在 TIDB 5.3.3 版本。伴隨着業務高速增長、數據量逐步增多,對 TiDB 的穩定性

數據庫性能優化 , 數據庫 , 數據庫開發 , tidb

收藏 評論

墨天輪 - Oracle 19c ADG 搭建

本文為墨天輪數據庫管理服務團隊第138期技術分享,內容原創,作者為技術顧問楊玉壯,如需轉載請聯繫小墨(VX:modb666)並註明來源。如需查看更多文章可關注【墨天輪】公眾號。 注意:本文測試搭建,正式環境搭建按需修改 所需環境:兩台服務器 主庫:192.168.100.19(自己設置) 主機名:oracle19c 預裝了oracle19c-db軟件 監聽和庫都是正常的 備庫:192.168

oracle , 數據庫 , SQL

收藏 評論

灰常酷的領帶 - 數據分析師的基本功總結

你是否對數據分析這個行業充滿好奇,但又不知從何下手? 別擔心,這篇文章將用最通俗易懂的語言,系統地介紹數據分析師需要具備哪些“基本功”, 並且結合實際生活中的例子和Python代碼,為你鋪平通往數據分析世界的大門。 1. 數據分析的“套路”:核心步驟全解析 數據分析就像是偵探破案,需要遵循一套嚴謹的流程,才能從紛繁複雜的數據中找到線索,最終得出結論。 這個過程,我們可以總結為以下六個核心步驟: 1

數據庫

收藏 評論

運維有小鄧 - 數據庫審計 - 網絡安全的重要組成部分

執行數據庫日誌分析可讓您對存儲在數據庫中的機密或敏感企業數據的所有訪問進行審核。審核數據庫日誌還可通過回答誰更改了關鍵數據、何時更改了關鍵數據等一系列問題,來增強您的內部安全框架。數據庫審核還可以幫助您滿足日益苛刻的合規要求。 一、EventLog Analyzer - 全面的數據庫審核軟件 EventLog Analyzer執行: (1)全面管理 EventLog Analyzer集中收集

知識 , 數據庫

收藏 評論

IvorySQL - 無需安裝!PostgreSQL 18 Windows 便攜部署方案

在 Windows 環境中使用 PostgreSQL 的常見做法是下載安裝程序並進行配置。該方式操作簡便,可自動完成依賴組件和系統服務的部署。然而,對於無需 PostgreSQL 持續運行、需要在多個版本之間靈活切換,或希望具備可複製至任意計算機並直接運行的便攜式環境的場景,本文將介紹一種更靈活的實現方案。 該方案僅適用於個人開發環境。在未進行安全加固的情況下,不應將其用於共享或生產部署等場景。

數據庫 , postgresql

收藏 評論

SelectDB技術團隊 - Apache Doris 4.0.1 版本正式發佈

親愛的社區小夥伴們,Apache Doris 4.0.1 版本已於 2025 年 11 月 08 日正式發佈。此版本聚焦核心模塊的打磨與優化,在 AI Search 方面實現了重要能力擴展,同時全面提升了 Lakehouse 與查詢引擎的穩定性和性能。 GitHub 下載:https://github.com/apache/doris/releases 官網下載:https://doris

數據庫 , 人工智能 , apache-doris

收藏 評論

趙渝強老師 - 【趙渝強老師】MySQL集羣解決方案

在實際的生產環境中,由單台MySQL數據庫服務器不能滿足實際的需求。此時數據庫集羣就很好的解決了這個問題了。採用MySQL分佈式集羣,能夠搭建一個高併發、負載均衡的集羣服務器。但是在搭建MySQL集羣之前,必須要保證每台MySQL服務器裏的數據同步。數據同步可以通過MySQL內部配置就可以輕鬆完成,主要有主從複製和主主複製。 視頻講解如下: https://www.bilibili.com/

MySQL , 數據庫

收藏 評論

SelectDB技術團隊 - Apache Doris Summit 2025 圓滿收官,一文速覽峯會高光時刻!

2025 年 11 月 5 日至 6 日,由飛輪科技主辦的 Apache Doris Summit 2025 技術峯會圓滿落下帷幕。本次峯會以 “Powering Real-Time Analytics Search in the AI Era” 為主題,通過線上直播的形式,成功吸引了全球的 10 萬+開發者、架構師和數據技術專家的參與。大家齊聚雲端,共探 AI 時代背景下,數據價值釋放的全新路

資訊 , 數據庫 , 人工智能 , apache

收藏 評論

TDengine濤思數據 - 一文詳解工業數據庫選型:深度解析 PI System vs TDengine

在工業互聯網與智能製造加速發展的今天,企業的數據量正呈爆發式增長。傳統的歷史數據庫在高併發寫入、分佈式架構、AI 原生能力等方面逐漸難以滿足需求。作為國產時序數據庫的代表,TDengine 以高性能、低成本、雲原生與智能化特徵,成為新一代工業數據底座的首選。 本文嚴格基於公開資料與官方文檔,對國內外主流數據庫(包括 PI System、亞控、紫金橋、麥傑、力控、中控、庚頓)與新興國產工業數據平台

觀點 , 數據庫 , 後端

收藏 評論

數據集成與治理 - 什麼是ETL增量抽取?企業數據治理必讀

兩年前,我在的數據團隊每天面對海量數據,總是在抱怨: 想要做個決策調整,結果部門報表裏的數字前後對不上;想整合一份完整的用户視圖,就得手動對接各個團隊,耗時耗力;數據在流轉中缺乏有效管控,既擔心泄露風險,又怕觸碰合規紅線...... 這些問題的根源,往往在於缺少一套行之有效的數據治理體系。而ETL正是破解這些難題最直接的技術手段。 那麼關鍵是要怎麼做呢? 本文就直接上乾貨,不講虛的,手把手教你怎麼

數字化轉型 , 知識 , 數據庫 , 數據治理平台

收藏 評論

675173ff-65c2-413a-b556-576966012357 - 住宅代理的價值與未來:真實身份下的網絡自由

在網絡世界裏,身份幾乎等同於權力。一個IP地址,不僅決定了你能訪問什麼內容,也決定了你能否順利完成某項任務。 而在今天這個一切都“被識別”的互聯網時代,住宅代理(Residential Proxy),正成為越來越多企業和開發者的“隱形基礎設施”。 為什麼住宅代理越來越重要? 過去,我們習慣使用數據中心代理(Datacenter Proxy)去爬取數據、測試網站或訪問受限內容。 它們速度

php , 數據庫 , Android , 前端

收藏 評論

DashVector - 如何通過Python SDK更新Collection中已存在的Doc

本文介紹如何通過Python SDK更新Collection中已存在的Doc。 説明 若更新Doc時指定id不存在,則本次更新Doc操作無效 如只更新部分屬性fields,其他未更新屬性fields默認被置為None Python SDK 1.0.11版本後,更新Doc時vector變為非必填項 前提條件 已創建Cluster 已獲得API-KEY 已安裝最新版SDK 接口定義

向量 , 數據庫 , 人工智能 , 大模型

收藏 評論

IvorySQL - PG預寫式日誌解碼的藝術與應用

本文整理自 IvorySQL 2025 生態大會暨 PostgreSQL 高峯論壇的演講分享,演講嘉賓:李傳成,walminer 作者。 本文內容主要包括: 邏輯解碼的基本原理 高級邏輯解碼特性 walminer 數據恢復實戰 walminer pgto server 實戰 邏輯解碼的基本原理 數據庫 INSERT 操作的 WAL 日誌解析與使用流程 物理使用(二進制回放流程) 當數

數據庫 , postgresql

收藏 評論

煩惱的沙發 - PostgreSQL 18 已發佈:一文讀懂核心變化

PostgreSQL 18的發佈,標誌着這個開源數據庫再次向前邁出了一大步。這次更新沒有太多花哨的概念,而是專注於解決實際問題,讓數據庫跑得更快、用起來更順手、維護起來更省心。 性能大躍進:從I/O到查詢優化 異步I/O (Asynchronous I/O )系統 這是PostgreSQL 18底層最重大的性能改進。過去,PostgreSQL在讀取數據時很大程度上依賴操作系統的預讀(readah

數據庫 , postgresql , 後端 , 前端

收藏 評論

RestCloud - Doris 高速查詢背後的秘密:如何用 ETL 工具提升數據導入效率

當前正處於數據大爆發時代,數據海量增長的同時,決策時效性要求也提高了, 企業不再滿足於T+1的報表,而是需要秒級甚至毫秒級的實時數據分析來支撐運營決策(如實時風控、精準營銷、業務監控)。另一方面,技術架構的複雜性與成本效率之間的矛盾: 傳統大數據架構(如Hadoop生態)組件繁多、架構複雜、運維成本高,很多企業渴望更簡單、更一體化的解決方案。在這個背景下,“速度”與“易用性” 成為了下一代數據分析

數據庫 , postgresql , etl , dorisdb , 數據處理

收藏 評論