博客 RSS 訂閱

pingcap 頭像

PingCAP - PingCAP“一號員工”唐劉：回顧我與 TiDB 的十年成長之旅

導讀 作為 PingCAP 的“一號員工”，TiDB 研發副總裁唐劉親歷了 TiDB 從一個開源小項目到全球知名分佈式數據庫的蜕變。本文，唐劉從親歷者視角，回顧了 TiDB 的技術演進、產品迭代和全球化歷程，還分享了自己從程序員到技術管理者的成長與感悟。 這是一段關於技術理想、客户成功與團隊協作的旅程，也是一次對開源精神、創新勇氣和商業智慧的深度剖析。通過唐劉的視角，我們得以窺見 TiDB 背後的

數據庫 , 分佈式

收藏 評論

hnclou 頭像

用户bPddcxP - 華納雲：分佈式存儲如何提高數據安全性？

華納雲分佈式存儲通過多種技術和機制顯著提高了數據安全性，以下是其主要方式： 1、數據冗餘與備份 分佈式存儲將數據分散存儲在多個節點上，並通過冗餘備份機制確保數據的可靠性。例如，數據可以被分割成多個片段，並在不同節點上存儲多個副本。即使某個節點發生故障或數據丟失，其他節點上的副本仍可保證數據的完整性和可用性。 2、數據加密 數據在存儲和傳輸過程中均會進行加密處理。分佈式存儲系統通常採用強加密算法（如

分佈式

收藏 評論

xuxueli 頭像

xuxueli - XXL-MQ v1.4.0 | 輕量級分佈式消息隊列

Release Notes： 1、【重構】XXL-MQ 核心代碼重構，基於“存算分離”與“分區機制”設計思想。在輕量級、分佈式的基礎上，強化高吞吐、海量消息及水平擴展能力。； 2、【新增】存算分離：消息中心（Broker）與消息存儲層（Store）解耦。消息中心 提供消息OpenApi以及消息控制枱管理能力；消息存儲層 提供消息存儲能力。得益於存算分離系統設計，消息中心支持水平擴展，支持線性

mq , 消息隊列 , 分佈式 , kafka

收藏 評論

zengshenaiguodehuoche_d2oimj 頭像

曾深愛過的火車_d2oImJ - SpringBoot中@Scheduled和Quartz的區別是什麼？分佈式定時任務框架選型實戰

今天為大家帶來的是@Scheduled和Quartz對比分析： 新手常見困惑： 剛學SpringBoot時，我發現用@Scheduled寫定時任務特別簡單。但當我看到同事在項目裏用Quartz時，代碼突然變得複雜起來——為什麼要用這些複雜的配置？難道註解不香嗎？ 今天，我們就用最直白的方式，手把手對比這兩種方案。 1. 定位與設計目標 1.1. @Scheduled註解 輕量級單機調度：Spr

quartz , spring-boot-編程思想 , 分佈式

收藏 評論

baidujiagoushi 頭像

百度Geek説 - BaikalDB 架構演進實錄：打造融合向量化與 MPP 的 HTAP 查詢引擎

導讀 BaikalDB作為服務百度商業產品的分佈式存儲系統，支撐了整個廣告庫海量物料的存儲和OLTP事務處理。隨着數據不斷增長，離線計算時效性和資源需求壓力突顯，基於同一份數據進行OLAP處理也更為經濟便捷，BaikalDB如何在OLTP系統內實現適合大數據分析場景的查詢引擎以應對挑戰？ 01 BaikalDB應對OLAP場景的挑戰 BaikalDB是面向百度商業產品系統的需求而設計的分佈式存儲系

數據 , 架構 , 分佈式

收藏 評論

zhaoqianglaoshi 頭像

趙渝強老師 - 【趙渝強老師】基於PostgreSQL的分佈式數據庫：Citus

由於PostgreSQL具有強大的功能和良好的可擴展性，因此基於PostgreSQL很容易就可以實現分佈式架構。Citus便是具體的一種實現方式。它以擴展的插件形式與PostgreSQL進行集成，且獨立於PostgreSQL內核，部署也比較簡單。Citus是現在非常流行的基於PostgreSQL的分佈式解決方案。 一、 Citus基礎 下面是百度百科中對分佈式數據庫的定義： 分佈式數據庫系統通

數據庫 , postgresql , 開源 , 分佈式 , SQL

收藏 評論

mirrorship 頭像

鏡舟科技 - 什麼是 MPP 數據庫？解鎖海量數據分析的關鍵技術

為什麼需要 MPP 數據庫？ 在數據爆炸的時代，傳統數據庫處理 TB 甚至 PB 級數據時往往力不從心，查詢緩慢，無法支撐實時分析需求。這種情況下，MPP 數據庫成為解決大規模數據分析性能瓶頸的關鍵技術。 想象一下：一個電商平台在大促期間，原本穩定的系統突然卡死；一個數據彙總應用在處理全年數據時崩潰。這些都是我們在高併發、高吞吐量場景下常見的問題。為什麼會這樣？因為系統設計時沒有考慮極限情況下的數

查詢優化 , 數據庫 , starrocks , 數據分析 , 分佈式

收藏 評論

danxiaodezixingche 頭像

老紀的技術嘮嗑局 - 單機分佈式一體化數據庫的架構設計與優化

作者：楊志豐，OceanBase產品總經理、首席架構師 首先為大家推薦這個 OceanBase 開源負責人老紀的公眾號 “老紀的技術嘮嗑局”，會持續更新和 #數據庫、#AI、#技術架構 相關的各種技術內容。歡迎感興趣的朋友們關注！ 本文摘自《OceanBase社區版在泛互場景的應用案例研究》，歡迎點擊鏈接閲讀詳細內容。 綜述 在OceanBase 十餘年的技術演進中，共經歷了三次大的架構升級

數據庫設計 , 分佈式

收藏 評論

kaiwudb 頭像

KaiwuDB - 直播預告 | KWDB 分佈式架構探究

《KW 加油站》第五期大咖專場來襲~ 快動手預約直播，搶佔技術高地！

數據庫 , 直播 , 分佈式

收藏 評論

gvison 頭像

gvison - 三步搞定 Go 分佈式任務！sasynq 庫讓異步任務變得如此簡單

Go 後台任務的“坑”，你踩過幾個？ 在 Go 應用開發中，總有一些任務不適合現場完成，比如： 發郵件/發短信：用户點擊按鈕後，還要乾等？體驗太糟糕！ 大計算量任務：生成報表、數據分析，CPU 一直被佔，其他請求全卡住？ 定時任務：凌晨跑統計、每小時同步數據，難道要寫個死循環 time.Sleep？ 所以，聰明的我們會把這些任務扔進異步任務隊列，讓後台“工人”（Worker）慢慢處理。

定時任務 , 分佈式 , go

收藏 評論

fiveyoboy 頭像

五歲小孩 - 分佈式理論 CAP + Base

簡介 在分佈式系統的設計中，分佈式系統有三個指標 CAP，但是沒有一種設計可以同時滿足 CAP （一致性，可用性，分區容錯性 ）3個特性，只能滿足其中 2 個 CAP 簡介 CAP 描述 C 一致性 Consistency，一致性 強調的是 分佈式系統中各個節點之間的數據一致性；不管訪問哪個節點，返回的數據都是一致的，否則節點不可用（拒絕服務

redis , 分佈式 , cap

收藏 評論

fiveyoboy 頭像

五歲小孩 - 分佈式和微服務和集羣的含義及區別

分佈式系統 多個人做同一件事件 分佈式系統是指由多個相互獨立的計算機節點組成的系統，這些節點通過網絡協議進行通信和協作，共同完成一個或多個應用程序的任務。分佈式系統的優點在於它們可以提供更高的可用性、可伸縮性和可靠性，但同時也需要更多的複雜性和管理工作。 微服務 ==微服務是一種基於分佈式系統的架構模式==，它將一個大型應用程序拆分成多個較小的、自治的服務。這些服務可以獨立開發、測試、部署和擴展

微服務 , 架構設計 , 分佈式 , 集羣

收藏 評論

xuxueli 頭像

xuxueli - XXL-JOB v3.2.0 | 分佈式任務調度平台

Release Notes 1、【強化】AI任務（ollamaJobHandler）優化：針對 “model” 模型配置信息，從執行器側文件類配置調整至調度中心“任務參數”動態配置，支持集成多模型、並結合任務動態配置切換。 2、【安全】登錄認證重構：密碼加密算法從Md5改為Sha256；登錄態改為登錄後動態隨機生成；提升系統安全性；（需要針對用户表進行字段調整，同時需要重新初始化密碼信

任務調度 , JAVA , 分佈式

收藏 評論

elhix0bg 頭像

阿里雲大數據AI - ODPS 十五週年實錄 | Data + AI，MaxCompute 下一個15年的新增長引擎

ODPS十五週年實錄|Data+AI，MaxCompute下一個15年的新增長引擎 本文根據ODPS十五週年·年度升級發佈實錄整理而成，演講信息如下： 於得水（得水）：阿里雲智能集團計算平台事業部資深技術專家 活動：【數據進化·AI啓航】ODPS年度升級發佈 此次演講內容共分為三個部分： 第一部分，介紹MaxCompute面向Python和AI生態計算的演進歷史。從最初的SDKLibrary到表示

大數據 , 人工智能 , 分佈式 , SQL , Python

收藏 評論

baidujiagoushi 頭像

百度Geek説 - BaikalDB MCP Server ：鏈接數據庫和AI的直通橋

導讀 BaikalDB作為服務百度商業產品的分佈式存儲系統，支撐了整個廣告庫海量物料的存儲。在大語言模型LLM蓬勃發展的現在，想在大模型裏使用BaikalDB裏的數據進行分析，都需要複雜的定製開發。看BaikalDB如何藉助模型上下文協議(MCP)，讓數據庫對話像聊天一樣簡單——無需編寫代碼，大語言模型即可完成複雜數據分析。 01 引言 在2025年以前，大語言模型（Large Language

llm , 人工智能 , 分佈式

收藏 評論

fannaodeliushu 頭像

程序員阿偉 - 《微服務冪等性踩坑實錄：從資損到全鏈路零故障的7個關鍵突破》

去年電商平台“618”大促結束後的第三天，財務部門在進行訂單與支付流水對賬時，發現了一組異常數據：用户張先生的一筆2999元家電訂單，支付記錄顯示“成功扣款兩次”，但訂單系統中對應的物流單號僅有一個，且商品已發貨。財務同事第一時間將問題反饋到技術部，我們隨即成立應急小組，從支付回調日誌、訂單狀態變更記錄、數據庫操作日誌三個維度展開溯源。順着第三方支付平台的回調日誌查看，發現該筆訂單在大促高峯期（當

分佈式

收藏 評論

gvison 頭像

gvison - 從單兵作戰到兵團壓測：PerfTest 分佈式集羣壓測實戰

前言 在前一篇文章中，我們詳細介紹了 perftest 的單機壓測能力，展示了它如何通過極簡的命令行實現對 HTTP/1.1、HTTP/2、HTTP/3 與 WebSocket 的高性能測試。然而，當業務系統龐大、服務部署分佈式、網絡鏈路複雜時，單機的壓測能力顯然無法滿足真實生產環境的模擬需求。 幸運的是，perftest 不止於單機。它同樣支持 分佈式集羣壓測，通過 Collector + Ag

壓力測試 , 分佈式 , 測試工具

收藏 評論

lpc63szb 頭像

運維社 - Spring Security入門學習

認識Spring Security Spring Security 是為基於 Spring 的應用程序提供聲明式安全保護的安全性框架。Spring Security 提供了完整的安全性解決方案，它能夠在 Web 請求級別和方法調用級別處理身份認證和授權。因為基於 Spring 框架，所以 Spring Security 充分利用了依賴注入（dependency injection， DI）和

node.js , ruby , asp.net

收藏 評論

lpc63szb 頭像

運維社 - JVM頻繁GC內存溢出排查

前言 GC（Garbage collection）頻繁和堆內存溢出原因簡單來説是對象佔用堆空間難以回收，新對象無法分配觸發GC或者直接導致內存溢出，最終進程結束。 排查思路是先查看進程各種類型對象佔用空間大小和比例，鎖定佔用空間較多的對象後再分析相關的程序是否有使用不當的地方。下文的側重點是通過多種方式查看堆內存分佈。 例子程序 先編譯（javac FrequentFull

ruby , fastapi , springboot

收藏 評論

johanazhu 頭像

山頭人漢波 - 前端學Ruby：前言

人與人的區別不是”受過教育“和”沒受過教育“，而是”喜歡閲讀“和”不喜歡閲讀“ ——《納瓦爾寶典》 寫在前面，筆者是一名前端，現在來學習 ruby，打算寫一系列的文章，將自己學習 ruby on rails 的經驗分享出來，於是就有了這一系列文章：「前端學Ruby：七天筆記」 第一天 安裝 Ruby、Rails 第二天 熟悉 Ruby 語法 第三天 熟悉 Rails 第四天 唐詩API 項目 第五

ruby-on-rails , ruby , rubygems , 前端

收藏 評論

johanazhu 頭像

山頭人漢波 - 前端學 Ruby：安裝Ruby、Rails

Ruby 是什麼 Ruby 是一個注重均衡的語言，它的發明者松本行弘，混合了他喜歡的多門語言（Perl、Smalltalk、Eiffel、Ada 和 Lisp），創造出了一種兼具函數式編程和命令式編程特色的新語言 他“試着讓 Ruby 更自然，而不是更簡單”，讓一切符合生活常規 除此之外，他還提到： Ruby 就像人的身體一樣，表面上看來簡單，但是內部卻相當複雜 如何安裝 ruby 筆者所用的電腦

ruby-on-rails , ruby , 後端 , 前端

收藏 評論

johanazhu 頭像

山頭人漢波 - 前端學 Ruby：熟悉 Ruby 語法

寫在前面 我們當然希望能在本地中執行代碼，如果你還沒有隻是看看，還沒安裝 ruby，可以在 try ruby 或者 replit 在線編寫代碼 本文目錄 Ruby 是什麼 基本語法 變量 算術操作 位運算符 打印輸出 註釋 條件語句：控制流 循環/迭代器 數據結構 String Integer/Float Array Hash Set Range 函數（方法） 面向對

ruby-on-rails , ruby , 前端

收藏 評論

johanazhu 頭像

山頭人漢波 - 前端學 Ruby：熟悉Rails

前言 一句話介紹，看 Rails Guides 即可 正文 Rails 是使用 Ruby 語言編寫的 Web 應用開發框架，如同 Node 中的 Express、Koa，Python 中的 Django、Flash。但相比其他，它更強大 Rails 哲學包含兩大指導思想： 不要自我重複（DRY） 多約定，少配置（約定優於配置） 因為它約定優於配置的設計，從而可以使 Rails 應用幾乎不需

ruby-on-rails , ruby , 前端

收藏 評論

johanazhu 頭像

山頭人漢波 - 前端學 Ruby：唐詩API項目

前言 我想了半天，該做什麼項目，基於筆者的數據庫知識羸弱，怕一方面做前端一方面做後端會搞得四不像，又累時間又長。所以就想以做純 API 為目的，只做接口會不會更快一些呢 正文 筆者打算做一個全唐詩的 API 項目，此項目只為學習 ruby on rails web 開發並部署至服務器，會逐步從零開始到部署上線，部署手段會有些原始，不過沒事，下個項目筆者會升級部署手段 先新建一個 API 項目 ra

實戰 , ruby-on-rails , ruby , 前端

收藏 評論