博客 RSS 訂閱

alluxio_com 頭像

Alluxio - Alluxio在數據索引和模型分發中的核心價值與應用

在當前的技術環境下，搜索、推薦、廣告、大模型、自動駕駛等領域的業務依賴於海量數據的處理和複雜模型的訓練。這些任務通常涉及從用户行為數據和社交網絡數據中提取大量信息，進行模型訓練和推理。這一過程需要強大的數據分發能力，尤其是在多個服務器同時拉取同一份數據時，更是考驗基礎設施的性能。 在這樣的背景下，Alluxio Enterprise AI 在數據索引與模型分發/部署方面展示了其獨特的優勢，特

大數據 , 索引 , 人工智能 , 模型

收藏 評論

88223100 頭像

古道輕風 - DDD腳手架及編碼規範

一、背景介紹 我們團隊一直在持續推進業務系統的體系化治理工作，在這個過程中我們沉澱了自己的DDD腳手架項目。腳手架項目是體系化治理過程中比較重要的一環，它的作用有兩點： 可以對新建的項目進行統一的規範 對於指導老項目

領域驅動設計

收藏 評論

jinyeyoudianerliang 頭像

今夜有點兒涼 - MySQL 的 回表

MySQL 的 回表（Back to Table） 是指在使用 二級索引（非主鍵索引） 查詢數據時，需要通過索引找到主鍵值，再根據主鍵值回到主鍵索引（聚集索引）中查找完整行數據的過程。回表會增加額外的 I/O 操作，可能影響查詢性能。 1. 回表發生的原因 MySQL 的索引結構決定了回表的必要性： 主鍵索引（聚集索引）：葉子節點存儲完整的行數據。 二級索引（非主鍵索引）：葉子節點存儲主鍵

MySQL , 索引

收藏 評論

mirrorship 頭像

鏡舟科技 - 深入理解 StarRocks Bitmap 索引和 Bitmap 去重

在 StarRocks 中，Bitmap 索引和 Bitmap 去重是兩種基於位圖技術的核心功能，但它們的應用場景、實現機制以及優化目標存在顯著差異。以下從定義、作用、實現原理、適用場景及限制等方面進行詳細對比分析： 一、Bitmap 索引的作用與原理 StarRocks 中的 Bitmap 索引是一種特殊的數據庫索引，其主要作用是優化查詢性能，特別是在處理低基數列（如性別、地區等）和高基數列的過

bitmap , 索引 , 去重 , 數據庫 , 查詢

收藏 評論

davenkin 頭像

無知者雲 - 產品代碼都給你看了，可別再説不會DDD（六）：聚合根與資源庫

這是一個講解DDD落地的文章系列，作者是《實現領域驅動設計》的譯者滕雲。本文章系列以一個真實的並已成功上線的軟件項目——碼如雲（https://www.mryqr.com）為例，系統性地講解DDD在落地實施過程中的各種典型實踐，以及在面臨實際業務場景時的諸多取捨。 本系列包含以下文章： DDD入門 DDD概念大白話 戰略設計 代碼工程結構 請求處理流程 聚合根與資源庫（本文）

領域驅動設計

收藏 評論

dewujishu 頭像

得物技術 - 如何合理規劃Elasticsearch的索引｜得物技術

一、背景 隨着ES在業務場景中的使用逐漸增多，平台對ES集羣的穩定性、管理、運維的壓力逐漸增大，通過日常的運維情況來看，發現用户對ES的瞭解熟悉程度參差不齊，經常性的遇到索引創建不規範，或者參考別人索引的創建腳本進行創建索引，對索引沒有一個比較清晰的認知，對索引結構的規劃也寥寥無幾，為此，平台使用了一些列手段來幫助用户提前合理規劃模板，比如索引、模板的創建接入飛書審批流，平台側會逐一結合業務場景和

elasticsearch , 索引

收藏 評論

88223100 頭像

古道輕風 - 你真的瞭解TDD和BDD嗎

今天我們來談一談TDD 和 BDD 兩項實踐。我們先來説説 TDD，也就是測試驅動開發（Test Drvien Development）。 TDD 的節奏 或許你已經迫不及待地要舉手了：“TDD 我知道，就是先寫測試，後寫代碼。”但真的是這樣嗎？嚴格地説，“先寫測試、後寫代碼”的做法叫測試先行開發（Test First Development），而不是測試驅動開發。 測試驅動開發不也是先寫測試後

領域驅動設計

收藏 評論

chen_67f9ccbe6f07b 頭像

異常君 - 【深度剖析】MySQL B+樹索引：一次查詢的內部奧秘

大家好！今天我們來聊一個 MySQL 核心知識點：B+樹索引的查詢過程。可能你每天都在用SELECT語句查詢數據，但你想過這背後到底發生了什麼嗎？MySQL 是怎麼從成千上萬的數據中快速找到你要的那一條記錄的？帶着這個問題，我們一起揭開 MySQL B+樹索引的神秘面紗！ 先説説為什麼 MySQL 選擇 B+樹？ 在聊查詢過程前，我們得先明白 MySQL 為啥選 B+樹做索引結構。想象一下，如果數

b+樹 , MySQL , 索引 , SQL , 後端

收藏 評論

miwotech 頭像

DeJun22 - STM32 + ESP32(AT固件 MQTT協議) + MQTTX（桌面終端） + （EMQX消息服務器）

翻出老物件，搭建一個簡單的 IOT 開發環境，也算是廢物利用了，接下來加傳感器。 1. STM32 採集數據： RTOS。 資源相對比較豐富，可以根據項目需求定製。 2. ESP32 網絡傳輸(AT固件 MQTT協議)： AT：封裝好的接口，擴展性不是那麼好，業務簡單的話將就可以用。 SDK：接口比較多，比較複雜，當然能做的業務也多。 E

領域驅動設計

收藏 評論

chen_67f9ccbe6f07b 頭像

異常君 - 【深度剖析】MySQL 索引下推：原理、案例與性能提升實戰

你是否曾經為 MySQL 查詢性能苦惱？或者聽説過"索引下推"，但不太明白它是如何工作的？今天我就和大家聊聊 MySQL 中一個強大卻常被忽視的特性 - 索引下推（Index Condition Pushdown，簡稱 ICP）。這個特性從 MySQL 5.6 版本引入，能有效提升查詢性能，減少 IO 操作，但很多開發者對它的理解還不夠深入。 索引下推是什麼？ 索引下推是由 MySQL 優化器決定

MySQL , 索引 , 數據庫 , SQL , 後端

收藏 評論

jingdongkeji 頭像

京東雲技術團隊 - DDD技術方案落地實踐

1. 引言 從接觸領域驅動設計的初學階段，到實現一箇舊系統改造到DDD模型，再到按DDD規範落地的3個的項目。對於領域驅動模型設計研發，從開始的各種疑惑到吸收各種先進的理念，目前在技術實施這一塊已經基本比較成熟。在既往經驗中總結了一些在開發中遇到的技術問題和解決方案進行分享。 因為DDD的建模理論及方法論有比較成熟的教程，如《領域驅動設計》，這裏我對DDD的理論部分只做簡要回顧，如果需要了解D

領域驅動設計

收藏 評論

mirrorship 頭像

鏡舟科技 - StarRocks 向量索引如何讓大模型“記性更好”？

隨着 ChatGPT、DeepSeek 等大語言模型的普及，我們已經能夠與 AI 進行流暢的對話。然而，即使是最先進的大模型也面臨着“記憶困境”，具體表現模型只能記住訓練時接觸的知識，且這些知識在使用時很可能會過期。實際應用或在處理特定領域問題時，可能生成看似合理但實際錯誤的內容。 大模型的“知識固化”問題一定程度上限制了其在企業級應用中的價值。那麼，如何讓大模型擁有更好的“記性”，實現知識的動態

索引 , 查詢優化 , 數據庫 , starrocks , 大模型

收藏 評論

jingdongkeji 頭像

京東雲技術團隊 - 從混亂到優雅：基於DDD的六邊形架構的代碼翻新指南

前言 趁着雙十一備戰封板，終於又有一些時間可以梳理一下最近的心得。 最近這半年跟同事討論比較多的是分層架構，然後就會遇到兩個觸及靈魂的問題，一個是如何做好分層架構，二是DDD在架構層面該如何落地。 為了説好分層，我們需要了解架構的意義。 良好的架構是為了保證一下兩點： 治理應用複雜度，降低系統熵值； 從隨心所欲的混亂狀態，走向井井有條的有序狀態。 比如，你去圖書館借閲書籍，對於紛繁雜亂的各

領域驅動設計

收藏 評論

for-easy-fast 頭像

明志德道 - 分佈式應用服務的拆分

需求落地分佈式應用服務 將需求轉化為分佈式應用服務的過程可以按照以下步驟進行： 理解需求：首先，你需要仔細閲讀和理解業務需求。與相關的利益相關者（如業務分析師、產品經理等）進行溝通，確保你對需求的理解是準確的。 設計架構：根據需求，設計一個適合的分佈式應用架構。這包括確定應用的組件和模塊，以及它們之間的通信和交互方式。考慮到分佈式系統的特點，如可伸縮性、容錯性和一致性等。

領域驅動設計

收藏 評論

kerrywu 頭像

KerryWu - 向量數據庫 - 索引

1. HNSW索引 分層可導航小世界 1.1. 定義 HNSW（Hierarchical Navigable Small World，分層可導航小世界）的核心思想是構建一個分層圖結構： 分層結構：每個數據點隨機分配一個層級，層級越高的數據點越少。 小世界圖：每層是一個“鄰接圖”，每個點只和部分點相連，圖結構保證“短路徑”導航。 導航：從高層開始，逐層向下搜索，逐步接近目標點。 生活類比

索引 , 向量

收藏 評論

Ahoo-Wang 頭像

Ahoo-Wang - 領域驅動設計之銀行轉賬：Wow框架實戰

領域驅動設計之銀行轉賬：Wow框架實戰 銀行賬户轉賬案例是一個經典的領域驅動設計（DDD）應用場景。接下來我們通過一個簡單的銀行賬户轉賬案例，來了解如何使用 Wow 進行領域驅動設計以及服務開發。 銀行轉賬流程 準備轉賬（Prepare）： 用户發起轉賬請求，觸發 Prepare 步驟。這個步驟會向源賬户發送準備轉賬的請求。 校驗餘額（CheckBalance）： 源賬户在收到準備轉賬請求後

領域驅動設計

收藏 評論

Jcloud 頭像

Jcloud - DDD學習與感悟——總是覺得自己在CRUD怎麼辦？

一、DDD是什麼？ DDD全名叫做Domins drives Design；領域驅動設計。再説的通俗一點就是：通過領域建模的方式來實現軟件設計。 問題來了：什麼是軟件設計？為什麼要進行軟件設計？ 軟件開發最主要的目的就是：解決一個問題（業務）而產生的一個交付物（系統）。而軟件設計旨在高效的實現複雜項目軟件。也就是説軟件設計是從業務到系統之間的橋樑。 而DDD則是在複雜業務場景下一種更高效更合理的軟

領域驅動設計

收藏 評論

jingdongkeji 頭像

京東雲技術團隊 - DDD學習與感悟——向屎山衝鋒

軟件系統是通過軟件開發來解決某一個業務領域或問題單元而產生的一個交付物。而通過軟件設計可以幫助我們開發出更加健壯的軟件系統。因此，軟件設計是從業務領域到軟件開發之間的橋樑。而DDD是軟件設計中的其中一種思想，旨在提供一種大型複雜軟件的設計思路和規範。通過DDD思想可以讓我們的業務架構、系統架構、部署架構、數據架構、工程架構等都具備高擴展性、高維護性和高測試性。 但是落地DDD是一件很困難的事情。首

領域驅動設計

收藏 評論

euphoria 頭像

Leojx - mysql 索引失效的多種場景

MySQL 索引會失效的情況很多，尤其是在查詢條件、數據類型、排序方式或優化器選擇策略上不合適時。下面我按常見原因分組給你梳理一下，並標明是肯定失效還是可能失效（取決於優化器判斷）。 一、查詢條件寫法導致失效 這些是最常見的坑： 在索引列上使用函數或表達式（肯定失效） SELECT * FROM user WHERE YEAR(create_time) = 2024; -- cr

MySQL , 索引

收藏 評論

visionalsun 頭像

Visional S. XIA - 主流編程語言的“介紹”與“選擇”

前言： 《編程語言》本身沒有優劣之分，不同的語言適合不同的場景，文中説的建議，多是站在小白要就業的立場給出的建議。 適合場景： Perl、VBScript：系統腳本； C/C++：運算程序； C#、.Net：C/S、B/S 系統應用； Lua、Ruby、Rust：函數腳本； Python、Golang：算法程序； { 靜謐、蠕動、邏輯、規則、策略、排序、哈希、匹配、搜索

領域驅動設計

收藏 評論

chaoshenjinghyperai 頭像

超神經HyperAI - 【Triton 教程】triton_language.expand_dims

Triton 是一種用於並行編程的語言和編譯器。它旨在提供一個基於 Python 的編程環境，以高效編寫自定義 DNN 計算內核，並能夠在現代 GPU 硬件上以最大吞吐量運行。 更多 Triton 中文文檔可訪問 →https://triton.hyper.ai/ triton.language.expand_dims(input, axis) 通過插入新的長度為 1 的維度來擴展張量的形狀。 軸

函數調用 , 索引 , 編譯器 , cpu , Python

收藏 評論

visionalsun 頭像

Visional S. XIA - 《數據要素》專題：什麼是《數據資產》? 應該如何落地《數據資產管理與實施》?

2021 年 12 月，中國南方電網發佈了《南方電網數據資產管理體系白皮書》，白皮書指出，數據資產管理，是數據資產價值釋放的必經之路。 報告中稱，不少企業對於數據如何促進內部的提質增效及外部價值的釋放並無統一認知，對於數據資產的運營缺乏體制化規劃。 隨着企業數字化進程發展，數據資產管理不再侷限於數據資源本身，對數據進行加工後的數據產品或數據服務也要加以管理。 為什麼數

領域驅動設計

收藏 評論

jinyeyoudianerliang 頭像

今夜有點兒涼 - MySQL索引

MySQL索引詳解 一、索引的定義與作用 1. 索引的定義 索引（Index）是數據庫表中一列或多列的值進行排序的一種數據結構，它是對數據庫表中一列或多列的值進行預排序以提高查詢速度的一種特殊數據結構。 2. 索引的主要作用 加速查詢：顯著提高數據檢索速度，從全表掃描O(n)優化到接近O(log n) 提高排序效率：如果查詢中包含排序操作，適當的索引可以避免額外排序 加速連接操作：在多表連

索引

收藏 評論

jinyeyoudianerliang 頭像

今夜有點兒涼 - MySQL索引最佳左前綴法則

MySQL索引最佳左前綴法則詳解 基本概念 最佳左前綴法則（Leftmost Prefix Rule）是MySQL中複合索引使用的一條重要規則，它決定了查詢時索引能否被有效利用。具體來説，在使用複合索引時，查詢條件必須從索引的最左列開始，並且不能跳過中間的列。 工作原理 複合索引的內部結構是按照索引列順序構建的B+樹。索引的排序首先基於第一列，然後在第一列相等的情況下基於第二列，依此類推。因此，只

索引

收藏 評論