一、StarRocks 產品簡介

StarRocks 是一款高性能分析型數據庫，專為海量數據的實時分析而設計。作為新一代湖倉（Lakehouse）加速引擎，StarRocks 融合了 MPP 架構和列式存儲引擎的優勢，能夠支持億級數據秒級查詢響應。

核心特性：

• 全面的數據模型：支持明細模型、主鍵模型和聚合模型，滿足多樣化業務場景
• 實時數據分析：提供高效的數據導入與更新能力，支持實時數據處理
• 分佈式架構：採用無共享（Shared-Nothing）架構，支持水平擴展
• 向量化執行引擎：通過 SIMD 指令集優化，實現高效計算
• 智能查詢優化：CBO 優化器自動選擇最優執行計劃
• 高可用設計：支持多副本機制，保障數據可靠性

適用場景：實時數據倉庫、實時數據分析、即席查詢（Ad-hoc）、數據湖分析加速
憑藉其卓越的性能和靈活的數據模型，StarRocks 已在互聯網、金融、零售等多個行業得到廣泛應用，被眾多企業用於構建實時數據平台。

二、什麼是 StarRocks 主鍵（Primary Key）？

StarRocks 的主鍵模型（Primary Key Model）是為實時分析場景設計的存儲引擎，支持行級實時更新、刪除操作，同時兼顧複雜查詢的高性能。自1.19版本首次發佈以來，主鍵模型通過持續迭代，已成為企業實時數倉的核心解決方案，性能相比傳統 OLAP 引擎提升 3-5 倍，在金融、電商、遊戲等領域廣泛應用。

核心優勢

• 實時性：突破傳統 T+1 數據延遲限制，支持秒級數據更新。

• 高效查詢：基於 Delete-and-Insert 模式，避免 Merge-on-Read 的版本合併開銷，查詢性能比 Unique Key 模型提升 200% 以上。
• 靈活擴展：支持存算分離架構（3.1+ 版本）、雲原生持久化索引（3.3.1+ 版本）等特性。

三、技術原理與核心組件

1. 主鍵索引（Primary Index）

主鍵索引是主鍵模型的核心組件，存儲主鍵與數據位置的映射關係，支持以下關鍵功能：

• 快速標記刪除：通過 DelVector（RoaringBitmap）記錄刪除行。
• 部分列更新：僅更新指定列，避免全行覆蓋。
• 高併發點查加速：內存中維護哈希索引，支持百萬級 TPS。
  持久化優化：
• 本地磁盤索引（3.1.4+）：減少內存佔用至原 1/10。
• 雲原生索引（3.3.1+）：彈性擴縮容場景下延遲性能提升至本地磁盤的 10 倍。

2. 數據更新機制

採用 Delete-and-Insert 模式：

• 寫入流程：新數據直接插入，舊數據標記刪除。
• 事務保障：導入任務支持 ACID 屬性，確保跨 Tablet 事務的原子性和隔離性。
• 合併優化：優先合併小文件或高刪除比例的文件，避免傳統 LSM 樹的寫放大問題。

3. 排序鍵與主鍵分離

• 當前邏輯：主鍵默認作為排序鍵（Sort Key），簡化數據分佈。
• 未來將支持獨立定義排序鍵（如按 city 排序），進一步優化特定查詢效率。

四、版本演進與關鍵功能

1. 功能迭代時間線

2. 高級功能解析

• 部分列更新：僅需指定待更新列，自動合併新舊數據。

  CREATE TABLE ... PROPERTIES ("partial_update" = "true");

• 條件更新：通過 WHERE 子句實現基於業務邏輯的更新。
• 預處理語句：優化高併發點查性能，防止 SQL 注入。

五、應用場景與最佳實踐

場景一：實時數倉的分鐘級數據同步

通過 Flink CDC 同步 MySQL 數據，實現 TP 到 AP 的無縫銜接。
業務需求：某電商平台需將交易系統的MySQL訂單數據實時同步至數倉，支持運營實時看板。
架構設計：MySQL → Flink CDC（捕獲數據變更） → Kafka（消息隊列） → StarRocks（主鍵模型） → BI工具。
核心價值：

• 訂單狀態變更（如支付成功→發貨）通過主鍵定位，實現 <100ms 的端到端延遲；
• 歷史訂單查詢（如雙11大促訂單分析）性能較Hive提速 20倍以上；

場景二：遊戲玩家畫像實時更新

業務痛點：玩家行為數據（登錄、充值、任務）分散在多端，需實時聚合計算標籤。
解決方案：

• 標籤分級存儲：

  • 主鍵表：user_id（主鍵） + 基礎標籤（等級、VIP狀態）；
  • 聚合表：按日/周聚合行為數據（充值總額、任務完成率）；

性能指標：

• 支持 10萬+/秒 的標籤更新TPS；
• 複雜畫像查詢（如“找出近7日充值>500的黃金用户”）響應時間 <1秒；

場景三：物流行業運單狀態追蹤

業務特點：運單狀態變更頻繁（攬件→運輸→簽收），需支持高併發更新與歷史軌跡查詢。
技術方案：

• 主鍵設計：運單號（主鍵） + 時間戳（排序鍵）；
• 數據分區：按運單創建日期動態分區，冷數據自動轉存對象存儲；
• 狀態更新優化：使用條件更新避免無效寫入（僅當狀態未完成時更新）；

核心價值：

• 每日處理 600萬+ 運單狀態變更，P99延遲從 1.5s 降低至520ms；
• 運單分析實時更新，按主鍵整行更新，並且整個鏈路更新時效小於 5 秒；
• 單筆運單計算時長從以前的 90 秒縮短到 4 秒，通過單筆運單優化，每年節省百萬級成本開銷；

StarRocks主鍵模型在高併發更新、低延遲查詢、資源利用率三個維度實現突破，主鍵模型通過其獨特的存儲引擎設計，為企業構建實時數據能力提供了堅實底座。企業在應用中應結合自身業務特點，靈活運用部分列更新、條件過濾、持久化索引等特性，最大化釋放實時分析價值。

六、StarRocks 生態整合

主鍵模型作為 StarRocks 核心功能之一，與其數據湖分析、物化視圖、多級緩存等特性緊密協作。在實際應用中，用户可通過結合這些功能，構建更加完善的實時數據分析平台：

• 主鍵 + 物化視圖：預計算加速複雜聚合查詢；
• 主鍵 + 湖倉一體：實現內外表聯合更新與查詢；
• 主鍵 + 緩存：熱點數據多級緩存，進一步提升查詢性能；

通過這種整合應用，StarRocks 可以支持從原始數據採集到實時分析的端到端解決方案，為企業數據驅動決策提供堅實基礎。通過深度解析，StarRocks 主鍵模型憑藉其實時性、高性能與彈性架構，已成為企業應對實時分析挑戰的首選方案。