作者：四牛
前言
雲消息隊列 Kafka 版 Serverless 系列憑藉其秒級彈性擴展、按需付費、輕運維的優勢，助力嘉銀科技業務系統實現靈活擴縮容，在業務效率和成本優化上持續取得突破，保證服務的敏捷性和穩定性，並節省超過 20% 的成本。
客户介紹
嘉銀科技是一家專注於科技驅動普惠金融的上市企業，在多年的發展過程中，始終堅持以技術為核心推動業務迭代，公司致力於以大數據、雲計算、人工智能等技術在消費場景內連接消費者與金融機構，讓每位用户都能享受到高效便捷的科技服務，同時助力金融機構業務高速增長。
應用上雲
隨着業務規模的不斷擴大，嘉銀科技對底層技術平台的可擴展性、穩定性和運維便捷性提出了更高要求，2024 年初啓動了整體應用遷移上雲的進程，嘉銀科技技術團隊經過多方技術論證及產品選型，最終選擇阿里雲作為雲服務提供商。阿里雲和嘉銀科技的技術團隊共同組建上雲項目組，制定上雲技術方案和實施步驟。
自建 Kafka遷移上雲
伴隨着應用從 IDC 遷移上雲，應用所依賴的中間件服務也逐步遷移到雲上更加穩定成熟的 PaaS 產品，其中 Kafka 就是在此次遷雲過程中完成了技術升級，由開源自建 Kafka 集羣遷移到阿里雲消息隊列 Kafka 版 V3 集羣，大大提升了應用系統的穩定可靠及彈性能力。
下圖展示了嘉銀科技的 Kafka 架構遷移至雲端前後的對比。左側為遷移前的開源自建 Kafka 架構，右側為遷移至阿里雲消息隊列 Kafka 版 v3 後的架構。
雲上 Kafka 技術優勢
阿里雲消息團隊在技術上持續投入，迭代升級雲消息隊列 Kafka 版產品的核心技術架構，其 Serverless 系列實現了真正意義上的存算分離，存儲層基於雲重新設計，這也是絕大部分商業化消息產品的重點投入方向，難點在於實現徹底分離，解決成本和性能的矛盾，同時保證計算彈性的輕量和擴容的可靠。
阿里雲消息隊列 Kafka 版 Serverless 系列以其卓越的彈性能力，為嘉銀科技提供了高效的資源管理和業務連續性保障。
- 自適應彈性：雲消息隊列 Kafka 版 Serverless 系列在 20 MB/秒 ~ 1 GB/秒支持無感彈性；1 GB/秒 ~ 3 GB/秒支持秒級彈性；3 GB/秒以上支持分鐘級彈性。客户可以依據業務流量的趨勢，通過彈性能力實現成本與性能的平衡，從容且高效地應對突發流量高峯。
- 秒級定時彈性：對於超大規模集羣，雲消息隊列 Kafka 版 Serverless 系列支持脈衝的定時彈性，允許預設彈性策略，在流量高峯期預留足夠資源確保關鍵業務的持續性和穩定性，在低峯期則減少資源使用以節約成本，不僅提升了資源利用率，還降低了運維複雜度。
- 高可用、高可靠：開源 Kafka 通過 ISR 機制實現服務高可用和數據高可靠，但計算和存儲混雜，副本機制複雜度高，問題排查難度大。阿里雲消息隊列 Kafka 版 V3 基於存算分離架構，實現各計算節點無狀態且共享存儲，不僅降低了複雜度，還提高了可運維性。計算節點高可用基於自研輕量 Leader 切換機制實現，在穩定提供讀寫服務的同時又能優雅輕便地 Leader 轉移，是雲消息隊列 Kafka 版高效彈縮的核心底座。雲消息隊列 Kafka 版在存儲層面基於阿里雲飛天盤古 DFS，支持跨數據中心容災，提供百微秒級平均延遲、毫秒級長尾延遲，數據可靠性 12 個 9，可用性 5 個 9。因此，遷移後的架構可靠性和可用性都得到了顯著的提升。
- 高性能：採用 OpenMessaging Benchmark Framework 對雲消息隊列 Kafka 版 V3 和 Apache Kafka 3.3 進行攢批發送與碎片化發送場景下的吞吐延遲對比測試，測試結果顯示，在攢批發送與碎片化發送場景下，雲消息隊列 Kafka 版 V3 在 TP999 的延遲表現整體均優於 Apache Kafka，並且隨着吞吐的增加，這種性能優勢更加明顯，碎片化發送場景快 10 倍。
- 成本優化：雲消息隊列 Kafka 團隊有長時間研發和運維經歷，積累了大量的實戰經驗。結合嘉銀科技的業務模型，提供 Kafka 最佳實踐，客户端和服務端都有 20% 的成本優化，避免不必要的開支。同時，制定容災方案防止數據丟失或服務中斷。
業務價值
高穩定架構，為業務保駕護航：雲消息隊列 Kafka 版憑藉高吞吐與分佈式架構，滿足了嘉銀科技的實時數據收集、傳輸和高併發消息傳遞的需求。通過持久化能力與副本機制，進一步確保了數據可靠性和業務連續性。即使在高負載情況下也能穩定傳遞消息，防止數據丟失，維護數據完整性，從而保障了嘉銀科技大數據平台的高效運行。
靈活資源管理，優化成本效益：雲消息隊列 Kafka 版 Serverless 系列採用存算分離架構，並結合動態資源調整策略，能夠根據實時業務負載自動進行彈性伸縮，實現按量計費，無需預先估算和配置實例規格。不僅降低了嘉銀科技運維人員工作的複雜度，還顯著降低了資源使用成本。
