上一章節我們詳細剖析了 Log360 可擴展架構的核心組件,闡述各組件的定義、功能及其對系統可擴展性的直接作用。點此查看文章詳情。
本節將結合前文討論的所有架構組件,逐步説明日誌從源設備傳輸到Log360控制枱、直至可供分析的完整流程。
示例場景:企業部署及假設條件
中心位置/總部(HQ)
•部署3個Log360日誌處理器節點(Log Processor Node)。
•處理器1(Processor 1)為主要處理器(Primary Processor)。
•每個處理器節點均啓用了處理引擎(Processing Engine)、日誌隊列引擎(Log Queue Engine)、搜索引擎(Search Engine)和關聯引擎(Correlation Engine)。默認情況下,告警(Alerts)、日誌轉發(Log Forwarding)和歸檔(Archiving)功能均由處理引擎負責。
•所有3個節點均配置了共享存儲(通過NFS掛載),用於通信和文件處理。
•每個處理器均已配置為可與公共數據庫(common database)通信。
•總部處理的日誌事件總量(EPS):8000條/秒。
遠程站點A
•100台設備,日誌生成量為1000條/秒(EPS)。
•已配置輕量級日誌代理(lightweight log agent),用於解析日誌並上傳至總部的處理器集羣。
遠程站點B
•150台設備,日誌生成量為1500條/秒(EPS)。
•採用與站點A類似的代理配置。
數據流管道概述
遠程站點的日誌收集
遠程站點的代理會先解析日誌格式,對日誌進行壓縮,再通過HTTPS協議將其上傳至總部集羣中可用的處理器節點。
處理器節點的接收與角色分配
接收日誌的處理器節點會先對傳入的日誌進行 enrichment(增強處理,如補充元數據、標準化格式等),再將其寫入隊列集羣(queue cluster)。之後,日誌會被搜索、關聯、告警、日誌轉發等各個獨立模塊獲取並處理。
隊列處理(Queuing)
主題(Topics)會臨時緩存日誌,為後續處理做準備。此過程基於“發佈-訂閲”(Publish-Subscription)模型實現。
索引與搜索引擎(Indexing and Search Engine)
•已處理的日誌會在Elasticsearch中建立索引(所有節點共享該Elasticsearch實例)。
•搜索請求會在各處理器節點間進行負載均衡,但數據均從公共索引(common index)中獲取。
存儲處理(Storage Handling)
•熱數據(Hot data):存儲在Elasticsearch中,以支持快速搜索(默認保留30天)。
•冷數據(Cold data):以文件格式歸檔(已壓縮且加密),用於審計場景。
•PostgreSQL數據庫負責存儲元數據(metadata)、告警配置(alert configs)和事件摘要(incident summaries)。
控制枱與分析人員訪問(Dashboard and Analyst Access)
用户可通過Web控制枱執行實時搜索、查看告警、調查事件,以及配置關聯規則(correlation rules)。基於角色的訪問控制(Role-based access)可確保不同部門和遠程分支機構之間的數據可見性相互隔離。
總結
所有處理流程均集中在總部,遠程站點僅需保持輕量級部署即可。隊列系統(queuing system)確保日誌攝入具備高吞吐量,處理器節點則實現了工作負載與存儲的高效分配。Elasticsearch支持實時搜索與關聯分析,而PostgreSQL和共享文件系統則保障了元數據管理、歸檔操作和報表生成的連續性。
該部署方案可處理約10000條/秒(EPS)的日誌事件,且具備高可用性;支持通過遠程代理進行日誌轉發與索引建立,能夠實現高效的日誌管理。在下一節中我們將進一步分析架構實現的常見場景和實用案例。