在 v0.6.0 版本中,APO 發佈了基於 ClickHouse 開箱即用的高效日誌方案,為用户提供了採集、處理和檢索全量日誌的基礎功能。新版本在此基礎上進一步強化了日誌處理和檢索的能力,提升了用户體驗。
支持為不同日誌設置不同的解析規則,提取出關鍵信息並加速檢索
日誌中往往存在許多關鍵信息,將這些關鍵信息提取出來能夠針對性的檢索數據,通過分析此類關鍵信息能夠發現平時難以注意到的洞察。通常不同的應用在輸出日誌時,會採用不同的日誌格式,要從日誌中提取關鍵信息,需要能夠針對應用和日誌格式設置解析規則。
新版本中用户可以根據不同的日誌格式設定自定義解析規則,從日誌內容中提取出關鍵字段,例如從 Nginx 日誌中解析出用户IP地址、訪問路徑、響應狀態碼等信息。通過設置解析規則,APO 能夠將這些關鍵信息獨立展示,這不僅加速了檢索過程,還提高了數據的準確性和相關性。
支持對接外部日誌表,在同一個平台中查看不同數據源
用户通常需要處理來自多個系統和平台的日誌數據。APO 新版本支持對接外部日誌表,使用户能夠在同一平台上查看和分析不同來源的數據。這一功能簡化了數據整合流程,消除了多平台切換的繁瑣,提高了管理效率和協作能力。
支持全文檢索和查看日誌上下文
全文檢索功能使用户能夠迅速定位具體信息,而查看日誌上下文的能力則為用户提供了更全面的事件背景。這對於問題排查和事件分析尤為重要,用户可以更清晰地理解問題的複雜性,快速制定解決方案,從而提高系統的穩定性和可靠性。
增強對 Go 語言程序的兼容性
此外,該版本使用 Grafana Beyla 探針替換了 opentelemetry-go-instrumentation 探針,增強對 Go 語言程序的兼容性。Grafana Beyla 能夠無侵入性地採集 Go 語言程序的鏈路追蹤數據,APO 集成並增強了該探針,使各類數據能夠無縫集成,保證不同語言程序間體驗的一致性。 注意 Grafana Beyla 僅支持運行在滿足以下條件的內核中:
- Linux 內核 5.8 及以上版本並且開啓了 BTF 內核編譯選項;通常 5.14 及以上版本已經默認開啓
- RedHat Enterprise Linux 4.18 kernels build 348 及以上,包括 CentOS, AlmaLinux 和 Oracle Linux
更多變化請查看下述更新列表。
新增功能
- 日誌功能支持為不同的應用配置不同的日誌解析規則
- 支持對接外部 ClickHouse 日誌表,在同一個平台中查看不同日誌數據源
功能優化
- 採用 Beyla 替換 openTelemetry-go-instrument 探針,優化對 Go 語言程序的兼容性
- 優化 OneAgent 的內存開銷
缺陷修復
- 修復 apo-backend 非持久化配置下 SQLite 創建數據庫文件失敗的問題
- 修復 ClickHouse 中全量日誌數據無法配置副本的問題
- 修復響應時間90分位數查詢失敗的問題
- 修復多實例情況下日誌錯誤數查詢失敗的問題
APO介紹:
國內開源首個 OpenTelemetry 結合 eBPF 的嚮導式可觀測性產品
apo.kindlingx.com
https://github.com/CloudDetail/apo