@日誌

动态 列表
@data_ai

全新架構!日誌服務 SLS 自研免登錄方案發布

引言 很多用户在使用日誌服務 SLS 時,採用 STS 這種免登的方式,能夠快速將日誌服務的頁面集成到三方的系統中。STS 模式是非常經典且成熟的免登方案,它的優點非常多,例如:能夠充分利用阿里雲賬號 RAM 體系、能夠通用地集成支持 STS 模式的所有云產品、支持客户自定義訪問權限等。 存在問題 隨着時間的推移,STS 模式在多個方面已經不滿足日誌服務客户的需求: 性能問題 STS 模式加載速度

data_ai 头像

@data_ai

昵称 數據庫知識分享者

@mengxiang_592395ab95632

日誌問題精要:分析與總結

記錄應用系統日誌主要有三個原因:記錄操作軌跡、監控系統運行狀況、回溯系統故障。 記錄操作軌跡:可以數據化分析用户偏好,有助於優化系統業務邏輯,為用户提供個性化服務。如:通過access.log記錄用户的操作頻率和跳轉鏈接,有助於分析用户後續行為。監控系統運行狀況:全面有效的日誌系統有助於建立完善的應用監控體系。通過應用監控體系,可以實時監控系統運行狀況,及時預警,避免故障發送。系統運行狀況是指服務

mengxiang_592395ab95632 头像

@mengxiang_592395ab95632

昵称 縱情向前的強仔

@bizseerbishikeji

大語言模型及提示工程在日誌分析任務中的應用 | 頂會IWQoS23 & ICPC24論文分享

本文是根據華為技術專家陶仕敏先生在2023 CCF國際AIOps挑戰賽決賽暨“大模型時代的AIOps”研討會閃電論文分享環節上的演講整理成文。 陶仕敏 華為技術專家 簡介:現任華為2012文本機器翻譯實驗,技術研究及創新負責人,技術專家。曾任百度運維平台及智能運維技術經理。主要研究方向:機器翻譯、AIOps等。 論文: BigLog:面向統一日誌表示的無監督大規模預訓練方法 BigL

bizseerbishikeji 头像

@bizseerbishikeji

昵称 BizSeer必示科技

@bizseerbishikeji

必示科技與日誌易達成深度戰略合作,攜手共創智能運維新篇章

近日,智能運維企業必示科技與智能日誌分析企業日誌易達成深度戰略合作,雙方將在提升產品服務、技術融合創新應用、市場拓展、資源共享和協同效用等方面展開合作,為企業用户提供更全面優質的IT管理智能化服務,共同提升市場影響力,推動行業創新發展。 隨着大數據與人工智能等新技術的不斷髮展,智能運維有望成為一種更通用的數字業務管理能力,而可觀測性和智能運維的深度整合在運維數據分析領域的價值愈發凸顯。 必示科技多

bizseerbishikeji 头像

@bizseerbishikeji

昵称 BizSeer必示科技

@crossoverjie

日誌架構演進:從集中式到分佈式的Kubernetes日誌策略

當我們沒有使用雲原生方案部署應用時採用的日誌方案往往是 ELK 技術棧。 這套技術方案比較成熟,穩定性也很高,所以幾乎成為了當時的標配。 可是隨着我們使用 kubernetes 步入雲原生的時代後, kubernetes 把以往的操作系統上的許多底層都屏蔽,再由他提供了一些標準接口。 同時在 kubernetes 中的日誌來源也比傳統虛擬機多,比如可能有容器、kubernetes 自身的事

crossoverjie 头像

@crossoverjie

昵称 crossoverJie

@sretalk

你唯一需要的是“Wide Events”,而非“Metrics、Logs、Traces”

Charity Majors 的這句話可能是對科技行業當前可觀察性狀態的最好總結——完全的、大規模的混亂。大家都很困惑。什麼是 trace?什麼是 span?一行日誌就是一個 span 嗎?如果我有日誌,我還需要 trace 嗎?如果我有很好的 metric,為什麼還需要 trace?諸如此類的問題不勝枚舉。Charity 與 Honeycomb 可觀測系統中的其他傑出人士一起,一直在努力解決這

sretalk 头像

@sretalk

昵称 SRETALK

@data_ai

SLS 查詢新範式:使用 SPL 對日誌進行交互式探索

1.引言 在構建現代數據和業務系統的過程中,可觀測性已經變得至關重要,日誌服務(SLS)為 Log/Trace/Metric 數據提供了大規模、低成本、高性能的一站式平台服務,並提供數據採集、加工、投遞、分析、告警、可視化等功能,從而全面提升企業在研發、運維、運營和安全等各種場景的數字化能力。 1.1 日誌數據天然是非結構化的 日誌(Log)數據作為可觀測場景中最基礎的數據類型之一,其最大的特點在

data_ai 头像

@data_ai

昵称 數據庫知識分享者

@donnie4w

Rust的高效易用日誌庫—tklog

很多人習慣於python,go等語言基礎工具庫的簡單易用;在使用rust時,可能感覺比較麻煩,類似日誌庫這樣的基礎性工具庫。tklog提供用法上,非常類似python等Logger的日誌庫用法,用法簡潔;基於rust的高效性和一些優化策略,tklog的性能非常好,在壓測中,可以達到 3-4 µs/op (微妙/次),這個效率比go最高的性能時候都高一些;在相同的環境下,對go進行無格式日誌輸出

donnie4w 头像

@donnie4w

昵称 donnie4w

@baidujiagoushi

從打點平台談打點治理

作者 |ttt 導讀 本文介紹了打點治理的概念和其對於數據質量保障的重要性,分享了日誌中台在打點治理方面的解決方案與實踐經驗。文章從用户痛點和打點治理的難點出發,介紹了日誌中台如何通過質量標準的制定、在線化流程的建設和相應的配套工具來解決這些問題。 全文4808字,預計閲讀時間6分鐘。 打點是指在網站或者APP中加入一些統計代碼,通過日誌記錄用户在APP內觸發的一系列行為,包括點擊、滑動

baidujiagoushi 头像

@baidujiagoushi

昵称 百度Geek説

@jianghushinian

萬字解析 Go 官方結構化日誌包 slog

首發地址:https://mp.weixin.qq.com/s/v1nh_WnXq1V8z0WpICdcfA slog 日誌包是 Go 語言中的一個結構化日誌庫,旨在提供一個簡單而強大的日誌系統。因為標準日誌庫 log 過於簡陋,社區中經常有人吐槽,Go 官方也承認了這一點,於是 Go 團隊成員 Jonathan Amsterdam 操刀設計了新的日誌庫 slog,其放在 log/slog 目錄中

jianghushinian 头像

@jianghushinian

昵称 江湖十年

@hz_linmu

MySQL日誌

MySQL日誌概述 MySQL的日誌包含服務日誌(Server Log)和默認存儲引擎InnoDB日誌(InnoDB Log)兩個模塊,細分下去有錯誤日誌(Error Log)、通用查詢日誌(General Query Log)、二進制日誌(Binary Log)、慢查詢日誌(Slow Query Log)、數據定義語句日誌(DDL Log)、重做日誌(Redo Log)、回滾日誌(Undo L

hz_linmu 头像

@hz_linmu

昵称 林木

@donnie4w

tklog :Rust靈活高效日誌管理

tklog v0.0.9 :Rust靈活高效日誌管理 tklog是rust高性能結構化日誌庫,支持同步日誌,異步日誌,支持自定義日誌的輸出格式,支持按時間,按文件大小分割日誌文件,支持日誌文件壓縮備份,支持官方日誌庫標準API,支持mod獨立參數設置 官網 項目源碼 倉庫 《tklog與log4rs 的基準測試》 核心特點 高性能同步與異步日誌記錄:tklog 支持高效的同步與異

donnie4w 头像

@donnie4w

昵称 donnie4w

@iceblue

spdlog 學習筆記-0

一 spdlog簡介 spdlog(https://github.com/gabime/spdlog)是一個快速的僅使用頭文件或者編譯的C++日誌庫。 二 使用要求 1 編譯器 編譯器需要支持C++11及以上。 2 平台 Linux, FreeBSD, OpenBSD, Solaris, AIX Windows (msvc 2013+, cygwin) macOS (clang 3.5

iceblue 头像

@iceblue

昵称 冰藍

@cloud11y

Mysql日誌

mysql日誌中最重要的3種為redo log(重做日誌), binlog(歸檔日誌) 和 undo log(回滾日誌) 下面來詳細介紹一下這3種日誌 redo log redo log是Innodb引擎特有的,記錄了數據頁上的改動,使數據庫在宕機後有數據恢復的能力,保證數據的持久性 為什麼需要redo log 使數據庫在宕機或異常重啓後有恢復數據的能力,保證數據持久性 配合mysql

cloud11y 头像

@cloud11y

昵称 CLoud11y

@zhuyundataflux

攜手SelectDB,觀測雲實現性能與成本的雙重飛躍

在剛剛落下帷幕的2024雲棲大會上,觀測雲又一次迎來了全面革新。攜手SelectDB,實現了技術的飛躍,這不僅彰顯了觀測雲在監控觀測領域的技術實力,也預示着我們可以為全球用户提供更加高效、穩定的數據監測與分析服務。這一技術升級,無疑將引領整個行業向更高層次的發展。 觀測雲的核心優勢在於其「一個平台、一份數據、一個團隊」的理念。我們服務於全球用户,覆蓋全球8個服務可用區,實現了真正的全球化監控觀測

zhuyundataflux 头像

@zhuyundataflux

昵称 觀測雲

@kindlingx

告別ELK,APO提供基於ClickHouse開箱即用的高效日誌方案——APO 0.6.0發佈

ELK一直是日誌領域的主流產品,但是ElasticSearch的成本很高,查詢效果隨着數據量的增加越來越慢。業界已經有很多公司,比如滴滴、B站、Uber、Cloudflare都已經使用ClickHose作為ElasticSearch的替代品,都取得了不錯的效果,實現了降本增效,費用節約大多在50%以上。但是目前使用ClickHose作為日誌方案,存在以下問題。 主流的Vector+Cl

kindlingx 头像

@kindlingx

昵称 雲觀秋毫

@kindlingx

APO v0.7.0 更新:日誌功能完整版發佈!

在 v0.6.0 版本中,APO 發佈了基於 ClickHouse 開箱即用的高效日誌方案,為用户提供了採集、處理和檢索全量日誌的基礎功能。新版本在此基礎上進一步強化了日誌處理和檢索的能力,提升了用户體驗。 支持為不同日誌設置不同的解析規則,提取出關鍵信息並加速檢索 日誌中往往存在許多關鍵信息,將這些關鍵信息提取出來能夠針對性的檢索數據,通過分析此類關鍵信息能夠發現平時難以注意到的洞察。通常不同的

kindlingx 头像

@kindlingx

昵称 雲觀秋毫

@donnie4w

go-logger v0.27.0 - 併發性能為官方庫 10 倍

go-logger 是一個高性能的 golang 日誌庫,旨在提供快速、輕量級的日誌記錄功能 Github 使用文檔 v0.27.0 更新內容 優化內存分配 優化寫數據性能 增加日誌屬性自定義函數 增加各個日誌級別格式化打印函數 説明 性能優化是該版本最重要的更新內容。性能優化的結果: 極高併發性能:極高的併發寫數據性能,比官方庫或同類型日誌庫高10倍以上。特別在Linux環境中,

donnie4w 头像

@donnie4w

昵称 donnie4w

@kindlingx

APO全量日誌對接logstash和fluent日誌採集生態

APO 日誌介紹 採集流程圖 APO 使用 ilogtail 作為日誌採集組件並改造支持額外功能,在 vector 中進行日誌結構化處理。 APO 日誌功能 日誌指標 統計日誌數並生成日誌數指標。出現錯誤日誌時,計算日誌錯誤指標 故障現場日誌 應用程序出現慢或者錯誤trace時,將這段時間內的日誌收集並寫入clickhouse中。使用 k8s 信息或 pid 信

kindlingx 头像

@kindlingx

昵称 雲觀秋毫

@donnie4w

tklog0.2.8—Rust高性能日誌庫

tklog是rust高性能結構化日誌庫,支持同步日誌,異步日誌,支持自定義日誌的輸出格式,支持按時間,按文件大小分割日誌文件,支持日誌文件壓縮備份,支持官方日誌庫標準API,支持mod獨立參數設置,支持日誌level獨立參數設置 簡介 Github地址 倉庫地址 《rust日誌庫性能壓測 — log4rs + tracing + tklog》 v0.2.8 更新內容 增加 控制枱

donnie4w 头像

@donnie4w

昵称 donnie4w

@sretalk

夜鶯監控支持 ES 日誌告警了

夜鶯項目( https://github.com/ccfos/nightingale )發佈了 v8.0.0-beta.3 版本,這個版本主要是支持了 ES 日誌告警,下面給大家介紹一下。 新版本下載 到如下地址下載發佈包: https://github.com/ccfos/nightingale/releases/tag/v8.0.0-beta.3 由於夜鶯 v8 版本默認配置使用 sql

sretalk 头像

@sretalk

昵称 SRETALK

@chencaize

qt輸出源碼日誌

在QT源碼裏,很多qCDebug打印的日誌,如何輸出? 在C:\Users{yourname}\AppData\Local\QtProject增加日誌配置文件qtlogging.ini 如果需要開啓全部日誌,則配置如下所示: [Rules] *=true 如果需要開啓部分模塊日誌,比如開啓lcQpaWindows,首先需要找到lcQpaWindows對應的模塊字符串 配置如下所示: [Rule

chencaize 头像

@chencaize

昵称 點墨

@abai_681266b7f0de8

MySQL日誌文件之二進制日誌Binlog詳解

Binlog(二進制日誌) 數據庫管理中不可或缺的重要工具,記錄了數據庫中的所有變更操作,為數據恢復、主從複製和審計等關鍵功能提供了基礎 是MySQL 服務器層維護的一種二進制格式的日誌文件,記錄了所有DDL(數據定義語句)和DML(數據操作語句),但不包括 select 和 show 等 作用: 數據恢復:某些場景下的數據恢復工作需要藉助 Bin log 完成 主從複製:在

abai_681266b7f0de8 头像

@abai_681266b7f0de8

昵称 晚上不吃飯