從打點平台談打點治理详情 - 日誌,數據百度Geek説日志

作者 | ttt

導讀

本文介紹了打點治理的概念和其對於數據質量保障的重要性，分享了日誌中台在打點治理方面的解決方案與實踐經驗。文章從用户痛點和打點治理的難點出發，介紹了日誌中台如何通過質量標準的制定、在線化流程的建設和相應的配套工具來解決這些問題。

全文4808字，預計閲讀時間6分鐘。

打點是指在網站或者APP中加入一些統計代碼，通過日誌記錄用户在APP內觸發的一系列行為，包括點擊、滑動等。打點上報後匯聚成用户行為日誌，用户行為日誌可用於報表統計、AB Testing、個性化推薦等，是分析用户、調整策略、迭代產品的重要依據。

打點治理是指在打點的生命週期內對其進行監控與管理，目標是確保數據的準確性、及時性、可比性、一致性、適用性和可獲得性。在實踐中我們經常會發現，日誌數據總是會變得無效以至於無用、甚至有時新增打點也因為各種原因變得雜亂無章。因此從增量數據產生到存量數據維護的全流程，都是打點治理不可忽視的內容，也是日誌中台關注的重點。

日誌中台建設並打磨打點平台，聚焦打點內容管理、管理打點全生命週期、推動打點規範設計、打點開發測試、打點效果驗證等工具在業務側落地。本文從打點平台角度，描述日誌中台在打點治理方面提供的解決方案與實踐經驗。

01 用户痛點

數據需求從被提出、添加打點、到最後使用數據，涉及到很多用户角色和步驟：

業務方（多為市場運營團隊或產品經理）提出數據統計&分析需求；
數據PM設計打點方案，這裏可以複用已有的打點，也可以新增打點；
打點RD進行打點代碼開發；
QA進行打點測試，一般從打點日誌的內容和觸發時機兩個維度進行測試；
數據RD完成數據表&看板建設；
業務方基於數據表&看板，滿足統計&分析需求。

不同用户角色在整個打點週期中的痛點不盡相同：

數據應用方：
- 查找難度大：點位多且缺乏管理，不清楚有哪些歷史打點，點位代表的業務含義是什麼；
- 難以直接使用：打點經過多次迭代後，點位規範與打點代碼不再一致，含義不再清晰；
- 質量無法確定：不確定如何衡量打點質量，打點是否準確可用存疑。
數據生產方：
- 流程機制欠缺：打點涉及的角色多，流程多，協同難度高；
- 缺乏工具支持：打點設計、開發、測試、驗收、監控純人工操作，效率低。

針對已上痛點，日誌中台從打點質量評估、流程規範和配套的工具等多個層面提供瞭解決方案：

質量標準：
- 對一條打點日誌是否合規正確進行了明確定義，幫助業務方衡量數據質量、解決質量無法確定的問題；
- 通過歷史數據遷移、線上日誌補錄形式填充打點規則集合，提升打點數據可用性、助力業務使用打點。
打點在線化全流程：抽象出了規範的打點全流程並實現在線化，填充了流程機制的欠缺。
配套提效工具：
- 規範設計:
1. 提供打點規則編輯功能，能夠在線設計點位規範；
2. 建設頁面場景樹管理模型，幫助從業務全局視角瞭解與管理點位。
- 開發測試：
1. 支持APP掃碼後實時抓取日誌功能，開發階段能夠直觀看到日誌詳情；
2. 通過規則匹配能力實時校驗日誌合規情況、能夠一鍵生成點位測試報告，實現了高效可靠的打點測試。
- 驗證評估：
1. 定義並統計大盤點位整體合規率、流量波動大的點位發送郵件報警，幫助業務方監控打點與其質量水平；
2. 提供線上PV等指標的實時數據，點位能夠即埋即看、快速驗收。

下文將從以上兩個基礎能力（質量標準、在線化全流程）和三個層面的配套工具角度，詳細闡述日誌中台打點平台在打點治理方面的建設。

02 質量標準

打點質量的規範標準是打點治理的前提與基礎，只有明確了什麼樣的日誌數據是準確的、清晰瞭如何衡量去打點數據質量，才能夠摸清打點數據現狀、瞭解打點質量水平。

日誌數據對應各個點位的打點規範，規範中應包含上報日誌的字段名、字段值類型&長度等屬性，上報的數據應該在各個維度都需要匹配上打點設計好的規範，才能夠被劃分為合規、使得打點日誌在真正處理有據可依、數據在應用時的含義能夠被明確保障。日誌平台在建設初期，就支持了打點基礎規範的管理、遷移了歷史的老打點數據，通過推動業務方使用平台錄入新的打點規範、幫助歷史使用內部文檔的業務方批量導入規範數據等方式與手段，快速建立了初期的規範全集。

△通過規則匹配功能，確定打點日誌是否合規

通過平台的規則匹配功能，將規範集與打點日誌相匹配，計算得出了初步的大盤合規情況。由於百度APP歷史打點多、規範缺乏維護等客觀因素，中台通過離線老版本日誌抽取後自動補齊了部分打點的規範，解決了部分當前數據同學在使用數據時對於歷史打點規範不清晰的痛點，能夠使歷史數據得到更有效的利用、也擴充了大盤打點規範集合。

在摸底過程中，老版本日誌雙端規範不一致、SQL語言的弱類型特性，也使得字段類型通過簡單基礎的string number boolean object array五大類型難以合法表達，打點平台也擴充了objectstring類型（支持上報字符串類型的object但配置內部結構）、weaknumber/weakobject類型（支持Android/iOS雙端上報number/object時一端上報字符串類型的number/object場景），幫助業務方解決已經無法發版修復的老打點無法合規表達的問題、更好地聚焦於增量打點與規範的嚴格約束。

△打點規則集的建設

通過對於打點規則集的建設，打點的標準得到了清晰明顯的定義，是業務方瞭解自身已有打點形態的基礎、能夠通過規則與實際日誌的對比來確定打點日誌的合規準確性，更是平台衡量全局打點質量水平、對打點進行針對性治理、直觀觀測治理效果的基礎。

03 打點流程

從打點需求提出到打點上線，中台根據角色和工作職責，抽象出了提需->設計->審核->開發->測試->驗收->上線的打點全流程。流程的在線化，使得跨部門協作中進展的追蹤、信息的傳達、工作的流轉、操作的留痕等關鍵性問題有了可靠有力的保障手段。

同時，中台也引入數據BP審核機制，其作為各業務打點的數據干係人，對打點從需求提出到數據驗收上線的全流程審核並負責。藉助打點平台以及在線化流程管理，打點責任到人、流程清晰，高效線上操作、及時跟蹤進展，保證了執行效果和數據質量。

△打點在線化管理全流程

04 規範設計

打點語法表義與打點業務含義是否準確是影響打點質量的兩大關鍵，也是打點質量問題頻現的場景，例如：

語法：
- 字段類型不匹配：應該上報boolean類型的參數，上報為0/1的integer類型；
- 字段長度不符合要求：參數值過長，超過設定的合理範圍；
- 字段值不符合枚舉要求：應上報為click的字段，錯打為Click。
語義：
- 缺失上報：如點擊某個按鈕後沒有進行上報；
- 重複上報：如一次頁面的滑動，上報多次打點；
- 打點觸發時機不對：如頁面展現打點，在點擊按鈕時上報；
- 上報內容不準確：如點擊元素A時，打點上報元素B。

日誌中台針對以上問題，提供了打點規範的平台化表達工具，並且在長時間實踐中總結了打點的頁面場景樹模型，並將約束時機規範的事件關聯對應到頁面位置和點位，綜合表達了打點的準確含義。

點位日誌規範表達：字段名、類型、長度、是否必傳、枚舉值是日誌規範的重要組成因素，平台支持配置與管理string number boolean array object objectstring六大類型字段的多層級嵌套表達，能夠低成本結構化表達點位必傳屬性、長度限制、枚舉值精準/模糊（正則）等打點規範，能夠在語法層面對於打點進行準確清晰的表達。

△點位規範整體表達

△多種字段類型支持

△枚舉值管理

△正則匹配

頁面場景樹模型：通過topic、產品線、位置、點位的層次關係描述整個打點拓撲，從產品頁面和點位雙方向提供了打點的位置地圖，解決打點位置不清晰、相同位置多打、不同位置漏打錯打等問題，也助力業務側從頂層視角着手每次打點的規範設計，統一業務方整體打點的規範。

△表達頁面及頁面結構

△頁面視角查看各位置綁定的點位

△點位視角查看其綁定的頁面位置

事件規範管理：事件是包含了時機約束的一系列規範，業務方維護適合自身業務場景的事件規範後，將打點與其綁定，就可以在設計階段準確表達每個打點應該上報與不應上報的時機，為後續打點開發測試人員的打點含義理解、以及打點含義準確性的校驗提供了基礎。

△打點事件規範的表達

05 開發測試

傳統抓包測試時，QA需要人工抓包、肉眼驗證，很多打點問題難以被發現：

語法是否合規：打點上報與方案中設置的字段名稱、字段類型是否一致，是否符合標註的參數長度約束、參數的枚舉值範圍等。
語義是否準確：打點上報是否符合點位設計中上報、上報時機、條數等規則。

在日誌中台，業務方通過打點平台設計並表達點位的約日誌規範後，中台會依託這些約束規則生成一系列相匹配的測試規則，在測試過程中進行自動匹配、測試，為業務測試打點數據提供了切實有效的提效工具。

在進行打點測試時，業務側RD或QA可以通用手機掃碼或輸入用户ID的形式，將APP與日誌匯聚服務建立連接。在App上操作觸發打點後，打點校驗服務可以實時獲取到用户上報的數據，使用打點設計時生成的測試規則，便可以自動將日誌與規則匹配並得到校驗結果，在打點平台上實時展示上報的每一條日誌是否合規，並且可以為多條日誌生成測試報告。

打點平台提供了實時驗證的測試工具，可以根據打點規範自動測試上報數據的準確性，並且能夠將測試報告一鍵生成後、推送給PM在下個打點流程環節進行驗收，全面助力打點開發與測試階段的質量保障與效率提升。

06 效果驗證與評估

打點上線後，實際效果的驗證與持續監控也是打點質量中不可忽視的事後管理內容。中台從質量、流量、業務三個方面，設立多方位指標監控體系，助力業務方對於存量打點的把控，做到打點數據質量的長期治理。

質量角度，在數據質量模型這一基礎標準上，定義並計算合規率。

對線上上報的日誌進行抽樣，抽樣的總pv做分母，其中合規部分的pv做分子，計算整體合規率；點位流量根據業務方向劃分後，計算分方向合規率，能夠從整體大盤與細分業務兩個角度監控數據合規情況；
關注業務個性化需求、收集各業務不同點位的關注程度，通過對核心點位的標記單獨計算核心點位合規率，提升業務方對核心功能、核心數據的及時把控與管理；

\(合規率=（1-\frac{\sum PV_{異常} }{\sum PV _{總（max=100）}）}\%\)

△合規率計算公式