——Nishant Lakshmikanth 於 QCon San Francisco 2025 分享
在 2025 年的 QCon San Francisco 大會上，LinkedIn 工程經理 Nishant Lakshmikanth 深入講述了 LinkedIn 如何系統性地拆解其傳統的批處理式推薦系統，逐步實現實時個性化推薦，並顯著提升運算效率。
舊的推薦架構支撐着關鍵產品，如 “People You May Know（可能認識的人）” 和 “People You Follow（你關注的人）”，但存在三大問題： 數據更新慢、響應延遲高、計算成本昂貴。
在原有系統中，推薦結果是為所有用户預先批量計算的——無論用户是否登錄都會生成。這不僅導致大量計算資源浪費，也使推薦結果僵化、陳舊。一旦數據管道出現故障，更新可能延遲數天，直接影響核心業務指標。因此，LinkedIn 的目標是：實現即時個性化推薦，同時大幅降低計算成本。
四階段架構演進
LinkedIn 並未一次性遷移，而是通過四個架構階段的迭代演進完成轉型：
- 離線打分（Offline Scoring）：以批處理為主，延遲高、依賴大量預計算存儲。
- 近線打分（Nearline Scoring）：過渡階段，將更新頻率從多天縮短至小時級或天級。
- 在線打分（Online Scoring）：關鍵轉折點，模型推理實時執行，響應用户當前行為和意圖。
- 遠程打分（Remote Scoring）：最終階段，將高強度的模型計算遷移到高性能雲環境，常利用 GPU 加速推理。
通過這一框架，LinkedIn 同時推進了兩條遷移路徑：
- 從 離線到在線打分（Offline → Online）
- 從 近線到在線新鮮度（Nearline → Online）
系統的重點從“預計算”轉向“動態執行”。
核心設計：候選生成與在線打分的解耦
遷移成功的關鍵在於實現了架構層面的徹底解耦：將 候選生成（Candidate Generation，CG） 流程與 在線打分服務 分離。
- 動態候選生成：候選不再依賴靜態列表，而是通過實時搜索索引查詢、基於嵌入的檢索（EBR） 來發現新用户和內容（解決冷啓動問題），並結合即時的用户上下文實時生成候選集。
- 智能打分：在線打分服務利用上下文豐富的特徵存儲（Feature Store），支持現代模型如 圖神經網絡（GNN） 和基於 Transformer 的排序模型，實現更精準的推薦結果。 值得一提的是，團隊實現了 雙向建模（Bidirectional Modeling） ——同時從發送者與接收者兩個視角對連接關係進行打分，效果顯著優於單向模型。
關於大語言模型（LLM）的使用，Lakshmikanth 指出：由於 LLM 的計算開銷較大，它們主要被用於候選生成和後排序階段，以增強質量，而不會影響實時排序環節的延遲性能。
遷移成效與未來方向
這一架構轉型帶來了可量化的成果，並讓系統具備長期可擴展性：
- 成本下降：清理批處理依賴後，離線計算與存儲成本降低超過 90%，部分核心流程的總計算成本下降高達 68%。
- 實時新鮮度：系統可在會話級（session-level）實現實時更新，用户點擊、搜索或查看資料後，推薦結果立即響應，顯著提升了互動率與連接成功率。
- 平台靈活性：模塊化設計簡化了維護流程，使新模型實驗、快速部署和回滾更為便捷。
目前，這些架構理念正被推廣到 LinkedIn 的其他核心產品中，包括：
- LinkedIn Jobs：更準確地理解用户的職業意圖；
- LinkedIn Video：確保視頻內容的實時性與推薦質量。
通過這一系列技術重構，LinkedIn 不僅解決了過去的性能瓶頸，也為未來的個性化推薦和大規模 AI 應用奠定了基礎。
