作者：黃睿 阿里雲智能集團產品專家

本文基於阿里雲 Flink 平台的實際實踐經驗整理，希望能為廣大流計算從業者提供有價值的參考。

引言

在流計算領域，Apache Flink 作為業界領先的流處理引擎，為眾多企業提供了強大的實時數據處理能力。然而，隨着業務規模的不斷擴大和數據量的持續增長，如何確保 Flink 作業能夠長期穩定運行，同時實現資源的高效利用，成為了每個技術團隊都必須面對的核心挑戰。

根據前期用户調研顯示，資源配置和管理是用户關注度最高的問題。本文將深入探討 Flink 自動調優功能的設計理念、技術實現和未來發展規劃。

流計算資源配置的核心挑戰

為什麼資源配置如此重要？

資源配置問題並非新興話題。從 Flink 誕生之初，通過對用户和社區的深入調研，用户反饋中排在首位的問題就是如何保障流作業的長期穩定運行。

與傳統批處理作業不同，流計算具有本質區別——流作業需要持續運行，這使得資源配置變得格外重要。如果資源配置過高，會導致集羣和作業的資源利用率偏低，造成不必要的資源浪費，在成本壓力較大的環境下尤其不經濟。

反之，如果資源配置過低，則會影響作業的穩定性，表現為作業延時增高、容易發生故障轉移（Failover），以及啓動速度緩慢等問題。

業務動態性帶來的挑戰

流作業與業務聯繫緊密，業務具有明顯的高峯低谷週期，吞吐量的變化直接反映了數據量的差異。這種數據量變化會導致初期合理的 Flink 作業配置在業務波動過程中變得不再合理。因此，大部分用户面臨的核心問題是如何合理設置 Flink 作業的相關配置參數。

傳統人工調優的痛點分析

傳統的處理流程

在平台化自動調優介入之前，用户通常採用以下流程解決資源配置問題：

首先是問題發現階段。通常通過指標告警或上下游業務反饋發現數據異常、延時過高等問題，需要技術介入排查原因。

接着進入問題分析階段。技術人員通過 Flink 現有的運維繫統、指標系統和日誌系統進行問題定位。這個階段需要依賴人工經驗分析決策，通過查閲技術文檔、諮詢技術支持或團隊協作來確定解決方案。

最後是執行優化階段。根據分析結果確定合適的資源配置方案，應用到作業並重啓，然後觀察效果是否符合預期。如果效果不理想，需要重複上述流程直到問題解決。

平台化自動調優架構設計

整體設計理念

通過對傳統人工調優流程的深入分析，我們設計了平台化自動調優解決方案。整個自動調優框架與人工思考過程高度相似，主要包含以下核心組件：

首先是採集系統，負責主動發現問題。該系統主要收集來自 Metric 指標、內部智能系統以及硬件層面的各類信息。

決策系統的工作機制

獲取數據後，系統進入決策階段，主要包含兩個步驟：

第一步是指標分析。系統對收集到的指標和其他數據進行初步分析。考慮到指標可能存在不準確或數據失真的情況，在此階段會對數據進行清理，過濾掉異常信息，保留有效數據。

第二步是規則匹配。根據當前的指標和日誌狀況，匹配相應的調優規則和策略。基於阿里雲作為國內最大的 Flink 平台優勢，我們積累了豐富的用户案例和問題處理經驗。這些來自研發和技術支持團隊日常處理各類複雜問題的實踐經驗，構成了我們規則庫的核心資產。當遇到相似案例時，系統能夠快速匹配到合適的處理方案。

執行系統的創新

完成決策分析後，系統生成執行計劃並分配到當前作業進行運行。執行系統具備以下核心能力：

首先是智能執行策略。執行計劃會優先嚐試動態更新機制，因為作業啓停成本較高。如果能夠通過動態更新完成調優，系統會採用該方式；如果不可行，則會回退到重啓策略。

其次是完整的審計記錄。為確保執行過程的可追溯性，系統會詳細記錄每次調優的原因、調整幅度以及效果數據，為後續分析和優化提供數據支撐。

系統升級與用户定義異常

基於最初框架，我們在 2025 年 4-5月份進行了重要的版本升級，其中最核心的功能是用户定義異常。

用户定義異常解決了異常標準不統一的問題。在原有模式下，系統基於平台預設的指標閾值判斷作業異常並觸發調優。但不同業務對異常的容忍度存在差異——有些業務一分鐘延時就需要處理，而有些業務可以接受更長的延時。

為解決這一問題，我們將規則匹配的部分能力開放給用户。系統預設了基礎的擴容規則和縮容規則，允許用户根據自身業務特點定義異常條件。當用户定義的異常被觸發時，平台會根據規則匹配生成相應的解決方案。

這種模式將調優過程分為兩個部分：用户負責定義異常標準，平台負責生成解決方案。調優完成後，系統會記錄完整的執行過程，確保整個流程的可追蹤性。

三種自動調優模式詳解

我們的自動調優系統提供三種不同的運行模式。類似汽車自動駕駛技術的發展路徑——從定速巡航到輔助駕駛，再到完全自動駕駛——我們的調優模式也遵循漸進式的發展理念。

監控模式

監控模式是系統的基礎模式，對所有作業默認開啓。在此模式下，系統會週期性地進行分析，但僅提供調優建議而不執行具體操作。這種設計有助於用户在初期建立對系統的信任。如果系統建議與用户預期的調優方向一致，用户可以逐步過渡到更高級的自動化模式。

監控模式還提供一鍵應用功能，用户可以直接點擊應用建議，系統會按照推薦的資源配置重啓作業，簡化了操作流程。

值得注意的是，監控模式下的週期性分析完全由平台承擔計算資源，不會對用户作業的正常運行產生任何影響。

定時調優

定時調優模式適用於業務模式相對固定的場景，特別是具有明確週期性特徵的業務，如雙11大促或明顯的日間夜間業務峯谷差異。許多用户在這類場景下采用的策略是白天配置高資源，夜間切換到低資源配置。

在定時調優模式下，系統承擔資源切換的執行工作。用户需要預先配置高峯和低谷時段的資源參數，系統會根據配置的時間計劃自動執行作業的動態啓停操作。

智能調優

智能調優是最高級的自動化模式，具備三個核心特徵：

第一，提供可配置的條件設置，允許用户根據業務需求定義異常標準。第二，集成豐富的規則庫和智能決策機制，能夠自動判斷作業應該採用什麼樣的資源調整策略。第三，實現全流程的可追溯、可理解、可解釋，系統會明確告知用户調優的原因、調整的內容以及最終效果是否達到預期。

混合計費模式與成本優化

自動調優功能主要解決的是性能問題，通過優化資源配置使作業運行更加高效。然而，對於預購買固定資源的用户而言，性能提升並不能直接轉化為成本降低。

考慮到 Flink 作為流批一體引擎的特性，部分用户會運行批處理作業。批處理具有明顯的週期性特徵——需要時調度啓動，完成後釋放資源。

成本優化策略

基於這一需求，我們設計了混合計費模式，由固定資源和彈性資源兩部分組成。我們建議用户在配置固定資源時按照業務低谷期的需求進行配置，這樣可以確保集羣以最低成本維持運行。當業務高峯期需要額外資源時，可以通過彈性資源進行補充。

通過實際對比分析，30 CU包月模式下，為保障作業穩定運行需要持續佔用這30 CU資源。而採用10 CU包月加20 CU彈性資源的混合模式，考慮到業務低谷期的資源釋放，整體成本可以降低約49%。

未來我們還將推出成本中心功能，該功能基於用户過去幾個月的使用模式，智能推薦最優的混合計費配置方案，包括合理的包月資源量和按量付費資源量，確保每一分資源投入都物有所值。

未來發展規劃

最後一部分就是我來講一下自動調優的未來規劃。

立足現在的優化重點

基於當前發展狀況，我們的優化重點聚焦在提升調優準確度和易用性兩個方面：

首先是成本可視化能力的建設，即成本中心功能的完善。其次是擴大覆蓋場景，主要包括 SQL 作業調優和 State 狀態管理的聯動優化。目前系統對 SQL 作業的調優能力相對有限，與 State 的集成度也有待提升，這些都是我們正在加緊建設的方向。

第三個重點是 API 能力的開放。根據最新數據分析，API 用户數量增長迅速，幾乎翻了一倍。這部分用户主要來自於需要將自動調優能力集成到自己平台的企業用户。我們計劃儘快開放相關 API 接口以滿足這一需求。

中長期的AI化方向

從中長期發展規劃來看，我們的整體方向是深度 AI 化，主要體現在以下三個方面：

第一，數據源的拓展。目前系統主要依賴 Metric 指標和部分日誌數據。未來計劃引入更多類型的數據，包括火焰圖、JStack 日誌等目前在運維界面展示但尚未被分析系統採納的診斷數據。這些數據的加入將使分析更加全面，提供更精準的調優建議。

第二，大模型能力的集成。在現有規則庫基礎上，引入大模型作為補充，擴大系統的適用場景覆蓋範圍。

第三，預測性調優的實現。目前的調優模式是問題出現後的被動響應。我們希望通過整合上游數據源（如 Kafka、Flink 等）的信息和作業歷史行為模式，實現提前預警。在業務洪峯到來之前主動調整資源配置，避免業務受到性能問題影響。

總結

通過從最初的人工調優模式到現在的智能化平台建設，我們見證了自動調優技術的巨大發展潛力。未來隨着 AI 技術的持續進步，預測性調優和大模型的深度集成將進一步提升系統的智能化水平，最終實現真正的無人化運維。

對於技術團隊而言，擁抱這種漸進式的自動化轉型，不僅能夠顯著降低運維成本，更能將寶貴的人力資源投入到更有價值的業務創新中去。

更多內容

活動推薦

複製下方鏈接或者掃描二維碼
即可快速體驗 “一體化的實時數倉聯合解決方案”
瞭解活動詳情：https://www.aliyun.com/solution/tech-solution/flink-hologres