博客 / 詳情

返回

雲效DevOps實踐-如何基於雲效實現測試自動化集成和分析

簡介： 對於現代軟件研發來説，持續、快速、高質量、低風險地交付需求特性，是業務對研發的主要訴求。而要做到這一點，除了要有良好的架構設計、卓越的工程能力，快速可靠的測試反饋也是其非常重要的一環，達到這一點，需要依靠測試自動化。 作為面向企業開發者的DevOps平台，雲效提供了豐富的能力，幫助大家在DevOps流程中落地測試自動化實踐。

對於現代軟件研發來説，持續、快速、高質量、低風險地交付需求特性，是業務對研發的主要訴求。而要做到這一點，除了要有良好的架構設計、卓越的工程能力，快速可靠的測試反饋也是其非常重要的一環，達到這一點，需要依靠測試自動化。

作為面向企業開發者的DevOps平台，雲效提供了豐富的能力，幫助大家在DevOps流程中落地測試自動化實踐。

簡單來説，企業自建測試自動化體系，分為三種形式：

形式一：基於開源測試自動化工具

很多企業自建測試自動化，都是從選擇一個開源測試自動化工具開始的。一個開源測試自動化工具，往往包含以下幾部分（以RobotFramework為例）：

  1. 測試執行工具，如robot
  2. 測試用例，如.robot文件
  3. 測試結果和報告，如執行完生成的log.html和report.html
  4. 測試能力庫，用來完成特定的測試，如SeleniumLibrary

對於一個測試自動化體系，往往還需要加上：

  1. 調度和執行平台
  2. 結果分析與統計報表
  3. 測試結果通知能力

基於雲效，整個的架構是這樣的。

  1. 測試自動化用例存儲在雲效代碼平台的git倉庫中
  2. 用於執行測試自動化的測試步驟，基於雲效的自定義step能力創建
  3. 觸發和串聯代碼、構建和自動化測試的雲效流水線
  4. 通知機制（釘釘消息）
  5. 針對質量情況的數據報表，可以直接顯示在流水線測試結果中，也可以將數據發送給自建的數據報表服務展示

以RobotFramework框架為例，在雲效上接入開源測試自動化工具有以下幾步。

  1. 選擇或編寫對應開源測試自動化工具的flow step

==============================

雲效沒有內置開源測試自動化組件，但是基於其提供flow cli工具，企業可以很容易地定製符合自己要求的測試自動化組件。如何通過flow cli實現併發佈一個flow step，可以參考雲效學院flow cli相關內容。

這裏，僅以RobotFramework為例，對其關鍵部分做一下説明。

首先通過flow step init命令初始化一個flow step組件的項目。

1.1 執行的環境和命令

在step.yaml文件中，image為測試執行的環境鏡像，這裏是
registry.cn-hangzhou.aliyuncs.com/feiyuw/flow-robotframework:1.0，鏡像的內容在Dockerfile裏面定義。

在items中添加type為shell的輸入框，用於設置執行命令，這裏默認值為robot -L Trace -d robot_logs .，當前目錄“.”即為代碼所在目錄。

# ...
image: registry.cn-hangzhou.aliyuncs.com/feiyuw/flow-robotframework:1.0
items:
  - label: 執行命令
    name: STEP_COMMAND
    type: shell
    value: |
 # NOTE: output directory should be robot_logs
      robot -L Trace -d robot_logs .
# ...

1.2 紅線配置

首先在step.yaml中定義紅線配置組件，這些組件會在流水線配置步驟的時候顯示給用户。

 items:
    - label: 紅線信息
      name: CHECK_REDLINES
      type: addable_group
      rules:
        - require: false
      add_button:
        type: icon
        icon: plus
        text: 增加紅線
        tip:
          icon: question-circle
          description: 紅線校驗失敗步驟標記為失敗
      template:
        items:
          - name: redline
            label: 紅線
            position: flat
            type: custom_redline_dropdown
            datamap: '[{"key": "PassRate", "type":"GE"}]'
            rules:
              -requires: false

flow step編寫及調試完畢後，publish到當前企業中。

  1. 在代碼庫中添加測試自動化用例

==================

對於針對整個產品或一個子系統的自動化測試，我們建議自動化測試用例保存在單獨的代碼倉庫中；而對於針對某個特定應用的自動化測試，我們建議其測試用例保存在該應用的代碼倉庫中，並與開發使用同一個分支（推薦）。

將自動化測試用例與應用代碼在同一個代碼庫中管理，有許多好處：

  1. 測試用例與代碼互相匹配且是最新的，讓自動化測試在開發階段就可以及時介入
  2. 直接複用開發的分支模式，不用考慮自動化用例的版本管理
  3. 開發和測試基於git代碼庫緊密協作，方便落地ATDD這樣的優秀實踐
  4. 容易集成到流水線中，當測試代碼或者開發代碼變更後都能快速被執行和反饋，加速問題的定位和修復

示例：alpd-bot-ssh的測試自動化用例。

alpd-bot-ssh是一個SSH的服務，提供IP歸屬地查詢和天氣查詢能力，該測試自動化用例基於RobotFramework框架實現。其測試自動化用例保存在代碼庫的atest目錄下，結構如下：
atest
├── __init__.robot
├── ip.robot                             # 用於ip歸屬地場景的測試集
├── resources                                                        # 測試公共資源，包括通用變量定義、公共函數等 
│   ├── common_resource.robot
│   └── ssh_lib.py
└── weather.robot                                                # 用於天氣查詢場景的測試集
在代碼根目錄下，通過 robot -L Trace atest 執行測試。
  1. 添加測試自動化節點到流水線

=================

打開持續集成流水線，如果沒有，在flow上創建一個。

  1. 編輯流水線，添加一個空白任務

2、添加自定義步驟，“RobotFramework測試”

3、配置執行命令和紅線

  1. 上傳測試報告到雲效，以在雲效流水線執行結果中展示

============================

  1. 編輯第三步的測試自動化節點，添加一個步驟

  1. 配置測試報告目錄（這裏是robot_logs）和測試報告入口文件（這裏是report.html）

  1. 同步測試結果到自建的報表系統

==================

有些時候，我們需要對測試結果進行進一步的統計分析，此時，僅靠測試自動化工具提供的報告就無法滿足了。通常，我們會自建一個報表系統。那麼，雲效中執行的測試自動化結果如何上傳到我們自建的報表系統呢？

5.1 確保報表系統能夠被雲效訪問到

由於網絡問題，雲效無法訪問我們建在私有網絡環境中的報表系統，要求報表系統開放公網訪問接口。為了安全，我們建議僅開放必要的接口，同時做好IP白名單防護。

5.2 在flow step中添加上傳報告步驟

打開步驟1的flow step，編輯step.sh，添加上傳報告步驟。

注意：

該步驟需要放在redline檢查之前，同時建議傳遞的信息包括：測試結果、代碼分支、代碼版本、提交者、流水線名字等。

# ...
# sh -ex $WORK_SPACE/user_command.sh
bash -c "$STEP_COMMAND"

output=`python3 /root/parse_output.py $OUTPUT_XML`

STEP_ROBOT_PASS=`echo $output | awk -F, '{print $1}'`
STEP_ROBOT_FAILED=`echo $output | awk -F, '{print $2}'`
STEP_ROBOT_PASSRATE=`echo $output | awk -F, '{print $3}'`

# upload test result to report server
python3 /root/upload_to_report_server.py $OUTPUT_XML $CI_COMMIT_REF_NAME $CI_COMMIT_SHA $EMPLOYEE_ID $PIPELINE_NAME $BUILD_NUMBER

redline Passed:成功:$STEP_ROBOT_PASS:Success Failed:失敗:$STEP_ROBOT_FAILED:Error PassRate:成功率:$STEP_ROBOT_PASSRATE:Default

形式二：測試自動化自建Jenkins

對於已經自建Jenkins等工具用於測試自動化調度執行，甚至在Jenkins上進行了二次開發和定製的團隊，或者對於像ioT開發這樣有特殊環境要求的應用，複用現有的工具資源更為經濟。為此，雲效提供了與客户現有Jenkins服務無縫對接的能力，幫助企業通過串聯起研發測試。

  1. 確保自建Jenkins能夠被雲效訪問到

=======================

自建Jenkins服務需要支持公網訪問，以便雲效能夠訪問並觸發對應的任務。同樣，為了安全考慮，建議僅開放必要的接口，並開啓IP白名單防護。

  1. 添加Jenkins任務節點到流水線中

======================

編輯雲效流水線，添加一個任務節點，選擇Jenkins任務。

其中調用了測試平台的兩個接口，並且生成了一個index.html的測試報告文件。注意：該測試報告只是將請求轉發到了自建測試平台的對應頁面上。

  1. 添加測試自動化節點到流水線

=================

在流水線上添加空白任務節點，在其中添加一個步驟，選擇前面我們自定義的flow step（記得publish到對應的企業中）。在步驟中配置好測試平台地址和測試用例，並設置好紅線信息。

  1. 查看測試報告

==========

在測試節點添加報告上傳步驟，測試報告目錄填“report”，測試報告入口文件為“index.html”。

  1. 數據統計與報表

===========

在流水線執行結果中可以看到通過率等summary信息，詳細的統計與報表建議在自建測試自動化平台內實現。

總結

針對上面提到的三種自建測試自動化的形態，這裏給一個簡單的小結，幫助大家更好地進行選擇。

  1. 當下還沒有實踐測試自動化且打算開始建設測試自動化能力：建議選擇形式一，基於開源測試自動化工具來建設。這樣可以把我們的精力集中到具體的測試工作，讓測試自動化能夠快速落地，同時又能享受到開源社區的大量的技術沉澱，少走彎路。
  2. 已經搭建了jenkins，但是沒有進行二次開發，僅用來執行自動化測試：建議選擇形式一，基於開源測試自動化工具來建設。這樣可以節省維護jenkins的成本，同時測試報告和卡點可以更好地與研發過程整合，避免工具割裂和數據孤島。
  3. 基於jenkins搭建了CICD流水線，或基於jenkins進行了二次開發和工具整合：建議選擇形式二，測試自動化自建jenkins。這樣能更快地進行系統整合，同時，也不會影響後續的遷移和改進動作。
  4. 自研測試自動化執行和分析平台：建議選擇形式三，自建測試自動化平台。如果不打算推倒重建，我們還是建議採用現有系統與雲效整合的方式，避免工具切換對團隊的干擾，也可以更好地複用已有資源。

本文作者：雲效專家團張裕，阿里雲工程實踐專家，曾在諾基亞網絡負責測試自動化和CICD工具平台開發，做過測試自動化教練，也在初創企業做過開發、運維負責人和測試架構師，推崇持續、快速、高質量的軟件交付方式，目前專注於雲原生和DevOps領域。

原文鏈接

本文為阿里雲原創內容，未經允許不得轉載

coffeescript , bootstrap , Javascript
user avatar huanjinliu 頭像 shengmingbuxi_5c1152527848f 頭像
2 位用戶收藏了這個故事！

發佈 評論

Some HTML is okay.