跳至主要內容
LukeHoucom

AUTO OMNIVERSE / D02 · 腳本生成

把測試案例轉成符合專案規範的第一版腳本

自動化測試腳本是讓電腦照著測試步驟操作系統、檢查結果的程式。D02 接手 D01 已確認的測試案例,AI 先找出專案裡已寫好的操作程式,再查清新畫面的欄位怎麼操作,最後依團隊既有的 Python 分層產生一份可審查的初稿。

用途
將測試案例或操作錄製整理成 Python 測試程式初稿,以及 Selenium IDE 格式的 SIDE 檔;每段程式都能追回來源。
痛點
測試案例寫好了步驟,工程師動手寫腳本前,仍要翻找哪些操作已有共用程式、新畫面的欄位怎麼定位;沒找到就容易把相似操作再寫一遍。
預期效益
工程師拿到 AI 初稿後直接審查、修改,省去從零撰寫的步驟。初稿優先沿用團隊已驗證的操作程式,寫法和既有專案一致;查不到依據的地方會標出來,交給人判斷。
我的貢獻
在既有測試架構上,我將程式重用、來源查證、分層生成與產物檢查,整理成 Script Generator Agent Skill 可依循的工作方式。
概念示意圖:工程師操作筆電,對照測試案例清單、程式元件與介面畫面,整理測試腳本初稿。
概念示意:對照測試案例、共用程式與介面資料,整理可供審查的腳本初稿。
D02 腳本生成 · 音訊導讀

用聽的了解這篇

從測試案例交接、程式重用與 UI 查證,到 Python 初稿與生成檢查。

10 分 58 秒

AI 合成旁白,以 TaiMECS 真人素材為參考生成,非原說話者親自朗讀。

聲線參考素材:TaiMECS,署名者 JacobLinCool,授權為 CC BY 4.0。

D02 交付摘要 / 合成案例

D02 交給工程師三份資料

工程師可以靠這三份資料核對每段程式從哪裡來;腳本實際執行是否成功,由下一階段 D03 確認。

  • 候選腳本依專案既有分層寫好的 Python 初稿,分層方式見第 04 章
  • 來源依據每段程式對應的測試步驟、沿用的共用操作與介面查證結果
  • 生成檢查SIDE 檔與程式差異的檢查紀錄,並標明這次可交給執行驗證、先產出診斷版,或停下等待業務決策

01 / 測試案例交接

每個測試步驟先標明來源再開始寫程式

本頁用一個合成的會議室預約案例說明:建立一筆預約,離開頁面後再查回來,確認資料確實存好。案例沿用 D01 的 TC-ROOM-01,STEP-ROOM-01 到 STEP-ROOM-04 分別對應登入、建立、重新查詢與結果核對。Generator 用 source_manifest 記下每一段的來源;若另外提供操作錄製,則依語意錨點把文字步驟和錄製步驟接成 Hybrid 流程。

測試案例如何接成第一版腳本 · 合成案例
D01 · 已確認的 Testcase TC-ROOM-01 · 建立預約 → 重新查詢 → 核對資料
D02 · 查找與重用 沿用登入與導覽,補上本次預約與查回操作 核對 Actions、介面定位與專案分層
D02 · 生成候選產物 Python 初稿、SIDE 與來源檢查紀錄 保留業務驗收點、必要設定和未解事項

候選腳本接著交給 D03 執行與驗證。

SOURCE MANIFEST / 可選 Hybrid 示意交接依據
user_source_mode: hybrid
segments:
  - id: setup
    primary_source: text
    role: business_contract
  - id: feature
    primary_source: recording_json
    role: ui_implementation
  - id: assertion
    primary_source: text
    role: business_contract
conflicts: []
coverage_gaps:
  - duplicate_booking_rule

Hybrid 依語意錨點銜接文字與錄製步驟,重複的登入、導覽只保留一次。測試意圖和 UI 實作各自保有來源。

文字 Testcase 固定業務順序與預期結果 操作錄製 提供實際互動步驟 Hybrid 對齊語意區段並去重

02 / 先沿用現有程式

先從現有程式找出能直接沿用的操作

專案裡已經有一批寫好、驗證過的共用操作程式(Actions),負責登入、頁面導覽、視窗切換和常見操作。Script Generator 先讀取專案規範,再查 Actions Index、同環境已成功的腳本與設定,找出能直接沿用的部分;新的測試案例只需補上本次功能特有的步驟。

01Actions Index

以方法名稱、描述和功能語意縮小候選範圍

02同環境已成功腳本

核對原有呼叫順序、適用版本與設定方式

03參照專案規範

檢查共用方法的參數、責任層次與變更範圍

04最小新增範圍

既有操作直接沿用,新的功能步驟另外實作

會議室預約的重用決策

沿用登入、進入預約頁由已確認的共用 Actions 負責
新增填寫預約、儲存、查回封裝查回封裝沿用既有清單查詢方法
核對重新查詢後的資料識別來自 Testcase 的業務驗收終點
CODE REVIEW / 示意 Diff最小改動
  login()                       # 現有 Action
  open_reservation_page()       # 現有 Action
+ create_reservation(test_data) # 本功能
+ reopen_reservation(record_id) # 新封裝,沿用既有查詢
+ assert_reservation_saved(record_id)

登入與導覽直接沿用,新增範圍只剩本功能的三個呼叫,共用程式也維持原本的維護方式。

03 / 介面與來源查證

新畫面的操作細節由程式與介面證據確認

腳本要點到正確的欄位,得先知道畫面上的元件怎麼辨識。遇到沒用過的 UI 元件時,Agent 先提出一個具體問題,再以功能名稱、畫面標籤、元件種類與版本縮小搜尋範圍。repo 內找得到的程式先讀;需要外部實作資訊時,再到 vibeRefs 的結構化索引,只取排名最前的少數片段(有界 Top-K 搜尋),對應 FE、BE、PRD 或操作資料。仍查不到的部分,列為待查證的缺口。

STEP A / 問題「預約時段欄位由哪個元件處理?」
STEP B / 搜尋同功能 Actions → FE 元件 → 相關契約片段
STEP C / 決策確認 event owner、selector 適用範圍與設定來源
STEP D / 收斂把已知做法寫入 Constants/Actions,留下待查證的 UI 缺口

怎麼判斷哪份參考可以用?

  • 範圍:先對齊同系統、同環境與功能;跨環境參考另外核對差異。
  • 版本:保留來源 revision,查證目前目標版本的適用性。
  • 定位:優先查穩定的 data-qa-*/data-testid,再核對元素唯一性與實際互動擁有者。
  • 成本:一次處理一個證據缺口、讀取少量必要片段,來源沒有變動就沿用已得結論。

兩種生成策略:YOLO 策略可先選擇可查證、影響範圍小的測試資料與介面候選,產生隔離的診斷腳本,交給下一階段取得實際證據。Normal 策略對必要測資採取較保守的停止條件,條件不足就先停下等確認。兩條路線都保留來源與待確認事項。

04 / Python 專案分層

生成的程式沿用專案既有分層

生成的程式照團隊原本的分層擺放,其他工程師接手時,能在熟悉的位置找到流程、操作、定位與設定。Script Generator 先寫 Python 原始碼(Source-first):Spec 描述測試情境,Actions 封裝互動,Constants 管理定位,Config 保存環境與案例資料。完成 Python 後,再用既有工具產生 SIDE。

  1. 01 / SPEC

    測試情境

    保存整體順序、案例身分與最終驗證點;共用操作以方法名稱呼叫。

  2. 02 / ACTIONS

    操作方法

    沿用登入導覽,為預約表單與重新查詢增加功能操作。

  3. 03 / CONSTANTS

    介面定位

    集中管理已核對的穩定 QA Attribute 和元件範圍。

  4. 04 / CONFIG

    測試設定

    將環境、帳號身分及測試資料維持在對應設定中。

SPEC / 測試意圖Python 示意
def e2e_reservation_lookup():
    case = read_case_config("room_lookup")
    login(case.account)
    open_reservation_page()
    record_id = create_reservation(case.room, case.slot)
    open_reservation_list()
    assert_reservation_saved(record_id, case)
ACTIONS / CONSTANTS / CONFIG分層示意
# actions / room_actions.py
def create_reservation(room, slot):
    choose_room(room)
    choose_slot(slot)
    return save_and_read_identity()

# constants / room_locators.py
ROOM_FIELD = "[data-qa-field='room']"
SLOT_FIELD = "[data-qa-field='slot']"

# config / synthetic-case
room: "Room A"
slot: "demo-available-slot"

程式片段用於說明分層與呼叫關係,方法名稱和選擇器皆是公開展示用示意。正式原始碼的行為與設定仍依所屬專案規範管理。

已確認 Testcase Python Spec / Actions / Constants / Config 隔離生成與來源檢查 SIDE 候選

05 / 腳本生成實驗室

不同證據條件下的腳本生成決策

左側選擇測試來源與工程情境,右側會顯示 AI 這次查到的依據、Python 初稿、SIDE 生成狀態與程式差異。可以先選「預期業務結果有衝突」,看流程如何停下來等待業務決策。下方皆為合成案例。

輸入條件

這次遇到的工程情境
文字 Testcase

以文字步驟確認建立、儲存、重新查詢和預期結果。

生成結果 S2B · 可交給執行驗證

已確認必要來源,示範完整生成與靜態檢查路線。

本次決策軌跡

  1. 分類來源與確認業務終點
  2. 盤點已有的 Actions 與設定
  3. 查證新介面與測試資料
  4. 組裝 Python 並檢查生成產物
來源與產物 決策實驗室
# 示意 Python source
def e2e_reservation_lookup():
    login()
    open_reservation_page()
    record_id = create_reservation(test_data)
    assert_reservation_saved(record_id)
選擇情境後即可比較各階段的來源與產物。
生成工作台 · 合成案例重播

逐步查看腳本如何組裝

上方修改來源或工程情境後,工作台會同步更新 Python、SIDE 與 Diff。

TC-ROOM-01
01 / 04確認測試來源
S2B · 可交給執行驗證

同一份 Testcase 的來源、操作證據與期望結果,會決定接下來如何生成。

SOURCE / INPUT
TC-ROOM-01
來源:文字 Testcase
驗收:建立預約後重新查回資料

沿用目前決策實驗室的來源與產物。

測試步驟 → 程式對應

點選測試步驟,查看它的工程依據

來源、共用方法與新增程式會隨上方選項更新。

REUSED ACTION

重用已確認的登入與導覽

Agent 依 Actions Index 與現有腳本確認可沿用的方法。

來源Actions Index → existing spec
對應程式login(); open_reservation_page()

06 / 初稿品質檢查

用工程檢查建立初版腳本的可信度

第一版腳本的品質來自幾個可回查的事實:測試意圖有來源、共用操作符合現有規範、新增程式通過架構檢查,且生成產物保留同一個測試目標和資料驗證點。

01 / SOURCE

來源與適用版本

source manifest 紀錄每段操作的主要來源,既有 Actions 和 UI 參考可查到對應版本。

02 / ARCHITECTURE

專案分層

架構檢查確認 Spec 的流程責任、Actions 呼叫、定位與 Config 隔離。

03 / GENERATION

產物與設定對應

核對 SIDE JSON 與命令結構,確認它反映 Python 原始碼(source reflection)、測資能追回出處(lineage)、對準正確的測試目標,必要時比對跨環境一致性(parity)。

04 / ASSERTION

業務終點

把測試案例的預期結果對回 Python 的呼叫位置(callsite)和生成後的斷言,保留重新查詢的資料識別。

S2B · 可交給執行驗證

產物已符合當次來源、設定與結構條件,可以進入後續 Runner 驗證。

S2D · 隔離診斷版

主要流程可建立,未知 UI 的假設留給 D03 取得實際證據。

Blocked · 等待業務決策

測試目標或必要設定仍有衝突,保存已完成的研究與程式準備。

三種結果都會留下生成、待補證或待決策的紀錄,下一步可以從停下的地方接續。

NEXT / D03

生成結果接著進入執行與除錯

完成來源與產物檢查後,D03 會根據實際執行證據判斷哪些步驟成立、哪段程式需要修改,以及何時可以重新驗證。