跳至主要內容
LukeHoucom

把業務操作知識接進 AI 自動化測試

Auto Omniverse

讓會操作系統的人,也能參與自動化測試開發

從需求文件、文字描述或操作錄製出發,AI 產生符合專案規範的候選腳本;執行失敗時,Debug Loop 在授權範圍內嘗試自動修復與重驗,最後交由工程師審查。

用途
把操作流程與驗收條件整理成測試案例,再生成可審查的自動化腳本。
預期效益
減少重複查找、編寫與排查的工作,讓現有元件和工程經驗持續被重用。
我的貢獻
我熟悉醫療資訊系統的業務與操作流程,也能親自開發自動化測試。我從這兩種能力出發,規劃 Orchestrator 與 Agent Skills,串起腳本生成、自動除錯及品質審查。
一份需求,接成一條工作流程會議室預約案例
熟悉操作的人「預約完成後,要能重新查回同一筆資料。」
AI 整理測試案例與預期結果
AI 建置重用元件並生成腳本
AI 自癒失敗時自動診斷,有限修復並重試
AI 驗證重跑完整目標,必要時由人工接手
測試工程師接手可審查的程式、執行證據與交接紀錄
Auto Omniverse · 音訊導讀

用聽的了解這篇

從操作知識、腳本生成,到有界修復與工程審查。

17 分 32 秒

這套作品在做什麼?

讓熟悉系統的非專業工程師也能參與測試開發

業務需求、操作知識與程式開發經常分散在不同職能角色手上。Auto Omniverse 將這些材料交給一組具有工程規範和工具的 AI 工作流程,讓需求整理、腳本開發與執行排查可以彼此接續。

AI 會先查找專案規範與既有共用操作,再產生候選程式並保存執行結果。工程師可依這些紀錄檢查變更、未解問題與交付品質。

熟悉的資訊就能成為起點
需求文件從功能規格整理測試目標
文字描述由熟悉操作的人說明流程
操作錄製沿用畫面操作留下的步驟

熟悉系統的人可以透過這三種方式提供測試資訊。D02 說明 AI 如何根據這些來源生成符合專案規範的腳本初稿。

工作方式的改變

重複的測試開發工作交由 AI 協助處理

需求整理、程式開發、執行排查與交接都需要工程判斷。這張表把人工原本要做的事,對照 AI 可以承接的部分。

概念示意圖:左側工程師整理散落的需求文件與流程草稿,右側以程式、查核清單與資料呈現 AI 協作產物,並由人員共同檢查。
概念示意:從人工整理需求與流程,走向 AI 協助開發、由人員查核成果的工作方式。各階段的實作與驗證進度見後續章節。
傳統人工測試開發與 Auto Omniverse AI 協作方式對照
工作環節過去常見的做法Auto Omniverse 的協作方式
需求整理人工閱讀規格,整理測試步驟與預期結果AI 核對可用來源,整理可審閱的案例與待確認事項
腳本開發搜尋範例、查找共用方法,再逐段編寫程式先查專案規範與既有元件,再產生符合分層的候選腳本
執行排查人工蒐集錯誤線索,修改後重新驗證依執行證據診斷,在允許範圍內有限修復與重驗
品質交付整理程式差異、測試結果與未解事項供審查彙整可追溯的驗收與審查材料,由工程師決定交付

工作重心的轉移:工程師可以把更多注意力放在業務結果、變更風險與品質審查;實際節省的工時仍需透過試點量測。

對團隊的價值

讓測試開發更容易累積,也更容易交接

這套方法針對三種實際的測試開發負擔設計,讓 AI 的協作能力可以隨著案件與專案持續累積。

減少反覆開發與排查

需求研究、範例查找、腳本建置與失敗分析都有明確的 AI 工作入口,減少工程師重複整理背景的時間。

讓人力更集中在高風險測試

讓工程經驗成為共同資產

已建立的共用操作、專案規則、驗證方式與排查紀錄能繼續被下一個需求使用。

降低每次重新摸索的成本

支援逐漸增加的測試需求

當系統與功能持續增加,團隊可以透過標準化工作方式擴大測試開發的參與和重用範圍。

讓測試能力更容易擴展

效益方向將以後續試點的初稿工時、審查投入、重用率與維護成本追蹤;研發經驗與團隊量化績效分別評估。

從需求走到測試成果

用會議室預約看懂四個主要步驟

點選每個階段,查看誰提供資料、AI 協助什麼,以及留下哪些可以繼續使用的成果。這個合成情境會一路銜接 D01 與 D02 的技術案例。

01 / D01 需求工程

先說清楚什麼情況才算預約成功

熟悉操作的人說明建立預約、儲存、重新查詢的流程,以及應該得到什麼結果。AI 協助整理前置條件和待確認問題。

這一階段留下可審閱的測試案例與需求缺口

看完四個步驟,可以再查看研發進度,或挑一個技術主題深入閱讀。

Agent 工作流程

Orchestrator 協調多個 Skills 接續開發

不同階段各自處理需求、程式、執行與審查。Orchestrator 負責安排適用的工作入口與交接;Harness 則提供各階段需要遵循的專案規範。

概念示意圖:一位工程師把需求文件交給一排機器人助手,每位助手各拿著清單、待確認問題、程式拼圖、放大鏡與警示、完成勾選等不同產物依序接手,另一位工程師在旁審閱交出的成果。
概念示意:需求交給 Orchestrator 後,由不同 Skills 依序接手整理、開發、排查與檢查,最後仍由人員審閱成果。
WORKFLOW / ORCHESTRATION

一份需求如何走到可審查的測試成果

架構示意
互動示範/合成情境Orchestrator → Skills → Human
Auto Omniverse Skill 協作流程 Orchestrator 串接需求工程、腳本生成、執行除錯與品質審查,Harness 全程約束,最後由授權人員審核。 SKILL ORCHESTRATION / DATA HANDOFF INPUT / HUMAN需求與操作描述前置條件、操作步驟、驗收目標 D05 / ORCHESTRATOR協調 Agent Skills維持任務目標、路由與交接資訊 D01 / UNDERSTAND需求工程測試案例、待確認事項 D02 / BUILD腳本生成重用元件、候選程式 D03 / EXECUTE執行與除錯蒐證、有限修復、重驗 D04 / DELIVERY品質交付與知識改善Code Review、CI/PR 檢查 CROSS-STAGE GUARDRAIL Harness · 專案規範 · 修改邊界 · 可追溯證據 FINAL GATE / HUMAN授權人員審核完整目標、剩餘風險與交付決策
  1. 起點熟悉系統的人提供需求、操作描述與驗收條件
  2. D05Orchestrator依任務選用 Skills,維持交接資訊
  3. D01需求工程產生測試案例與待確認事項
  4. D02腳本生成重用專案元件,產生候選程式
  5. D03執行與除錯蒐證、有限修復,重新驗證
  6. D04可信交付與知識進化Code Review、CI/PR 與改善提案
  7. 終點授權人員審核核對完整目標與剩餘風險
閱讀完整文字流程與階段產物
工作起點/熟悉系統的人 需求文件、文字描述或操作錄製

提供前置條件、操作步驟與期望的業務結果。

D05/跨階段任務協調 Orchestrator

依任務選用 Agent Skills,維持原始目標、階段產物與交接資訊。

  1. 01 · D01需求工程

    核對來源與驗收條件

    測試案例、需求缺口
  2. 02 · D02腳本生成

    搜尋可重用程式並實作

    候選程式、生成檢查
  3. 03 · D03執行與除錯

    執行、蒐證與有限修復

    執行紀錄、重驗結果
  4. 04 · D04可信交付與知識進化

    Code Review、CI/PR 與知識改善

    驗收、審查材料及改善候選
Harness|跨階段工程規範 來源依據 · 既有元件重用 · 程式分層 · 修改邊界 · 執行與驗收關卡
最終審查/QA、SDET 與授權人員 確認完整業務結果與剩餘風險後,才決定能否交付
D01~D04 技術專頁已發布;D05 專頁仍在規劃。此圖整理各能力的工作分工,尚未表示整條流程已完成跨角色無人值守驗證。
LOOP ENGINEERING / FAILURE PATH

測試失敗後,如何決定修復或停止

決策示意
有限修復/兩種可能結果每次嘗試保留證據
Debug Loop 失敗處理流程 測試失敗後蒐集證據、診斷與判斷,符合條件時有限修復並重驗,否則停止並交回人工。 FAILURE → EVIDENCE → CONTROLLED RETRY OR HUMAN HANDOFF 有新證據且未達上限 → 再嘗試 01 / FAILURE測試失敗保留目標與執行版本 02 / EVIDENCE蒐集證據錯誤步驟、畫面與紀錄 03 / ANALYZE判讀原因核對來源與修改範圍 04 / GUARDRAIL判斷可否修復授權、依據、重試上限 05 / REPAIR有限修復明確範圍內最小修改 06 / RETEST重新驗證重跑指定的完整目標 05 / STOP停止嘗試無依據、超權限或達上限 PASS / NEXT GATE接續審查與交付 HALT / HUMAN REVIEW保留證據,人工接手
  1. 01測試失敗保留目標與執行版本
  2. 02蒐集證據錯誤畫面、步驟與紀錄
  3. 03判讀原因確認修復範圍與來源
  4. 04權限與停損判斷確認依據、授權及重試上限
  5. 05有限修復做出最小必要修改
  6. 06重新驗證回到完整的業務測試目標
  7. 07接續品質審查仍須 Code Review 與授權驗收
  8. 05停止嘗試無可信依據、超出權限或達上限
  9. 06人工接手保留失敗證據與尚待確認事項
閱讀完整失敗分支與停止條件
  1. 01測試失敗保留目標與執行版本
  2. 02蒐集證據錯誤步驟、畫面與紀錄
  3. 03判讀原因核對來源與修復範圍
判斷條件原因有依據、具備修改授權,且仍在重試上限內?
條件成立/有限修復

最小修改後重新驗證

先確認局部問題是否改善,再回到原本指定的完整業務目標重跑。仍有問題時,根據新證據決定下一輪。

完整目標通過接續 Code Review、必要的 CI/PR 檢查,再由人員審核。
↶ 未通過且仍有新依據:回到蒐證與判讀
條件不成立/停損

停止執行並交回人工

缺少可信證據、超出權限或達到重試限制時,保留失敗原因、已嘗試的修正與尚待確認的問題。

人工接手先補足來源、環境或決策條件,再判斷是否另行啟動測試。
每次嘗試都保留可回查的證據;局部通過後仍須重跑指定的完整測試目標。修復與停止條件依實際專案權限及執行證據判斷。

研發中的實際進展

從需求研究、腳本生成到執行修正,已有工程實作經驗

既有研發工作已留下不同輸入來源的腳本產物、執行與審查紀錄。這些經驗提供了下一階段整合與試點的基礎。

需求研究

從功能規格找到測試主線

研究需求、查找介面入口與既有前置操作,再整理成可供驗證的測試流程。

自然語言輸入

將操作描述轉成程式

從人員描述的完整流程開始,讓 AI 承接腳本生成與後續工程檢查。

執行與除錯

保留錯誤原因與重驗結果

在研發案例中累積失敗診斷、修復紀錄與指定目標的驗收證據。

目前重點需求與腳本生成方法已有研發基礎Debug Loop 的跨元件整合持續驗證團隊採用與效益量測列為後續試點工作

探索技術系列

選一個有興趣的環節深入了解

P01 帶你看見整套工作方式;各技術專題進一步說明背後的方法、工程判斷與實作細節。

D04 已發布

可信交付與知識進化

如何讓驗收證據經過 Code Review、CI/PR 關卡,並把工程經驗整理成經審查的知識改善候選?

閱讀 D04 技術專頁
D05 完結篇規劃中

Workflow Orchestrator × Mission Control

各階段如何依任務目標選擇負責人、交接證據、決定回退位置,並由授權人員完成最終判斷?

D03/D04 工程接力預覽合成執行與交付流程 · 可接續閱讀 D04 技術專頁展開體驗
D03 與 D04 工程流程預覽 可切換測試執行與品質交付兩段合成工程路徑,使用下方控制播放或單步查看。手機以直向步驟呈現。 01指定測試目標檢查目標與環境 02執行與蒐證失敗步驟與報告 03有界修復證據與重試限制 04完整重驗留存執行結果
  1. 01指定測試目標檢查目標與環境
  2. 02執行與蒐證失敗步驟與報告
  3. 03有界修復證據與重試限制
  4. 04完整重驗留存執行結果

此區以合成情境示意 D03/D04 的執行與交付交接;沒有執行真實 Runner、Code Review、CI 或 PR 審核。正式工程狀態依各項實際證據確認。

各階段由哪些能力接手?

表中的狀態是技術專頁的預計發佈進度;實際可能會再調整。

Auto Omniverse 技術專題、Agent Skills 責任、階段產物及公開狀態對照
階段主要工作留下的產物技術專頁
D01/需求工程來源核對、測試案例與條件確認可審閱案例與待確認事項已發布
D02/腳本生成共用元件搜尋、程式分層與產物檢查候選程式及生成檢查結果已發布
D03/執行除錯執行、錯誤蒐證、有限修復與重驗執行證據、修復紀錄與停止原因已發布
D04/可信交付與知識進化整合驗收證據、Code Review、CI/PR Gate 與經審查的知識改善驗收與 PR 審查材料、Retrospective 改善候選閱讀 D04 技術專頁
D05/跨階段協調Workflow Orchestrator × Mission Control 路由 Skills、交接版本證據與回退決策任務目標、階段交接、停止條件與人工決策紀錄完結篇規劃中

品質管理

AI 承接開發工作,工程師掌握驗收與交付

自動化腳本可以由 AI 協助產生、執行和修正;需要確認的業務結果、專案變更與交付決策,仍由負責人判斷。這樣才能將效率與維護品質一起考慮。

業務負責人確認測試目標與預期結果
AI 工作流程整理、開發、執行及保留證據
QA/SDET檢查風險、程式差異與正式交付

深入技術架構

想知道 AI 怎麼遵守規範、怎麼處理失敗?

進階區可以查看 Harness 與 Loop Engineering 的工程關卡,或操作六階段流程圖,了解腳本生成、執行、修復與交付的銜接方式。

A / Harness × Loop Engineering查看工程規範、失敗證據與有界修復機制包含五道工程護欄與人工審核責任

02 / HARNESS × LOOP ENGINEERING

讓 AI 修復測試腳本,也要知道什麼時候該停

熟悉操作流程的人說清楚要測什麼,AI 負責協助寫出腳本並處理失敗。但「能寫、能跑」還不夠:這套 Harness 讓執行、修復與驗收有明確的工程關卡。

HARNESS / CONTROLLED DECISIONS

五道工程護欄如何決定下一步

切換合成條件,查看檢查在哪一關停止;通過後仍需人員核准。

模擬檢查流程
  1. 01規範與授權明確界定允許的工作範圍
  2. 02執行準入核對目標、環境與設定
  3. 03證據診斷確認失敗位置與來源
  4. 04有界修復確認修改依據與重試額度
  5. 05完整驗收回到指定的完整業務目標
從人的操作經驗出發

熟悉流程的人描述要測什麼

例如「使用者可以預約會議室,建立後必須查回有效紀錄」。預約權限與時段衝突規則如果不明確,就先記錄為待確認問題。

不用先寫 Python
01 / HARNESS工程規範與護欄

讓 AI 依既有專案規範開發

將來源、專案規則和檢查工具放進 AI 工作環境,協助它生成可維護的候選程式。

  • 先確認需求與操作證據缺少依據的步驟交由人員釐清
  • 重用既有共用元件遵守程式分層、設定隔離及修改邊界
  • 留下可檢查的變更工具可驗證的規則交工具,其餘交由人員審查
02 / LOOP ENGINEERING結果驅動的驗證循環

讓候選程式接受執行與回查

用指定測試目標取得結果和失敗證據。可修復時做有限修改,超出條件就停止交接。

  1. 生成建立腳本與必要設定
  2. 執行保留結果與錯誤線索
  3. 診斷有限修正並重新驗證
  4. 判定符合目標或停下交給人員

有明確修復依據時回到指定目標重跑;證據不足或達停損條件就停止交接。

PROD-READY / 正式專案交付關卡

符合規範並完成驗收的腳本才有交付資格

候選腳本必須通過專案檢查、指定目標與業務結果驗證,再交給授權人員審查。此處的 PROD 指正式維護的自動化測試專案,不代表 AI 自行部署或直接操作正式業務系統。

專案規範完整驗收證據人工核准
工作機制示意:Harness 提供專案規範與檢查入口,Loop Engineering 依執行證據推進或停止,最後由人員決定正式交付。
INSIDE THE HARNESS · DEBUG LOOP

AI 可以提出修法,但每次執行都要有依據

當一支原本正常的腳本突然失敗,我不希望 AI 一直猜、一再重跑。除了操作指引,Debug Loop 還有實際的程式檢查、證據記錄與停止條件。

執行前確認目標 失敗先保留證據 修復後完整重驗
展開看五道工程護欄 哪些由程式檢查?哪些仍要 AI 或人員判斷?
  1. 01 / 規範與授權

    先界定能做的事

    Skill 與專案規範指定可用來源、修改範圍和交接方式;遇到未授權的操作,不能自行擴張工作。

    工作指引與人工授權
  2. 02 / 執行準入

    確認跑的是對的腳本

    Runner 在啟動前核對指定目標、環境與設定。目標不符或前置條件缺失,就先擋下執行。

    程式準入檢查
  3. 03 / 證據診斷

    先看失敗發生在哪裡

    從 Allure 結果、失敗步驟、畫面與來源程式找線索;工具留下事實,根因仍須依證據判斷。

    工具蒐證與 AI 判讀
  4. 04 / 有界修復

    不靠無限重跑碰運氣

    重試有上限;沒有新證據就不能原樣一直跑。修復要核對變更範圍與版本,已寫入的業務資料也不能隨意重播。

    重試、版本與資料檢查
  5. 05 / 完整驗收

    修好一步,不等於可以交付

    局部修復通過後,仍須另外完成指定流程的完整重測與業務結果核對,再交由授權人員審查。

    完整測試關卡與人工審核
例如:畫面改版後,原本通過的按鈕步驟失敗

系統先留下執行結果和畫面線索。AI 根據證據縮小修復範圍;若缺乏新依據或已達重試限制,就停止交接。即使這一步修好,仍須從完整流程再次驗證。

這些關卡不是同一種保證:程式閘門約束經由指定 Runner 與修復流程的操作;業務判斷、工作指引的遵守及正式交付,仍需 AI 與人員核對。此處說明的是既有設計機制,不代表已完成所有情境的無人值守實測。

已具備的工程基礎

除工作指引外,Debug Loop 已有執行準入、重試限制、來源變更核對及完整驗收等程式機制;目前證據以設計與個人使用經驗為主。

尚待證明的能力

非程式人員獨立完成整個流程、長期修復成功率,以及跨情境的穩定交付能力,仍需要受控試用、量測與審核。

B / 六階段工作流程查看完整的 Agent 工作階段與交接方式可切換一般路徑、失敗處理與六個階段

03 / WORKFLOW

六個階段負責不同的測試開發工作

測試開發會經過需求確認、腳本產生、執行與修正等工作。選一個階段,就能看到 AI 可以協助的內容,以及何時需要人員接手。

WORKFLOW / CONCEPT MODEL 一般工作路徑
一般路徑:依需求選擇必要的階段,過程中保留可供檢視的結果。此圖是概念導覽。

六個工作階段與五篇技術專題的分工

理解需求/建立測試案例
D01 核對來源與版本,整理操作步驟、前置條件及預期結果。
生成腳本
D02 確認可重用元件,依專案規範生成程式與執行產物。
執行與除錯
D03 觀察執行結果,依證據有限修復並重新驗證。
品質確認/交付與回饋
D04 區分測試、完整驗收與審查結果,整理正式交接與經審核的知識改善候選。

D05 的 Workflow Orchestrator × Mission Control 依任務目標協調六個工作階段與必要的回退;D04 的交付證據及知識改善須經審查才能納入下一輪工作。六階段工作流程不等於六篇文章。

繼續探索

從需求整理到腳本生成,看看實際工程怎麼做

從 D01 開始看需求如何變成測試案例;接著進入 D02,了解 AI 如何利用既有程式和工程證據建立第一版腳本。

另開原圖