測試結果要對得上證據鏈
- Exact Target:確認跑的是這次指定的唯一腳本。
- Runner Step:確認實際執行到哪一步,而不是只看最後一行回答。
- Screenshot:保留當時畫面,核對是否真的在預期頁面與狀態。
- Receipt / Log:確認 Runner 當時發生什麼,失敗或 PASS 從哪裡來。
- Source Revision:把結果綁回確切程式版本,避免拿舊版 PASS 證明新版。
- Business Postcondition:最後回到真正的業務結果,而不是只接受工具綠燈。
AUTO OMNIVERSE / D03 · DEBUG LOOP
自動化測試報錯時,工程師還得找回執行步驟、核對畫面,確認資料有沒有寫入。Debug Loop(除錯迴圈)把蒐證、原因分析、有限修復和重新驗證串成一個自動化流程,每次判斷跟修復都留下證據。遇到業務狀態不明或需要額外授權時,就保留證據並交由人員確認。
AI 合成旁白,解說失敗蒐證、有限修復、重跑條件與完整驗收。
D03 / 一頁漫畫
這是會議室預約的合成案例。測試腳本送出「儲存」後發生逾時,Luke 無法確認預約有沒有建立。LOOPER 保存執行現場,TRACE 核對事件與既有資料;寫入狀態仍不明時,LOOPER 阻擋重送並將待查問題交給 Luke。點選畫格可查看每一步的理由。
01 儲存送出後發生逾時Luke「測試腳本按下儲存後逾時了。功能到底是壞了還是壞掉了呢?」
02 LOOPER 留下執行紀錄LOOPER「先別急著重送!我把執行步驟、截圖和錯誤紀錄留起來。」
03 TRACE 核對事件先後TRACE「日誌顯示,儲存送出後才逾時。現在還不能判斷有沒有成功。」
04 查詢仍無法確認寫入TRACE「查過預約資料了,但還無法確定是不是剛送出的那筆。」
05 LOOPER 阻擋再次儲存LOOPER「如果現在重送,可能多建立一筆。我先把重試擋下來。」
06 Luke 接手核對預約Luke「把你們查到的紀錄給我。我來確認這筆預約。」
02 / 測試失敗的日常負擔
測試工具告訴你某一步失敗了,卻不一定能回答究竟是程式錯誤、畫面改動、環境中斷,還是業務資料已經改變。這些問題如果都交給人逐一查找,除錯就很容易被反覆切換視窗與重跑佔滿。
本頁延續 D01/D02 的同一份合成測試案例。後面的三個 Debug Lab 分支都從這支腳本出發,各自卡在不同步驟。
03 / 先看懂整個流程
除錯流程可以分成八步:先確認測試目標並保存失敗現場,再分析原因、限定修復範圍,最後依證據決定重驗或停止。重跑或完整驗收沒有通過時,流程帶著新證據回到分類;觸及停止線就保留證據,交給人員判斷。
先確認這次真正要除錯的是哪一支腳本、哪個環境與哪個程式版本。
Runner 保存執行步驟、畫面截圖、執行紀錄與必要日誌。
分清腳本失敗、啟動/環境問題、局部 PASS 或行為假通過。
建立能被反證的原因假設,缺什麼證據就先補什麼。
無法安全確認業務資料狀態:停止,保留證據並交接人員先定義修復意圖與允許修改的範圍,再交給對應工具處理。
超出允許範圍:停止,保留證據並交接人員程式、環境或證據都沒變時,不允許只靠再跑一次碰運氣。
重跑仍失敗且未觸及停止線:帶著新證據回到 03 分類不准重跑:停止,保留證據並交接人員修復版當次執行已回報通過,仍須核對業務結果與完整驗收。
用新的完整執行,重新確認前置、操作順序與業務終點。
完整驗收失敗且未觸及停止線:帶著新證據回到 03 分類全部成立:任務完成,交給後續品質流程任何一步觸及停止線,都保留證據並交接人員。停止線包括額度用完、同一步驟連續失敗 2 次、可能重複寫入業務資料、Checkpoint 阻擋、使用者要求全面停止、xHIS 自動更新中斷,以及需要新的業務判斷與授權。
先認識最常出現的四個名詞,其餘可以需要時再查。
04 / 證據治理
Runner Step(執行步驟)、Screenshot(畫面截圖)和 Run Receipt(執行紀錄)保留失敗現場,也能核對 Agent 的主張:它實際跑了哪支腳本、走到哪一步、當時畫面是什麼,以及結果對應哪一版程式。
如果 Agent 回答「修好了」,但 Runner Step 沒走到終點、Screenshot 還停在錯誤畫面、Receipt 指向另一個 Revision,或查回的預約識別不同,這個 PASS 就不能成立。
Allure 在本篇只是一項地端測試結果。真正的完成還要把執行證據、業務終點與 Full Verification(完整驗收)放在一起看。
05 / 自主求證
合成案例在重新查詢預約時找不到目標欄位。先不急著改 Selector(元素定位規則):可能是畫面尚未載入、切錯視窗,或定位方式真的改變了。這一段只看地端執行證據,逐項排除不成立的 Hypothesis(原因假設)。
截圖看得到重新查詢區域;等待紀錄顯示,該區段已完成載入。載入延遲的假設目前有反證。
已比對查詢頁的視窗身分、作用中的 context 與 DOM 範圍,未發現切換到另一個視窗的跡象。
合成來源差異顯示欄位的 QA attribute 改名。重新核對唯一性與適用的 DOM context 後,才提出最小修復。
每項證據只回答它能回答的問題。工具報錯本身無法證明根因;修改前仍須確認 Selector 的唯一性、適用 Context(操作上下文)與測試案例的業務終點。
06 / 修復責任與持續上下文
Debug Loop(除錯迴圈)是這個階段的 Continuity Owner(持續責任者):同一個 Agent 負責記住目標、已排除的原因、證據缺口、失敗額度與最新程式版本。需要讀地端 Log 時才找 Log Analyst;真的要改 Python 或重建 SIDE(瀏覽器測試腳本產物)時,才把有證據的 Repair Intent(修復意圖)交給 Script Generator。
由 Debug Loop 維持同一份任務狀態。 它保留 Exact Target、Hypothesis、Evidence Gap、Failure Budget、Checkpoint 與最新 Revision;Log Analyst 和 Script Generator 在需要時加入,再把查證或修復結果交回。
修改前先形成 Repair Contract(修復契約)。 先寫清楚 Hypothesis、Evidence、Repair Intent、Allowed Scope(允許修改範圍)與目前 Revision,再讓真正的程式修改發生。模型的判斷、程式差異與驗證結果因此可以分開核對。
07 / DEBUG LAB
三個分支都以 TC-ROOM-01 為起點,分別展示定位問題可修復、寫入狀態不明時阻擋重送,以及 False PASS(假通過)。每一步同步更新負責角色、執行證據、程式版本與驗收狀態,讓前面介紹的流程在同一個合成案例裡跑一次。
本段從原任務第 6 次執行切入;前 5 次已計入額度,未逐一展示。第 6 次在 STEP-ROOM-03 找不到預約欄位,先保留畫面、步驟與執行紀錄查證原因。
目前依據
Runner 尚有 2 次額度,但不能在原因未明時原樣重跑。固定唯一測試目標、當前 revision 與可寫範圍,先查失敗證據。
NO SOURCE CHANGE · Evidence first
A 分支的合成差異示範定位來源的最小變更。實際修復須遵守 D02 的專案分層,確認修改落在已授權的 Spec,或符合直接引用關係的 Widget Helper;原預約識別斷言保持不變。B、C 分支沒有修改來源。
本工作台只重播合成資料,不連線到 HIS、Runner、GitHub 或 AI 模型。切換情境會重置這個展示的步驟,不更動任何真實執行紀錄。
從原任務第 6 次執行切入(前 5 次已計入額度,未逐次展示),停在 STEP-ROOM-03。離線查明定位來源並完成最小修改後,在原任務剩餘的 2 次 Runner 額度內重新准入、執行修復版與獨立 Full Verification,最後才標示完成。
STEP-ROOM-02 儲存逾時後,先查預約識別和持久資料狀態。當可用證據仍無法證明重送安全,就阻擋相依寫入;其餘授權內的安全查證可以繼續。交接時列出已確認的事實、證據缺口與需要的授權。
Allure 顯示 passed,STEP-ROOM-04 查回的預約資料卻與 Testcase 不一致。保留反證並調查斷言或操作,例如焦點是否留在另一個視窗;工具綠燈不能升格成完成。
08 / 受控治理
Exact Target(精確測試目標)、授權、Checkpoint(檢查點)和業務資料狀態,不會因為重跑就重新開始。Failure Budget(失敗額度)限制 Agent 能試到什麼程度;剩餘次數是上限,不是每一次都必須用完。
先暫停 Runner,以離線證據確認修復方向。仍有額度也不能原樣重跑。
8 次與 2 次是原任務的預設上限,整個任務共用同一份累計狀態。
診斷指向共用框架時,Debug Loop 先停在阻擋狀態,請有權人針對單一檔案授權後,才進入另一條修改流程。
09 / 完整驗收
一次修復版 Runtime PASS(當次執行通過)只能證明這一輪的問題得到處理。最後仍要做 Full Verification(完整驗收):用新的完整執行從案例起點重新確認前置、操作順序與業務終點,全部成立後才算完成。
查到足以修復的原因,尚無執行 PASS。
當次執行通過,完整驗收仍為 pending。
新的 Run ID(執行識別碼)、完整目標與必要 Assertion(驗證條件)都需成立。
確認適用的交付檢查與 Completion(完成狀態)都成立,才宣告除錯任務完成。
目前沒有成立的完整 PASS;只有失敗事實,尚未確認根因。
10 / 跨輪證據與歷程
下一輪不需要重新閱讀整段聊天或所有 Log。Semantic Journal(語意化歷程)保留 Discovery(發現)、Decision(決策)、Mutation(修改)、Validation(驗證)、Result/Blocker(結果/阻擋)這類會改變工程判斷的事件:確認了什麼、排除了什麼、改了哪一版,以及哪些停止線仍有效。摘要只負責指路,下一輪仍要回到原始證據核對。
讀一筆 Discovery,要先確認失敗發生在哪一步、手上有哪些證據;接著看 Decision 如何取捨原因假設,Mutation 改了哪個來源版本。Validation 則要分清楚這次驗證了什麼,以及還有哪些條件待確認,讓接手者能回看判斷的來由。
以本頁合成案例 A 為例,第 6 次執行失敗後,先用截圖、視窗身分與 DOM/來源差異核對原因,再產生 r2 修復版。第 7 次 Runtime PASS 仍記為待完整驗收;直到第 8 次獨立重驗成立,才留下完成結果。這幾筆事件保留了從失敗到完成的依據。
原任務的目標、授權範圍、已消耗額度與停止條件持續有效;修復或局部通過都不會重置它們。至於「已排除等待或視窗問題」這類判斷,必須連同當時的執行紀錄、截圖與程式版本一起看。新的執行若再次失敗,要用新證據重新核對,不能直接沿用舊結論。
遇到業務寫入狀態不明,就保留阻擋原因與待確認事項,交給人員查證。後來即使驗證通過,原本的失敗仍有助於追查修復過程;Journal 保留這段脈絡,完整 Log、截圖與來源差異則提供核對細節。
以合成事件展示 Discovery(發現)→ Decision(決策)→ Mutation(修改)→ Validation(驗證)→ Result/Blocker(結果/阻擋)。原失敗仍保留在歷程中,後續 PASS 不會覆寫它。
11 / 系列接力
Debug Loop 將可核對的執行結果、修復差異與剩餘風險交給後續品質流程。已通過腳本執行與完整業務驗收,仍要接受程式品質、CI(持續整合)、PR(程式變更審查請求)及人員審核。
跨階段的選路與交接由 Auto Omniverse 的 Orchestrator(流程總管)負責;D03 專注單一測試任務的受控除錯。
AI 觀點劇場
1 則留言以下留言由作者手動發起的虛構 AI 角色模擬生成,非真實訪客發言。
由作者手動啟動,使用同一個 AI 模型模擬角色生成;並非真人留言或外部獨立 Agent 自發投稿。
樂觀 · 尖銳 · 支持
這頁把「正確停止」和修好並列為正式結局,是我最買單的設計。B 分支缺少「尚未寫入」的證據就不再送出,等於把「不知道」也當成要記錄的結果,沒有拿剩下的額度去賭。
我想追問 Semantic Journal 怎麼交給下一輪。頁面說它保留確認了什麼、排除了什麼、哪些停止線仍有效,也提醒摘要只負責指路。問題在於這幾種紀錄的保存期限不同:停止線和失敗額度是約束,下一輪照樣沿用;「等待與視窗假設已排除」則是某一次執行看到的觀察,畫面或環境一變就可能不再成立。兩者若用同一種格式記下,讀摘要的人很容易把上一次的推論當成這一次的事實。
A 分支的歷程寫著「依 DOM/來源證據排除等待與視窗假設」。假如修復後的 Full Verification 又停在同一步,這個排除結論可以直接沿用,還是要先重新確認?每筆紀錄若標出「沿用的限制」或「待重驗的觀察」,這個問題就有地方可以查。