TL;DR
一個日期說出口後,就連著測試窗口、合作廠商與團隊的安排。AI Agent 可以更快產生程式、測試與文件;交期的可靠性卻仍取決於需求、外部介接、整合與業務驗收等可能變動的條件。
Tom DeMarco 與 Timothy Lister 的《與熊共舞》提供了討論不確定性的語言:辨識風險、保留選擇、將預估交期連同假設說清楚。放到 AI 自動化測試工作流,便要進一步設計風險訊號、有限重試、人工接手及結果驗收,讓快速執行和可信交付能夠一起被管理。
Takeaways|重點整理
- 《與熊共舞》討論軟體專案如何把風險帶入計畫:估算不確定性、保留緩解措施、追蹤警訊,並區分希望達成的日期與可承擔的交付承諾。
- 原書歸納五項常見風險:時程計畫偏差、需求膨脹、人員流失、規格失效與績效未達預期。AI Agent 能改變部分成因,也會引入上下文過期、模型或工具變動、錯誤自動重試及難以驗證的產出等問題。
- P50/P90 是在給定模型與假設下的交期分位數。Monte Carlo(蒙地卡羅模擬,以反覆抽樣觀察可能結果)能幫助呈現交期範圍,前提是任務相依、尾端風險與輸入資料足夠可信。
- Auto Omniverse 類 Debug Loop 應先定義停止、交還人工和業務驗收的條件;對 HIS GoLive,系統操作成功與病人安全、收費及資料正確性必須分開驗證。
- 本文附有可逐步落地的風險登錄、交期預測與小型驗證方案;所列門檻是研究設計建議,尚未聲稱部署或量得效益。
交期在計畫表上只有一天,實際上卻有一段範圍
專案會議通常需要一個日期。研發要排工作,測試要預留環境,醫療資訊系統上線還牽涉院方、介接廠商、教育訓練與回復方案。問題是,當需求尚有歧義、外部介面尚未穩定、測試資料尚未準備好時,單一日期很容易把未知因素藏起來。
AI 讓初稿、程式碼與測試案例更快出現,日期也可能因此被提前。但生成速度只回答了部分工作需要多少時間。遇到規格重新確認、整合失敗、回歸測試與驗收爭議時,剩餘工期仍可能被大幅拉長。對這種情境,最需要的是能夠公開討論的交期不確定性。
Tom DeMarco 與 Timothy Lister 的《Waltzing with Bears: Managing Risk on Software Projects》(《與熊共舞:軟體專案的風險管理》)在 2003 年出版。台灣經濟新潮社於 2021 年推出經典紀念版。兩位作者主張,值得投入的軟體專案通常有風險;專案管理者要有能力看見、衡量並選擇值得承擔的風險。原著出版紀錄及台灣出版社目錄可核對出版資訊與章節安排。
同系列的《AI 新時代的人月神話》研究探討工作相依性、協調成本與驗收瓶頸。本篇從另一個方向延伸:即使團隊知道如何分工,面對可能發生的失敗和交期變動,該怎麼做承諾與預留選擇?
書中的風險管理,從承認未知開始
書中區分風險與已經發生的問題。風險是可能影響未來的因素;當它已經發生並造成具體影響,就進入待處理問題的範圍。這個區別有操作上的意義:在事故前採取的緩解措施,通常比事故後緊急排除更有餘裕。台灣版原文試閱也說明了「成因風險」與「結果」的區別。
《與熊共舞》並未把所有未知都化成一個看似精確的分數。它先用不確定性圖(risk diagram,呈現可能完成日期與其機率的圖)討論日期,再處理風險登錄、緩解成本、動態追蹤、逐步降低暴露與價值評估。書中的重點包括有條件的時程承諾,以及把交期目標與可達成機率分開表達。原書章節目錄可見相關內容集中在第 8 至 17 章。
這也能修正常見的溝通方式。當主管問「哪一天能上線」,團隊可以同時提出目標日期、在既定假設下的完成機率,以及哪些條件改變後必須重估。承諾的可用性,來自它附帶了可追蹤的前提。
五類核心風險在 AI 開發中如何改變
原書第 13 章明列五種核心風險。原書章節與出版商介紹均可核對其名稱。下表右欄是本文提出的 AI 時代映射,並非兩位作者在 2003 年對 AI Agent 的預測。
| 原書核心風險 | 原始意義 | 本文提出的 AI 時代延伸 |
|---|---|---|
| Schedule flaw(時程計畫偏差) | 工作量或計畫建立方式本身有誤 | 只計生成速度,低估人工審核、整合與測試排隊 |
| Requirements inflation(需求膨脹) | 專案進行中工作範圍持續擴大 | AI 讓新增功能與測試草稿更容易提出,範圍失控可能更快 |
| Turnover(人員流失) | 知識或關鍵工作能力隨人員變動流失 | 人員流失仍存在;另須研究模型/工具版本變動、Agent 工作脈絡中斷。後者是類比風險,不能取代原義 |
| Specification breakdown(規格失效) | 規格不完整、失去效用或無法支撐實作 | Agent 取用過期需求、誤解資料契約,產出與真正業務規則不符 |
| Under-performance(績效未達預期) | 生產力或成果低於計畫假設 | Agent 不斷重試、產生大量需返工的程式與測試,整體交付效率不如預期 |
其中最需要小心的是「人員流失」的延伸。模型升級與人員離職的成因、權責、影響及管理方法不一樣。兩者都可能造成工作脈絡重建成本,適合放在同一張風險登錄表比較;但若把它們視為同一種風險,會讓對策失焦。
另外還有原書五類之外的新風險:Agent 權限過大、意外修改共享環境、外部內容污染指令、生成產物來源不明、成本無限累積與結果缺少可核對證據。NIST 的生成式 AI 風險管理文件提供跨領域的 AI 風險辨識參考,但不等於已驗證上述風險在任何特定團隊的發生率。
P50 與 P90 讓交期承諾附上機率條件
P50 是預測完工時間分布的第 50 百分位:依模型假設,有約一半的模擬結果會在該日期或之前完成。P90 是第 90 百分位,表示約九成模擬結果在該日期或之前完成。P90 通常晚於 P50,呈現為較高把握度預留的時間。它仍可能失敗,也可能因需求或環境變更而失去參考價值。
概念示意(非模擬輸出):某項改版若把 12 月 8 日作為 P50、12 月 19 日作為 P90,兩個日期相差 11 天。前者可用於討論中位情境,後者可用於討論更保守的排程承諾;實際日期必須從可信的時程模型推導。這組日期是教學上的假設數字,沒有代表實際 Auto Omniverse、醫院或企業專案的紀錄。
採用何種分位數作為正式承諾,取決於遲延後果、成本、可回復性、外部依賴與決策者的風險容忍度。不能只用「P90」這個詞,便把未經驗證的進度表包裝成具有九成準確率的預測。
Monte Carlo 如何把風險放回專案進度
Monte Carlo 模擬的概念是替主要活動設定可能的耗時範圍,按照依賴關係計算整體完成時間,重複抽樣許多次,得到一個完成日期分布。美國 NASA 的專案管理術語表將時程風險分析描述為結合工期不確定分布與離散風險、透過 Monte Carlo 估計達成里程碑的信心水準。美國 GAO 的時程評估指南也示範三點估計與多次抽樣;它們是跨產業方法參考,並非專門針對 AI Agent 的校準數據。
一個適合軟體專案的起步流程可以這樣設計:
- 先畫出依賴關係:需求確認、介面定義、實作、環境準備、整合測試、業務驗收。能平行的才平行,不能把所有工作時間直接相加或相除。
- 為活動設定不確定性:從相近歷史案例取得耗時區間;沒有數據時,暫用專家三點估計並清楚標明資料品質。
- 另外建模離散風險:例如第三方介接延遲、規格重寫或關鍵環境故障,以發生機率和額外影響表示。
- 處理共同原因與相依性:需求延後可能同時影響程式、測試與驗收。若假設彼此獨立,模擬可能低估尾端延誤。
- 反覆抽樣並解讀分布:追蹤 P50、P80/P90、預定上線日前完成機率,以及最常造成延誤的活動或風險。
- 持續校準:每個迭代或里程碑重新納入實際耗時、缺陷、需求變更與剩餘工作;保留每次基準線,避免事後改口成原本就預測正確。
資料不足時,簡單的情境分析可能比複雜模擬可靠。模擬跑一萬次,只代表同一組假設被抽樣一萬次;若輸入來自猜測、遺漏跨系統相依或忽略罕見重大失敗,精密的分位數外觀反而容易產生過度確信。專案經理還應以敏感性分析確認:哪些假設稍微改變,P90 就出現明顯移動?
AI Agent 的新風險集中在錯誤被放大之後
AI 工程流程的風險,有一部分來自工作可以自主持續進行。Agent 能在沒有人每一步確認的情況下嘗試修復,也可能在錯誤理解下持續修改,直到碰上工具限制或被人工發現。
Anthropic 的Agent 工程指南明確提到使用環境回饋、人工檢查點、最大迭代次數等停止條件,並提醒自主系統可能放大成本與錯誤。OpenAI 的Agent 實作指南同樣建議在超出失敗門檻或將執行高風險動作時轉交人類。這些是供工程設計參考的第一方指引,無法直接證明某組重試上限最有效。
對 Auto Omniverse 類 Debug Loop,適合把失敗處理分成幾個可稽核的狀態:蒐集執行日誌、截圖與版本資訊;判斷失敗是否可重現;提出有範圍的修補;執行回歸與業務驗證;通過才完成,達停止條件就交還人工。需要明載的條件包括可修改檔案與環境、累積重試次數、每次修補的風險變化、運算成本上限、同一錯誤是否反覆出現,以及人類接手者。
最危險的情形之一,是工具顯示 PASS,但業務結果仍錯。自動化測試的綠燈只代表某一組測試條件被滿足。若 Selenium 成功操作畫面,卻未驗證資料庫寫入、業務規則或介接結果,流程仍可能做出錯誤交付判斷。這些是可設計驗證的失敗模式,不能據此宣稱某個實際系統已發生事故。
對 HIS GoLive,風險必須綁到業務結果
醫療資訊系統的上線窗口會把多條依賴連在一起:院方流程、網路與環境、外部介接、資料轉換、人員訓練、測試回歸以及出問題時的回復路徑。以門診流程為例,畫面完成掛號之後,仍要確認相關資料一致;申報與批價更需要明確的業務預期結果。
一份 GoLive 風險登錄,應同時寫出風險事件、先行訊號、發生時的影響、負責人、緩解方案、回復條件及剩餘風險。以下是通用的設計示例,未對應任何實際院方事件:
| 潛在風險 | 可觀測先行訊號 | 預先安排的處置 |
|---|---|---|
| 介接規格臨近上線仍變動 | 契約版本變更、跨系統測試持續失敗 | 凍結版本與窗口;未完成驗證則提高上線決策層級 |
| 測試工具 PASS、批價結果不符 | UI 測試通過,但獨立業務資料對帳失敗 | 以業務驗收判定為準;封鎖交付、保全證據 |
| Agent 修補擴大回歸缺陷 | 同類失敗重現、修改範圍超界、回歸缺陷增加 | 停止自動修復,回復受控版本並交人工處置 |
| 上線問題無明確責任窗口 | 工單超過約定接手時間仍無 Owner | 升級責任人、建立回復與指揮通報途徑 |
與一般 SaaS 試辦不同,涉及臨床、費用或關鍵資料的高後果變更,須由實際負責單位建立更嚴格的上線及回復治理;本篇的研究案例不能直接取代醫院正式作業規範。
從風險登錄到每週可追的決策
要讓這套方法落地,可以先在一個範圍清楚、風險較低的工作線試行。每項風險至少記錄:事件、根因/假設、發生機率範圍、影響範圍、先行訊號、負責人、緩解成本、處置與回復方案、上次檢查時間。每次工作週期問三個問題:新發現哪些風險?原有機率與影響是否改變?緩解措施是否真的降低剩餘風險?
風險排序若使用「機率 × 影響」,須先定義影響單位。延誤天數、額外成本、資訊安全、病人安全不能任意加總成單一總分。特別是高後果但低頻率的風險,不能因期望值低,就直接視為可以接受。
對 AI 自動化測試的研究性導入,建議以四週做探索性試行,而非預設有統計顯著性的驗證:
- 第一週:盤點歷史任務與失敗型態,定義資料契約、完成條件、審查責任與不可自動處理的高風險事件。
- 第二週:在低風險案例建立風險登錄與一個簡化的工期模型;缺資料時先用情境區間,避免假精確。
- 第三週:執行受控的 Debug Loop 與手動基準流程,比較端到端驗收時間、人工接手、重試、返工、工具成本及遺漏風險。
- 第四週:檢視 P50/P90 預測偏差、停止條件的實際觸發情況、業務驗收缺口,決定擴大、調整或停在試辦。
是否值得使用 Monte Carlo,取決於歷史資料量、相依模型品質與決策成本。若專案僅有少數任務,風險登錄、三點估計和簡單的上/中/下情境可能就足夠。若多個工作串接、外部依賴明顯且有足夠資料,機率模擬更可能幫助討論合理的交期承諾。
讓生成速度與交付可靠性一起被管理
2025 年的 DORA 軟體交付研究指出,AI 對團隊原有的組織能力具有放大效果:採用 AI 與交付吞吐量、產品表現呈現正向關聯,但同時也觀察到與交付穩定度的負向關聯。這是組織調查與關聯性分析,不能直接視為 AI 必然造成不穩定。2026 年 DORA 的軟體生命週期分析也描述,初期程式碼生成所省下的時間,可能轉移為更嚴格的審核與驗證負擔。
《人月神話》協助判斷增加工作者後,交付鏈會在哪裡遇到協調與整合瓶頸。《與熊共舞》讓團隊能進一步為那些瓶頸、不確定性與損失建立預警及可選的應對方式。同系列的《Peopleware》研究補足人的工作環境、注意力、管理決策與組織信任。
回到專案會議,最有用的進度回答因此有三部分:目前在什麼條件下預估何時完成;有哪些風險會使日期移動;當警訊發生時,誰會做出降載、延後、回復或交還人工的決定。
原始來源與延伸閱讀
- Tom DeMarco、Timothy Lister(2003),Waltzing with Bears 原著書目(Google Books)。
- 經濟新潮社(2021),《與熊共舞:軟體專案的風險管理》台灣經典紀念版介紹與目錄、內文試閱。
- Addison-Wesley / InformIT,Waltzing with Bears:出版介紹與章節目錄;O'Reilly,第 13 章五類核心風險。目前線上平台顯示 2013 年版本,與 2003 年初版及 2021 年台灣版須區分。
- NASA,Program Planning & Control Glossary:Schedule Risk Analysis;GAO(2015–2016),Schedule Assessment Guide。
- NIST(2024,網頁更新 2026),Artificial Intelligence Risk Management Framework: Generative AI Profile;屬風險治理指引,非實施成效實驗。
- Anthropic(2024),Building Effective Agents;Agent 控制、回饋、停止與成本的第一方工程實務。
- OpenAI(2026),A Practical Guide to Building AI Agents;Guardrails 與人工接手條件。
- DORA(2025),State of AI-assisted Software Development;DORA(2026),Balancing AI tensions: Moving from AI adoption to effective SDLC use。
- Tom DeMarco、Timothy Lister,Peopleware: Productive Projects and Teams(第 3 版,2013);同系列第三篇的書目來源。
已公開的延伸閱讀
- AI 時代的軟體專案管理:從三本經典看交期、風險與人:先從三個管理面向了解系列全貌。
- Auto Omniverse D03:AI 自主除錯與完整驗收:合成展示,解釋蒐證、有限修復、正確停止與業務驗收。
- Agent Skill Eval:觸發、結果與回歸驗證:延伸查核 Agent 的實際結果。