AI 驅動的測試失敗
根因分析平台
每次測試跑完，SQA 都要花時間一個個打開失敗紀錄、截圖、追蹤日誌——才看到問題在哪裡。
這套工具讓 AI 來替你看畫面、歸納原因，並一鍵整理成可貼到 Teams 的摘要。
一覽無遺，
全局盡在掌握。
為管理層與 SQA 打造的專屬戰情室，告別繁瑣的日誌比對，用直覺的介面秒懂自動化測試的每一處死角。
7 個欄位快速判讀這個案例
SQA 需要逐筆打開失敗案例、截圖與日誌，重複 triage 成本高，也難以留下判斷脈絡。
自動化測試報告已存在，但失敗後的分類、摘要、追蹤與團隊同步仍大量依賴人工。
定義 failure triage 流程，設計 AI vision 判讀、Teams 摘要與 SQLite 稽核紀錄。
Allure report parsing -> 截圖/日誌整理 -> Azure OpenAI Vision -> Teams 摘要 -> SQLite audit trail。
減少看報告與手動摘要時間，並讓每次 AI 判斷可以被追蹤、複盤與改善。
AI 初判仍需 SQA 最終確認；企業導入時需控管測試資料、模型權限與 prompt 版本。
加入歷史失敗 pattern 聚合、準確率標記與 reviewer feedback loop。
30 秒看懂這個案例
- Role: QA Automation Designer / SQA Transformation Builder
- Problem: SQA 團隊常需花 10-15 分鐘逐筆檢查失敗案例、截圖與日誌，重複 triage 成本高。
- Built: 本機 AI failure analysis workflow，串接 Allure parsing、截圖比對、Teams 摘要與 SQLite audit trail。
- Stack: Python, Flask, Allure, Azure OpenAI Vision, SQLite, Teams webhook。
- Result: 把大量重複的失敗初判交給 AI 協助，保留人員做最後判斷與升級處理。
可信度與取捨
- What this demonstrates: 我熟悉 QA domain judgment，也知道 AI workflow 必須可追溯、可稽核、可接手。
- Project Status: Personal PoC / production-like prototype。
- Metrics Methodology: 指標來自個人 PoC、流程實測或專案觀測，用於說明改善幅度與評估方法；實際導入效益會依團隊規模、流程成熟度與系統限制而異。
- Evidence: Allure 報告解析、前後截圖、AI 分析摘要、Teams 訊息與 SQLite 稽核紀錄。
- Source Access: 因涉及公司流程或資料限制，原始碼不公開；本頁提供架構圖、流程截圖與去識別化實作說明。
- Trade-offs: 模糊 UI 畫面、測試資料品質與模型成本都會影響判斷，仍需 human review 作為最後把關。
SQA 每天面對的四個時間黑洞
每次測試執行後，都會有一段「看報告、找原因、整理摘要」的例行苦工，這些工作本身幾乎沒有產出。
一個個打開報告，眼睛看到花
失敗案例多的時候，工程師要逐一進入測試報告頁面、對照截圖、判斷是環境問題還是真的 Bug，每個案例至少耗去 10–15 分鐘。
整理摘要、廣播現況，全靠人工打字
每次測試跑完，還要手動把失敗重點整理成文字，貼到 Teams 群組通知相關人員。這件事不難，但每天都要做一次，加起來就是大量的低產值時間。
同一個失敗，上週也看過，判斷卻沒被保留
同一個不穩定的測試案例，可能每隔幾天就失敗一次，每次都重新判斷。過去的分析結論沒有累積，下次遇到同樣的問題還是從零開始。
AI 用了什麼判斷，沒人知道
如果 AI 分析結果有誤，沒有任何紀錄可以追溯它看了什麼資料、用什麼邏輯得出結論。一旦出現爭議，工程師也無從查核。
手動翻查，
早該成為歷史。
對比傳統繁雜的操作流程，AI 自動化將你的注意力還給真正需要思考的決策點。
核心洞察
「判斷」這件事原本屬於工程師，但「收集資料、看截圖、整理文字」這些前置動作，完全可以交給 AI 替你做完。這套工具的設計原則是：讓 AI 先幫你完成 80% 的資料整理，人再來做最後 20% 的關鍵判斷。
四大功能模組，各有職責
從抓取報告、AI 判斷、到推播摘要，一條線串完，不需要切換工具。
可視化失敗報告
輸入測試報告網址，系統自動抓取所有失敗案例的詳細資訊：錯誤步驟、前後截圖、操作日誌，整合成一份可瀏覽的 HTML 報告頁。
- 自動整合截圖與追蹤日誌
- 歷史報告快速切換
- 支援多專案篩選
三段式 AI 判斷
提供三種分析深度：快速初判（數秒出結果）、深度分析（結合畫面的完整推理）、純規則判斷（不依賴 AI，可離線使用）。支援前後截圖視覺比對。
- 每個案例可個別選分析深度
- 分析完成後自動更新摘要
- 批次分析所有尚未處理案例
分析結果持續保存
同一份報告的每次分析結果都會被保存。下次開啟同一報告時，過去的結論自動重載，不需重新分析。可隨時查閱、比較各次結果。
- 跨次結果可對照比較
- 可刪除單筆或清理舊紀錄
- 延續閱讀不怕斷線遺失
每次 AI 行為可查
每次 AI 分析的完整過程（看了什麼資料、用哪個模型、得出什麼結論）都會自動寫入稽核紀錄，可依案例名稱或日期查詢，避免黑盒子爭議。
- 可追溯 AI 使用的截圖與日誌
- 多維度關鍵字查詢
- 符合企業 IT 治理要求
優雅的架構，
串聯每一個環節。
從擷取、解析到推理，所有資料流暢通無阻，為企業級部署提供最堅實的後盾。
資料安全與企業合規
為什麼這套工具選擇以 Azure OpenAI 企業部署 作為 AI 推論核心，而不使用公共服務。
公共 AI 服務的潛在風險
- 測試日誌、錯誤截圖可能被用於模型訓練，無合約可約束。
- 測試案例名稱可能含有產品功能機密，難以確認資料去向。
- 無法整合企業現有的 SSO、VPN 或零信任網路架構。
Azure OpenAI 企業部署保障
- 合約承諾資料永不用於模型訓練（Microsoft 書面保證）。
- 資料完全隔離在客戶專屬的 Azure 租戶，不跨租戶共用。
- 符合 ISO 27001、SOC 2、HIPAA 等國際資安認證。
實際工作情境
三種最常見的使用場景。
情境 A：快速判斷單個失敗
剛跑完測試，想快速確認某個失敗案例是不是環境抖動。
情境 B：批次分析後廣播現況（推薦）
最受歡迎每天早上測試跑完，快速整理失敗摘要貼到 Teams，讓所有人掌握現況。
情境 C：複盤某個案例的歷史判斷
這個測試案例上週也失敗過，想看看上次 AI 怎麼說的。
對 SQA 團隊的實際影響
把例行勞動轉成背景工作，讓人的判斷力留給最有價值的地方。
失敗案例的截圖讀取、日誌整理、原因分類全由系統代勞。工程師只需對 AI 的結論做最終確認，不再每一個都從頭看起。
每次測試結束後的狀況通知，從「打開報告→整理重點→手動貼文」變成「點一個按鈕」，且內容包含 AI 分析結論，比人工摘要更完整。
長期效益：打造可追蹤、可積累的 QA 智識資產
累積多次分析後，哪些案例反覆失敗、哪種錯誤最常出現，會開始從稽核紀錄中浮現，做為優化測試腳本的依據。
每次 AI 根因分析的完整過程都有稽核紀錄保存，滿足法遵要求，也讓工程師在 Review 時有明確依據。
歷史分析紀錄讓新進 SQA 可以直接參考前輩的判斷邏輯，不需要靠口頭傳承，降低知識移轉成本。
支援多個 Azure OpenAI 模型設定，每個案例可個別選擇最合適的分析深度，在成本與準確率之間找到平衡。