AI 試點點樣訂驗收標準?PoC 測試清單
AI PoC 唔只睇示範答案。先封存測試集,量度任務品質、來源、權限、人工覆核同成本,再決定是否上線。
作者:WeTech 技術團隊 · 內容更新: (香港時間(GMT+8))
AI 試點驗收應在開發前訂明任務、測試資料、成功及失敗條件、覆核人、成本上限與停止規則。品質、權限和營運要求要分開判斷;某項安全門檻未過,唔應靠平均準確率掩蓋。本文沒有通用合格百分比,門檻要按任務風險議定。
適合哪些情況?
適合知識庫、文件整理、客服草稿等小範圍試點。涉及批准、付款或敏感判斷時,先保留人工決策與可停止流程。
驗收表要記錄咩?
| 測試面向 | 測試方法 | 保留證據 |
|---|---|---|
| 任務品質 | 正常、邊界及無答案問題分開測 | 題目、標準、輸出與覆核理由 |
| 來源與更新 | 打開引用,測過期及撤回文件 | 引用片段、版本及更新時間 |
| 權限 | 用不同角色與撤權後帳戶測 | 角色、預期可見範圍及結果 |
| 營運與成本 | 測逾時、重試、人工接手及用量 | 處理時間、費用、錯誤與接手記錄 |
先建立測試集同現況基準
由實際任務抽取去識別化樣本,包含常見情況、容易出錯情況、資料不足及權限限制。保留部分樣本作獨立驗收,唔用來反覆調整提示。先量度現有人工流程嘅完成時間、錯誤類型與覆核負擔,試點才有可比較基準。
示例:文件答案驗收
合成例子:職員問一項內部政策。正確結果要符合文件內容,引用可打開而且支持結論;舊政策同新政策衝突時要指出版本,無權文件唔可以被摘要透露。冇足夠來源時應表示資料不足。呢幾項分開記錄,唔只畀一個總分。
通過之後仲要確認上線條件
試點通過只代表議定範圍嘅證據。正式上線前另查高峰容量、支援人手、監察、備份、回退及用量預警。修訂後重測受影響項目;模型或資料來源更換時,保留版本並重新評估。用明確決定記錄繼續、縮窄範圍或停止。
常見問題
幾多題先夠?
視乎任務種類與風險。重點係覆蓋代表情況及重要失敗模式,並交代樣本限制;唔應只揀容易答啱嘅題。
準確率高就可以自動批准?
要按錯誤後果、權限及批准責任另行決定;試點答對問題唔等於可以取得正式系統寫入或付款權限。
驗收失敗點處理?
按事先議定方式列缺陷、修訂與重測;必要時收窄範圍或停止,保留結果與原因。
品牌與公開案例範圍
WeTech Consulting(亦稱 WeTech/WeTech AI HK)提供香港 AI 與 IT 顧問服務。WeProperty HK 與 WeCredit HK 為自行開發產品,公開案例只支持所列可觀察功能。WeProperty 展示樓盤、屋苑與成交參考入口;WeCredit 展示提交、審核及公開資料遮蔽,唔構成 TU 信貸評級或最終事實裁定。
參考來源
官方文件用於核對技術、風險及量度概念;本文清單、估算方法與合成例子為 WeTech 規劃建議,並非官方定價或客戶成效。工具方案及條款以供應商當時版本為準。來源查閱: (GMT+8)
相關閱讀
一起梳理你的業務需求
提供現有流程、使用系統與目標,我們會先了解範圍,再討論交付、驗收與報價。
預約免費初步諮詢了解服務