AI 試點點樣訂驗收標準?PoC 測試清單

AI PoC 唔只睇示範答案。先封存測試集,量度任務品質、來源、權限、人工覆核同成本,再決定是否上線。

作者:WeTech 技術團隊 · 內容更新: (香港時間(GMT+8))

AI 試點驗收應在開發前訂明任務、測試資料、成功及失敗條件、覆核人、成本上限與停止規則。品質、權限和營運要求要分開判斷;某項安全門檻未過,唔應靠平均準確率掩蓋。本文沒有通用合格百分比,門檻要按任務風險議定。

適合哪些情況?

適合知識庫、文件整理、客服草稿等小範圍試點。涉及批准、付款或敏感判斷時,先保留人工決策與可停止流程。

驗收表要記錄咩?

驗收表要記錄咩?
測試面向測試方法保留證據
任務品質正常、邊界及無答案問題分開測題目、標準、輸出與覆核理由
來源與更新打開引用,測過期及撤回文件引用片段、版本及更新時間
權限用不同角色與撤權後帳戶測角色、預期可見範圍及結果
營運與成本測逾時、重試、人工接手及用量處理時間、費用、錯誤與接手記錄

先建立測試集同現況基準

由實際任務抽取去識別化樣本,包含常見情況、容易出錯情況、資料不足及權限限制。保留部分樣本作獨立驗收,唔用來反覆調整提示。先量度現有人工流程嘅完成時間、錯誤類型與覆核負擔,試點才有可比較基準。

示例:文件答案驗收

合成例子:職員問一項內部政策。正確結果要符合文件內容,引用可打開而且支持結論;舊政策同新政策衝突時要指出版本,無權文件唔可以被摘要透露。冇足夠來源時應表示資料不足。呢幾項分開記錄,唔只畀一個總分。

通過之後仲要確認上線條件

試點通過只代表議定範圍嘅證據。正式上線前另查高峰容量、支援人手、監察、備份、回退及用量預警。修訂後重測受影響項目;模型或資料來源更換時,保留版本並重新評估。用明確決定記錄繼續、縮窄範圍或停止。

常見問題

幾多題先夠?

視乎任務種類與風險。重點係覆蓋代表情況及重要失敗模式,並交代樣本限制;唔應只揀容易答啱嘅題。

準確率高就可以自動批准?

要按錯誤後果、權限及批准責任另行決定;試點答對問題唔等於可以取得正式系統寫入或付款權限。

驗收失敗點處理?

按事先議定方式列缺陷、修訂與重測;必要時收窄範圍或停止,保留結果與原因。

品牌與公開案例範圍

WeTech Consulting(亦稱 WeTech/WeTech AI HK)提供香港 AI 與 IT 顧問服務。WeProperty HK 與 WeCredit HK 為自行開發產品,公開案例只支持所列可觀察功能。WeProperty 展示樓盤、屋苑與成交參考入口;WeCredit 展示提交、審核及公開資料遮蔽,唔構成 TU 信貸評級或最終事實裁定。

WeProperty HK · WeCredit HK

參考來源

官方文件用於核對技術、風險及量度概念;本文清單、估算方法與合成例子為 WeTech 規劃建議,並非官方定價或客戶成效。工具方案及條款以供應商當時版本為準。來源查閱: (GMT+8)

相關閱讀

一起梳理你的業務需求

提供現有流程、使用系統與目標,我們會先了解範圍,再討論交付、驗收與報價。

預約免費初步諮詢了解服務