AI 搜尋點處理來源、更新同錯誤答案?
企業 AI 搜尋要能核對引用、處理過時及衝突資料,並在證據不足時交回人工。附合成問題、測試清單及 WeProperty 資料搜尋例子。
作者:WeTech 技術團隊 · 內容更新:(香港時間 GMT+8)
可靠的 AI 搜尋要把答案連回可核實的來源,說明資料更新狀態,並在證據不足、互相矛盾或權限不足時停止推斷。驗收要逐項核對答案與引用,連同人手修正時間比較原有搜尋方式。
- 確認查詢權限
- 檢索可用來源
- 檢查版本與衝突
- 提供答案及引用
- 不足時交回人工
引用要證明邊一句?
有一條連結唔等於答案正確。每個重要結論應有對應段落支持,而且使用者要有權打開引用。來源只提及相關主題、但冇支持結論,仍然算答錯。
先定義哪些問題需要引用、哪些資料可作依據,以及內部文件與公開資料可否混用。搜尋及模型輸入都要受同一套存取權限控制。
合成例子:兩份送貨安排互相矛盾
以下係虛構文件情境,唔代表任何產品的實際政策。
舊文件寫「星期六送貨」,新版寫「星期六暫停」。測試問題係「今個星期六可否送貨?」若系統未能確認新版適用範圍,應列出兩份文件及日期,請負責人確認,避免拼成一個肯定答案。
同一樣本再測文件被撤回、使用者無權查看新版,以及新版尚未完成索引的情況。畫面應交代資料限制,唔可以暗中沿用舊答案。
更新與撤回係產品功能的一部分
每個來源應有擁有者、版本或更新時間,以及重新整理索引的方法。更正後要測試舊內容有冇仍然存在快取或引用。來源連線失敗時顯示最後成功更新狀態,唔將「讀唔到」解作「冇資料」。
高風險或經常變動的資料,可以直接展示來源及查閱入口,減少由模型摘要帶來的誤讀。
用同一批問題比較品質
| 情況 | 預期結果 |
|---|---|
| 有明確來源 | 答案及引用都支持結論 |
| 來源矛盾或過時 | 交代衝突及日期,交回核對 |
| 無權限或無證據 | 不洩露內容,不自行補答案 |
| 資料已撤回 | 結果及快取停止引用 |
記錄正確率、無法回答的處理、人手修正時間及總成本。測試過關只代表該批樣本,不應直接宣稱所有問題都準確。
由資料入口觀察使用流程
可以到 WeProperty 屋苑入口觀察由搜尋到資料頁的流程,再思考自己的企業資料要點樣保留來源及下一步操作。呢個入口展示產品功能,唔係上述 AI 品質測試已完成的證據。
由搜尋品質接到知識庫落地
Microsoft Learn 的 RAG 概覽說明先檢索內容,再交模型生成答案的做法。檢索到相關文件仍然唔等於答案必然正確,亦唔取代企業自己的權限及更新安排。
企業 AI 知識庫指南將這些要求接到資料盤點、角色測試及撤回驗收。
查看產品例子
WeProperty HK:查看實際產品流程
查看屋苑資料及搜尋介面;個別資料仍需核實。
先了解產品案例與可借鑑的做法 →參考來源
流程及驗收清單為 WeTech 的規劃建議,應按企業資料、權限及實際需求調整。