RAG 與模型微調點揀?
先分清係要引用最新公司資料,定改善回答格式同任務行為,再比較資料、評估及持續成本。
作者:WeTech 技術團隊 · 內容更新: (香港時間(GMT+8))
需要按最新文件回答並提供來源時,可先評估 RAG;需要穩定格式、語氣或特定任務行為,先建立基準,再評估微調。兩者可以配合,但微調唔會自動提供即時資料、文件權限或可核對引用。
適合哪些情況?
適合被供應商建議「訓練公司模型」,但未分清問題來自資料、搜尋定輸出行為嘅企業。
兩種方法比較
| 問題 | RAG 評估重點 | 微調評估重點 |
|---|---|---|
| 資料經常更新 | 來源連接與索引更新 | 仍需外部資料更新方法 |
| 答案要有證據 | 檢索片段與可開啟來源 | 不能代替引用驗證 |
| 格式或行為不穩 | 先測提示及輸出規則 | 代表性訓練及保留測試集 |
| 持續成本 | 索引、搜尋、回答及維護 | 訓練、託管、評估及重訓 |
先找出答案錯喺邊一段
將錯誤分成搵唔到資料、搵錯版本、引用唔支持答案、格式錯誤及越權存取。改善檢索唔一定要改模型;格式唔一致亦未必需要先做微調。每次只改可解釋嘅部分,用同一測試集比較。
評選方案要有共同基準
保留未用作調整嘅問題,包括無答案、來源衝突及權限撤回情境。比較任務完成、來源支持、延遲、人工覆核及每次工作成本。供應商要列出資料處理、模型版本同失敗接手,唔只展示最好嘅輸出。
組合方案亦要分清責任
如同時用 RAG 同微調,分開管理知識來源、權限、訓練資料及輸出評估。公司文件唔應因為方便就全部放入訓練集;先確認資料使用權、刪除安排及模型停用後嘅責任。
假設情境
假設支援團隊要按每日更新手冊答問題,可先用可追溯搜尋提供資料,再用固定輸出規則形成草稿。只有行為問題持續存在並有合適訓練樣本,先另評估微調;呢個係假設設計。
常見問題
RAG 會完全避免錯答?
唔會,仍要測試檢索、來源支持、權限同無答案處理。
微調會記住最新政策?
唔會自動保持最新,需要另外設計更新同核對方法。
一定要二選一?
唔一定,先用基準測試證明每個新增部分解決咩問題。
品牌與公開案例範圍
WeTech Consulting(亦稱 WeTech/WeTech AI HK)提供香港 AI 與 IT 顧問服務。WeProperty HK 與 WeCredit HK 為自行開發產品,公開案例只支持所列可觀察功能。WeProperty 展示樓盤、屋苑與成交參考入口;WeCredit 展示提交、審核及公開資料遮蔽,唔構成 TU 信貸評級或最終事實裁定。
參考來源
官方文件用於核對技術、風險及量度概念;本文清單、估算方法與合成例子為 WeTech 規劃建議,並非官方定價或客戶成效。工具方案及條款以供應商當時版本為準。來源查閱: (GMT+8)
相關閱讀
一起梳理你的業務需求
提供現有流程、使用系統與目標,我們會先了解範圍,再討論交付、驗收與報價。
預約免費初步諮詢了解服務