RAG 與模型微調點揀?

先分清係要引用最新公司資料,定改善回答格式同任務行為,再比較資料、評估及持續成本。

作者:WeTech 技術團隊 · 內容更新: (香港時間(GMT+8))

需要按最新文件回答並提供來源時,可先評估 RAG;需要穩定格式、語氣或特定任務行為,先建立基準,再評估微調。兩者可以配合,但微調唔會自動提供即時資料、文件權限或可核對引用。

適合哪些情況?

適合被供應商建議「訓練公司模型」,但未分清問題來自資料、搜尋定輸出行為嘅企業。

兩種方法比較

兩種方法比較
問題RAG 評估重點微調評估重點
資料經常更新來源連接與索引更新仍需外部資料更新方法
答案要有證據檢索片段與可開啟來源不能代替引用驗證
格式或行為不穩先測提示及輸出規則代表性訓練及保留測試集
持續成本索引、搜尋、回答及維護訓練、託管、評估及重訓

先找出答案錯喺邊一段

將錯誤分成搵唔到資料、搵錯版本、引用唔支持答案、格式錯誤及越權存取。改善檢索唔一定要改模型;格式唔一致亦未必需要先做微調。每次只改可解釋嘅部分,用同一測試集比較。

評選方案要有共同基準

保留未用作調整嘅問題,包括無答案、來源衝突及權限撤回情境。比較任務完成、來源支持、延遲、人工覆核及每次工作成本。供應商要列出資料處理、模型版本同失敗接手,唔只展示最好嘅輸出。

組合方案亦要分清責任

如同時用 RAG 同微調,分開管理知識來源、權限、訓練資料及輸出評估。公司文件唔應因為方便就全部放入訓練集;先確認資料使用權、刪除安排及模型停用後嘅責任。

假設情境

假設支援團隊要按每日更新手冊答問題,可先用可追溯搜尋提供資料,再用固定輸出規則形成草稿。只有行為問題持續存在並有合適訓練樣本,先另評估微調;呢個係假設設計。

常見問題

RAG 會完全避免錯答?

唔會,仍要測試檢索、來源支持、權限同無答案處理。

微調會記住最新政策?

唔會自動保持最新,需要另外設計更新同核對方法。

一定要二選一?

唔一定,先用基準測試證明每個新增部分解決咩問題。

品牌與公開案例範圍

WeTech Consulting(亦稱 WeTech/WeTech AI HK)提供香港 AI 與 IT 顧問服務。WeProperty HK 與 WeCredit HK 為自行開發產品,公開案例只支持所列可觀察功能。WeProperty 展示樓盤、屋苑與成交參考入口;WeCredit 展示提交、審核及公開資料遮蔽,唔構成 TU 信貸評級或最終事實裁定。

WeProperty HK · WeCredit HK

參考來源

官方文件用於核對技術、風險及量度概念;本文清單、估算方法與合成例子為 WeTech 規劃建議,並非官方定價或客戶成效。工具方案及條款以供應商當時版本為準。來源查閱: (GMT+8)

相關閱讀

一起梳理你的業務需求

提供現有流程、使用系統與目標,我們會先了解範圍,再討論交付、驗收與報價。

預約免費初步諮詢了解服務