簡介
微調很容易開始，但容易出錯。本文介紹了 10 個最常見的陷阱以及如何解決它們。
十大陷阱
1. 災難性遺忘
症狀：模型擅長新任務，但「忘記」舊任務 修復：降低學習率，更少的時期，向資料集中添加一般範例
2. 過度擬合
症狀：訓練損失減少，但驗證損失增加 修復：新增資料、正規化、提前停止、減少紀元
3. 資料外洩
症狀：評估分數非常高，但生產品質很差 修復：確保訓練/測試之間沒有重疊，使用時間分割
4. 資料品質差
症狀：模型「學習」不正確，因為範例是錯誤的 修復：手動審查隨機樣本、品質評分管道
5. 錯誤的粒度
症狀：對任務微調太寬泛或太窄 修復：專注於特定行為，不要試圖教導“一切”
6. 評估不足
症狀：“看起來不錯”，但沒有具體指標 修復：多層評估管道（第 13 課）
7. 忽略基本模型功能
症狀：對運作良好的基本模型進行微調 修復：始終先對基本模型進行基準測試
8. 太多紀元
症狀：模型回答“陳詞濫調”，重複訓練範例 修復：監控損失驗證，在損失穩定時停止
9. 成本驚喜
症狀：訓練/推理費用意外高 修復：先計算成本（第 3 課），設定預算警報
10. 無版本控制
症狀：「哪種型號版本最好？」 — 不知道 修復：版本控制資料集+模型+評估結果
總結
- 微調如果不繫統的話很容易出錯
- 在微調之前始終對基本模型進行基準測試
- 多層評估可以防止大多數陷阱
- 版本控制一切：資料、模型、配置、評估結果
練習
- 故意製造過度擬合（20 epoch）→觀察症狀
- 為每個訓練作業建立飛行前檢查表
- 實施模型版本控制系統 4.記錄你遇到的3個陷阱（如果有的話）