「功能上線。接下來呢？」——此問題通常數週後無答案就出現。理由：評估框架事先未設計。
良好 BA 在構建前定義成功，不是上線後。
1. 為什麼 AI 功能需要特殊評估
傳統功能：已處理交易、花費時間、錯誤率。明確指標。
AI 功能額外帶來：
- 輸出品質漂移：資料分布改變時模型可降級
- 使用者信任衰減：AI 失敗數次後使用者停用
- 幻覺事件：需監測，超出錯誤率
- 成本擴展：更多使用者 = 非線性成本增
2. AI 功能的三 KPI 層
層 1：業務 KPI
功能被構建的原因。必須測量業務價值：
| KPI | 例子（AI 客服聊天機器人） | 目標 |
|---|---|---|
| 轉移率 | AI 處理的 % 問題 | 30 天後 ≥ 60% |
| 解決率 | AI 回應後滿意 % 使用者 | ≥ 70% |
| 解決成本 | 處理 1 個請求的成本 (API + 基礎設施) vs 代理 | < $0.5 |
| 解決時間 | 問題到答案的平均時間 | < 30 秒 |
| NPS | 功能 Net Promoter Score | 對比基線 ≥ +10 |
層 2：技術／AI 品質 KPI
測量 AI 輸出品質（不只運作時間）：
| KPI | 測量方法 | 閾值 |
|---|---|---|
| 精確度 | 取樣 + 人工審查（5% 流量） | ≥ 85% |
| 幻覺率 | 事實檢查取樣 | ≤ 2% |
| 信心分布 | 分數 < 閾值 % 回應 | 週間監測 |
| 升級率 | % 請求升級給人工 | 10-30%（領域相依） |
| 延遲 p95 | 95 百分位回應時間 | < 3 秒 |
| 錯誤率 | API 錯誤、逾時 | < 0.5% |
層 3：使用者體驗 KPI
測量實際體驗（不只技術指標）：
| KPI | 收集方法 | 目標 |
|---|---|---|
| 任務完成率 | 分析追蹤 | ≥ 75% |
| 重提率 | 回應後 5 分內再問 | ≤ 15% |
| 放棄率 | 使用者中途離開 | ≤ 20% |
| 讚／踩比率 | 應用內回饋 | ≥ 60% 正面 |
| 功能採用 | 用 AI 功能的 MAU / 全部 MAU | 60 天後 ≥ 40% |
3. 評估時程：30/60/90/180 日
上線
│
├── 7 日（健康檢查）
│ - 錯誤率正常？
│ - 任何需要處理的事件？
│ - 初期使用者回饋
│
├── 30 日（初期評估）
│ - KPI 對比上線前基線
│ - 精確度取樣（100 情況）
│ - 辨認頂部失敗模式
│
├── 60 日（最佳化）
│ - 完整 KPI 審查
│ - A/B 測試結果（如果有）
│ - 若精確度未達目標則 prompt 調整
│ - 決定：擴展上線・保持・改進方向
│
├── 90 日（里程碑審查）
│ - 利益關係人業務影響報告
│ - ROI 計算
│ - Q2 路線圖基於學習心得
│
└── 180 日（利益實現審查）
- 對比原始業務情況
- 決定：持續・擴展・廢除
4. 利益實現追蹤
驗證原始業務情況實際被實現：
## 利益實現報告：[功能] — 90 天
### 業務情況概要（上線前）
- 預期利益：減少代理工作量 40%
- 預期成本：$X/月 API 成本
- 預期 ROI：[N] 月回本
### 實績
| 利益 | 預期 | 實績（D90） | 狀態 |
|------|------|-----------|------|
| 轉移率 | 60% | 52% | ⚠️ 未達 |
| 代理時間省下 | 200h/月 | 160h/月 | ⚠️ 未達 |
| 使用者滿意 | 70% | 74% | ✅ 超過 |
| 月 API 成本 | $500 | $620 | ⚠️ 超支 |
### 根本原因分析
- 轉移低：長尾問題（流量 30%）AI 無法處理
- 成本超支：使用者量 +25% 對比估算
### 建議行動
1. 擴展知識庫用於頂部 20 未回答問題類型
2. 實裝成本上限和使用量分級
3. 修訂 D180 目標：轉移 ≥ 58%
5. BA 應向資料團隊要求的儀表板
上線前要求，不是上線後。別事後才構建。
即時監測（運作）
☐ 錯誤率、運作時間、延遲（工程）
☐ 升級率（日間）
☐ 每日/每請求成本（FinOps）
週間審查
☐ 精確度趨勢（取樣）
☐ 失敗查詢頂部類型
☐ 使用者滿意分數
月間報告
☐ 完整 KPI 儀表板對比目標
☐ A/B 測試結果
☐ 功能採用漏斗
☐ 成本對利益摘要
6. KPI 未達時：決定框架
| 情況 | 行動 |
|---|---|
| 精確度 < 閾值 | 調整 Prompt → 無改善則重訓 |
| 低使用者採用 | 使用者研究 → 通常是 UX 問題 |
| 成本超支 | 模型分級（簡單情況用便宜模型） |
| 高升級 | 擴展 AI 涵蓋或最佳化代理工作流 |
| 幻覺事件 | 新增 RAG 或 fact-check 層 |
| 業務 KPI 未達 | 重新檢視原始業務情況假設 |
總結
解決方案評估不是資料分析師或 PM 的工作。BA 擁有定義 KPI 和確保測量資料存在。若非內建於規格，沒人構建。
重要實踐：衝刺 1 前，在 SRS 新增「成功指標」部分。包含具體 KPI、閾值、測量方法、所有者。這是對業務的承諾，不是事後想法。