在 AI 時代成為優秀 BA 不需要知道如何訓練模型。但如果你不了解 LLM 如何運作,你將撰寫錯誤的驗收標準、忽略嚴重風險,並且在技術團隊提出不適當解決方案時無法推回去。
本文以業務語言解釋核心 AI 概念——無程式碼、無數學。
1. 什麼是 LLM——用 BA 的語言解釋
LLM(大型語言模型)是一種在海量文字上訓練的 AI,用來以合理的方式預測下一個詞。
可以這樣理解:你給模型一個問題 → 模型從它讀過的數十億文字片段中找到規律 → 生成一個聽起來合理的回答。
BA 需要記住的:
- LLM 在對話之間沒有記憶(除非系統有儲存)
- LLM 不知道訓練截止日期後的最新資訊
- LLM 並不「知道真相」——它生成合理的文字,但不一定是準確的
→ 需要撰寫的需求:「由於 LLM 可能未更新,在回答有關最新政策/價格/法規的問題時,系統必須顯示免責聲明。」
2. RAG——當 AI 需要閱讀你的文件時
**RAG(檢索增強生成)**解決了 LLM 不知道公司內部資訊的問題。
運作流程:
- 使用者提問:「我們的退款政策是什麼?」
- 系統在內部知識庫(FAQ、政策文件等)中進行搜尋
- 取得相關段落 → 附加到提示詞中 → LLM 根據此作答
BA 需要記住的:
- RAG 的品質取決於來源文件的品質——垃圾進,垃圾出
- 需要決定:哪些文件可以被索引?
- 需要制定政策變更時更新知識庫的政策
→ 需要撰寫的需求:「政策變更後知識庫必須在24小時內更新。系統必須記錄每個回答所使用的來源文件。」
3. 幻覺——BA 不能忽視的風險
幻覺是指 AI 生成錯誤或不存在的資訊,但以自信的語氣呈現,彷彿是事實。
實際案例:
- AI 說「產品 X 有3年保固」,但實際上只有1年
- AI 生成了一個不存在的客服電話號碼
- AI 引用了原始文件中沒有的合約條款
為什麼這對 BA 很重要?
如果 AI 產品向客戶提供錯誤資訊 → 法律風險、信任損失或實際的財務損害。
→ 驗收標準範例:
GIVEN 使用者詢問政策資訊
WHEN AI 在知識庫中找不到資訊
THEN AI 必須回應「我不確定這個資訊,請聯絡...」而非自行推斷
4. 信心分數——何時信任 AI
許多 AI 系統有信心分數——一個數字,表示模型對其回答有多「自信」。
BA 需要決定的:
- 在什麼信心閾值下 AI 可以自主回答?
- 低於該閾值時怎麼做:顯示免責聲明、升級給人工客服,還是拒絕回答?
→ 需求範例:「當信心分數 < 0.7 時,系統必須附加「此資訊需要再次確認」的語句,並提供聯絡客服的連結。」
5. 防護欄——保護使用者和公司
防護欄是限制 AI 允許做什麼或說什麼的規則。
常見的防護欄類型:
| 類型 | 範例 |
|---|---|
| 內容過濾 | 不得生成暴力或歧視性內容 |
| 主題限制 | 客服聊天機器人只回答產品問題,不討論政治 |
| 輸出格式 | 始終以繁體中文回答,不超過200字 |
| 個資保護 | 不得在回應中重複信用卡號或身分證號碼 |
| 人工接管 | 當使用者要求與真人對話時,不得拒絕 |
定義防護欄的是 BA——不是 AI 工程師。因為 BA 了解業務背景、法律風險和使用者期望。
6. BA 的 AI 素養檢查清單——總結
處理 AI 功能時,請自問以下問題:
關於資料:
- 訓練資料是否包含個資或敏感資訊?
- 知識庫多久更新一次?
關於 AI 行為:
- 當 AI 不知道時 → 怎麼辦?
- 當 AI 出錯時 → 誰負責?
- 自主回答與升級的信心閾值是多少?
關於限制:
- AI 不得討論哪些主題?
- 需要遵循哪些輸出格式標準?
- 什麼時候必須將使用者轉給人工客服?
BA 不需要撰寫防護欄程式碼,但必須撰寫規格讓 AI 工程師能正確實作。
