Chuyển đến nội dung chính

BA 的 AI 素養:不需要寫程式就能理解 LLM、RAG、幻覺與防護欄

Duy Tran15 分鐘
BA 的 AI 素養:不需要寫程式就能理解 LLM、RAG、幻覺與防護欄

在 AI 時代成為優秀 BA 不需要知道如何訓練模型。但如果你不了解 LLM 如何運作,你將撰寫錯誤的驗收標準、忽略嚴重風險,並且在技術團隊提出不適當解決方案時無法推回去。

本文以業務語言解釋核心 AI 概念——無程式碼、無數學。


1. 什麼是 LLM——用 BA 的語言解釋

LLM(大型語言模型)是一種在海量文字上訓練的 AI,用來以合理的方式預測下一個詞。

可以這樣理解:你給模型一個問題 → 模型從它讀過的數十億文字片段中找到規律 → 生成一個聽起來合理的回答。

BA 需要記住的:

  • LLM 在對話之間沒有記憶(除非系統有儲存)
  • LLM 不知道訓練截止日期後的最新資訊
  • LLM 並不「知道真相」——它生成合理的文字,但不一定是準確的

→ 需要撰寫的需求:「由於 LLM 可能未更新,在回答有關最新政策/價格/法規的問題時,系統必須顯示免責聲明。」


2. RAG——當 AI 需要閱讀你的文件時

**RAG(檢索增強生成)**解決了 LLM 不知道公司內部資訊的問題。

運作流程:

  1. 使用者提問:「我們的退款政策是什麼?」
  2. 系統在內部知識庫(FAQ、政策文件等)中進行搜尋
  3. 取得相關段落 → 附加到提示詞中 → LLM 根據此作答

BA 需要記住的:

  • RAG 的品質取決於來源文件的品質——垃圾進,垃圾出
  • 需要決定:哪些文件可以被索引?
  • 需要制定政策變更時更新知識庫的政策

→ 需要撰寫的需求:「政策變更後知識庫必須在24小時內更新。系統必須記錄每個回答所使用的來源文件。」


3. 幻覺——BA 不能忽視的風險

幻覺是指 AI 生成錯誤或不存在的資訊,但以自信的語氣呈現,彷彿是事實。

實際案例:

  • AI 說「產品 X 有3年保固」,但實際上只有1年
  • AI 生成了一個不存在的客服電話號碼
  • AI 引用了原始文件中沒有的合約條款

為什麼這對 BA 很重要?

如果 AI 產品向客戶提供錯誤資訊 → 法律風險、信任損失或實際的財務損害。

→ 驗收標準範例:

GIVEN 使用者詢問政策資訊
WHEN AI 在知識庫中找不到資訊
THEN AI 必須回應「我不確定這個資訊,請聯絡...」而非自行推斷

4. 信心分數——何時信任 AI

許多 AI 系統有信心分數——一個數字,表示模型對其回答有多「自信」。

BA 需要決定的:

  • 在什麼信心閾值下 AI 可以自主回答?
  • 低於該閾值時怎麼做:顯示免責聲明、升級給人工客服,還是拒絕回答?

→ 需求範例:「當信心分數 < 0.7 時,系統必須附加「此資訊需要再次確認」的語句,並提供聯絡客服的連結。」


5. 防護欄——保護使用者和公司

防護欄是限制 AI 允許做什麼或說什麼的規則。

常見的防護欄類型:

類型範例
內容過濾不得生成暴力或歧視性內容
主題限制客服聊天機器人只回答產品問題,不討論政治
輸出格式始終以繁體中文回答,不超過200字
個資保護不得在回應中重複信用卡號或身分證號碼
人工接管當使用者要求與真人對話時,不得拒絕

定義防護欄的是 BA——不是 AI 工程師。因為 BA 了解業務背景、法律風險和使用者期望。


6. BA 的 AI 素養檢查清單——總結

處理 AI 功能時,請自問以下問題:

關於資料:

  • 訓練資料是否包含個資或敏感資訊?
  • 知識庫多久更新一次?

關於 AI 行為:

  • 當 AI 不知道時 → 怎麼辦?
  • 當 AI 出錯時 → 誰負責?
  • 自主回答與升級的信心閾值是多少?

關於限制:

  • AI 不得討論哪些主題?
  • 需要遵循哪些輸出格式標準?
  • 什麼時候必須將使用者轉給人工客服?

BA 不需要撰寫防護欄程式碼,但必須撰寫規格讓 AI 工程師能正確實作。