課程 8：企業級本地 AI 技術棧的強化與上線

前言

最後一堂課聚焦於將本地 AI 技術棧提升至企業等級：安全性、資料保護、備份，以及團隊階段性上線。

1. 密鑰管理

• 不在程式碼中硬編碼 API 密鑰
• 使用環境變數或專用密鑰管理工具
• 設定密鑰輪換政策
• 稽核存取日誌

2. PII 控制

防止機密資料外洩：

• 偵測並遮罩 prompt 中的 PII
• 日誌中不記錄 PII
• 限制聊天記錄的保留期限
• 定期更新 PII 偵測規則

3. RBAC（角色型存取控制）

按團隊設定存取控制：

角色	聊天	RAG	Eval	管理
開發者	✅	✅	✅	❌
PM	✅	✅	❌	❌
管理員	✅	✅	✅	✅

4. 備份與災難復原

需保護的三個元件：

• 向量索引
• Prompt 模板與版本
• 設定檔與策略

備份排程：

• 向量索引：每日
• 設定：每次變更時
• 完整快照：每週

5. 變更管理

模型或 prompt 的變更流程：

1. 在 staging 環境測試變更
2. 執行 golden set eval
3. 確認品質達到閾值
4. 金絲雀發佈（10% 流量）
5. 全面上線

6. Go-Live 檢查清單

• 所有 SLO 已定義
• 監控儀表板已上線
• 備份已驗證
• RBAC 已設定
• PII 過濾器已測試
• 事件回應 runbook 已備妥
• 團隊培訓已完成
• 備援模型已設定
• 文件已更新

Demo 程式碼

安全設定驗證結果：

Go-Live 檢查清單自動驗證：

原始碼：07-hardening

總結

恭喜！透過本系列，您已學習了使用 Gemma 4 建構本地 AI 技術棧的設計、建構、測試、強化與上線的完整過程。

重要要點：

1. 從一開始就正確設計架構
2. 用 API contract 明確團隊間的邊界
3. 將 prompt 作為程式碼管理並進行測試
4. RAG 管線從資料品質開始
5. 無衡量則無改善 — Eval 與 observability 不可或缺
6. 安全與治理是第一天就該做的事，不是事後補救

下一步，將此技術棧應用於團隊的實際使用案例，並根據回饋持續改善。