BA はしばしば Responsible AI は AI チームまたは Legal の仕事だと考えます。しかし現実:BA がこれらの要件を仕様に取得しないと、開発者も構築しません。本番環境に問題がある場合、最初の質問は「これは要件に載っていますか?」になります。
このガイドは、BA に何を作成し、何をキャプチャするかを知るのに役立ちます。アルゴリズムを理解する必要はありません。
1. BA がキャプチャすべき Responsible AI の 4 つの柱
1.1 公平性(Fairness)
AI は、性別、民族、年齢、収入などの機密属性に基づいて、支持または差別してはいけません。
BA がキャプチャすべき:
- ドメイン内の保護属性(例:Fintech → 地域/収入による差別なし)
- 公平性の測定方法:demographic parity、equal opportunity、equalized odds
- バイアステスト計画:多様な代表的データでテスト
要件例:
NFR-FAIR-01:信用スコアリングモデルは、テストセットで評価した場合、デモグラフィック グループ間で disparate impact ratio ≥ 0.8 を達成する必要があります。結果は go-live 前に Data Science チームから報告されます。
1.2 説明可能性(Explainability)
ユーザーと運用者は、AI がその決定を下した理由を理解する必要があります。
BA がキャプチャすべき:
- ユーザーに理由を聞く権利がありますか?(特に高リスク決定)
- 説明レベル:「AI は以前のため X を推奨します」対「あなたのスコアは 720/1000 です」
- 完全な監査証跡が必要な時
要件例:
REQ-EXPL-01:AI がローン申請を拒否した場合、画面は平文(技術スコアではなく)で ≥3 の具体的な理由を表示する必要があります。理由は監査証跡にタイムスタンプ付きでログされます。
1.3 プライバシー(Privacy)
ユーザーデータは、明確な同意なしにモデルをトレーニングするために使用できません。
BA がキャプチャすべき:
- AI はどのデータタイプを使用しますか?PII/PHI は匿名化されていますか?
- 会話履歴はファインチューニングに使用されますか?はい場合、同意フローとは?
- データ保有:会話ログはどのくらい保持されますか?
要件例:
REQ-PRIV-01:会話履歴は、オンボーディングでのユーザーの明示的なオプトインの後でのみ、製品改善のために保有されます。デフォルト:オプトアウト。ユーザーがオプトインしない場合、ログは 90 日後に削除されます。
1.4 人間のオーバーライド(Human Override)
ユーザーまたは運用者は、高リスク状況で AI の決定を無効にできる必要があります。
BA がキャプチャすべき:
- どの AI の決定が自動実行可能か対人間承認が必要か
- オーバーライド機構:ボタン、フォーム、スーパーバイザーアクセス
- オーバーライドログ:誰、いつ、理由
要件例:
REQ-HUMAN-01:AI はアカウントを自動的にブロックできません。詐欺リスク > 0.9 の場合、AI は Fraud Team レビュー用にフラグするだけです。ブロックアクションは人間の確認後にのみ実行されます。
2. リスクレベル → 必要な Responsible AI 要件
すべての AI 機能が同じレベルのセーフガードを必要とするわけではありません。NIST AI RMF と EU AI Act はリスクで分類します:
| リスクレベル | 例 | 必要な要件 |
|---|---|---|
| 最小 | AI メール自動補完 | 基本:不要な PII を保存しない |
| 制限 | AI カスタマーサービスチャットボット | 透明性(AI であることを開示)、データプライバシー |
| 高 | AI 信用スコアリング、採用 | 完全:公平性テスト、説明可能性、監査証跡、人間監督 |
| 受け入れ不可 | AI 社会スコアリング | ビルドできません(EU AI Act 禁止) |
実践: BA は要件作成前に AI リスク評価を行う必要があります。シンプルなテンプレート:
| 質問 | 回答 | リスクポイント |
|---|---|---|
| AI は財務決定に影響を与えますか? | はい/いいえ | はいの場合 +3 |
| AI は機密属性を使用していますか? | はい/いいえ | はいの場合 +2 |
| AI の決定は未レビューでいいですか? | はい/いいえ | はいの場合 +2 |
| AI が間違っている場合、ユーザーが害を受ける可能性がありますか? | はい/いいえ | はいの場合 +3 |
スコア ≥ 5 → 高リスク → 完全な Responsible AI 要件が必要。
3. BA 向け Responsible AI チェックリスト
公平性
☐ ドメイン内の保護属性を特定
☐ NFR セクションにバイアステストを含める
☐ 公平性メトリクスを定義する(「公平」ではなく)
☐ バイアステストの責任者
説明可能性
☐ ユーザーが AI 決定の理由を知る権利があるか
☐ 説明形式は何か(技術的またはプレーンランゲージ)
☐ 監査証跡要件を定義
プライバシー
☐ データ最小化:AI は必要なデータのみを使用
☐ PII/PHI ハンドリング(匿名化、仮名化)
☐ AI トレーニング使用の同意フロー
☐ データ保有期間を指定
人間のオーバーライド
☐ 人間の承認が必要な決定のリスト
☐ オーバーライド機構が設計されている
☐ オーバーライドログの要件
☐ エスカレーションパスが定義されている
透明性
☐ ユーザーは AI と話していることを知る(偽りなく人間)
☐ AI の制限が明確に伝えられている
4. SRS 内の Responsible AI テンプレート
## 5. 非機能要件:Responsible AI
### 5.1 公平性要件
**NFR-FAIR-01:** [機能] をバイアステストする必要があります...
**テスト基準:** テストセットで disparate impact ratio ≥ [閾値]...
**所有者:** Data Science チーム
**タイミング:** go-live 前および四半期後のテスト
### 5.2 説明可能性要件
**REQ-EXPL-01:** [決定タイプ] を AI が行う場合、UI は表示します...
**形式:** [プレーンテキスト / 構造化リスト / スコア内訳]
**監査:** ログ [N] 日間保有
### 5.3 プライバシー要件
**REQ-PRIV-01:** 会話/インタラクションデータは [N] 日以内に保有...
**REQ-PRIV-02:** PII は [マスク/匿名化] を [事前に]...
### 5.4 人間オーバーライド要件
**REQ-HUMAN-01:** AI が自動実行**できない**決定のリスト:
- [決定 1]
- [決定 2]
**オーバーライド機構:** [UI/ワークフロー説明]
5. ステークホルダー会話での Responsible AI
BA が AI 機能を開始するときに尋ねるべき質問:
- 「AI が間違えてユーザーが害を受けた場合、ビジネスはどのように責任を取りますか?」
- 「私たちのユーザーは自分たちが AI と話していることを知っていますか?知りたいですか?」
- 「AI が失敗した場合、特に危険にさらされるユーザーグループはありますか?」
- 「Legal/Compliance はこのユースケースをレビューしていますか?」
- 「新しいモデルにアップグレードするとき、誰が公平性/安全性を再検証しますか?」
まとめ
Responsible AI は AI チームの仕事ではありません。それは他の機能要件と同じように BA がキャプチャする要件のセットです。BA がこのステップをスキップしているのなら、製品に倫理的および法的技術債が蓄積するのを許可しています。
次から始めます:リスク評価 → 必要なセーフガードを特定 → 所有者とテスト基準でアクティブな NFR を作成。「システムは公平である必要があります」と書かないでください。「disparate impact ratio ≥ 0.8、go-live 前に Data Science チームがテスト」と書いてください。
これが責任ある BA と無責任な BA の違いです。
