Chuyển đến nội dung chính

責任ある AI 要件:BA が安全な AI 機能用の要件を作成

Duy Tran11分
責任ある AI 要件:BA が安全な AI 機能用の要件を作成

BA はしばしば Responsible AI は AI チームまたは Legal の仕事だと考えます。しかし現実:BA がこれらの要件を仕様に取得しないと、開発者も構築しません。本番環境に問題がある場合、最初の質問は「これは要件に載っていますか?」になります。

このガイドは、BA に何を作成し、何をキャプチャするかを知るのに役立ちます。アルゴリズムを理解する必要はありません。


1. BA がキャプチャすべき Responsible AI の 4 つの柱

1.1 公平性(Fairness)

AI は、性別、民族、年齢、収入などの機密属性に基づいて、支持または差別してはいけません。

BA がキャプチャすべき:

  • ドメイン内の保護属性(例:Fintech → 地域/収入による差別なし)
  • 公平性の測定方法:demographic parity、equal opportunity、equalized odds
  • バイアステスト計画:多様な代表的データでテスト

要件例:

NFR-FAIR-01:信用スコアリングモデルは、テストセットで評価した場合、デモグラフィック グループ間で disparate impact ratio ≥ 0.8 を達成する必要があります。結果は go-live 前に Data Science チームから報告されます。

1.2 説明可能性(Explainability)

ユーザーと運用者は、AI がその決定を下した理由を理解する必要があります。

BA がキャプチャすべき:

  • ユーザーに理由を聞く権利がありますか?(特に高リスク決定)
  • 説明レベル:「AI は以前のため X を推奨します」対「あなたのスコアは 720/1000 です」
  • 完全な監査証跡が必要な時

要件例:

REQ-EXPL-01:AI がローン申請を拒否した場合、画面は平文(技術スコアではなく)で ≥3 の具体的な理由を表示する必要があります。理由は監査証跡にタイムスタンプ付きでログされます。

1.3 プライバシー(Privacy)

ユーザーデータは、明確な同意なしにモデルをトレーニングするために使用できません。

BA がキャプチャすべき:

  • AI はどのデータタイプを使用しますか?PII/PHI は匿名化されていますか?
  • 会話履歴はファインチューニングに使用されますか?はい場合、同意フローとは?
  • データ保有:会話ログはどのくらい保持されますか?

要件例:

REQ-PRIV-01:会話履歴は、オンボーディングでのユーザーの明示的なオプトインの後でのみ、製品改善のために保有されます。デフォルト:オプトアウト。ユーザーがオプトインしない場合、ログは 90 日後に削除されます。

1.4 人間のオーバーライド(Human Override)

ユーザーまたは運用者は、高リスク状況で AI の決定を無効にできる必要があります。

BA がキャプチャすべき:

  • どの AI の決定が自動実行可能か対人間承認が必要か
  • オーバーライド機構:ボタン、フォーム、スーパーバイザーアクセス
  • オーバーライドログ:誰、いつ、理由

要件例:

REQ-HUMAN-01:AI はアカウントを自動的にブロックできません。詐欺リスク > 0.9 の場合、AI は Fraud Team レビュー用にフラグするだけです。ブロックアクションは人間の確認後にのみ実行されます。


2. リスクレベル → 必要な Responsible AI 要件

すべての AI 機能が同じレベルのセーフガードを必要とするわけではありません。NIST AI RMF と EU AI Act はリスクで分類します:

リスクレベル例必要な要件
最小AI メール自動補完基本:不要な PII を保存しない
制限AI カスタマーサービスチャットボット透明性(AI であることを開示)、データプライバシー
高AI 信用スコアリング、採用完全:公平性テスト、説明可能性、監査証跡、人間監督
受け入れ不可AI 社会スコアリングビルドできません(EU AI Act 禁止)

実践: BA は要件作成前に AI リスク評価を行う必要があります。シンプルなテンプレート:

質問回答リスクポイント
AI は財務決定に影響を与えますか?はい/いいえはいの場合 +3
AI は機密属性を使用していますか?はい/いいえはいの場合 +2
AI の決定は未レビューでいいですか?はい/いいえはいの場合 +2
AI が間違っている場合、ユーザーが害を受ける可能性がありますか?はい/いいえはいの場合 +3

スコア ≥ 5 → 高リスク → 完全な Responsible AI 要件が必要。


3. BA 向け Responsible AI チェックリスト

公平性
☐ ドメイン内の保護属性を特定
☐ NFR セクションにバイアステストを含める
☐ 公平性メトリクスを定義する(「公平」ではなく)
☐ バイアステストの責任者

説明可能性
☐ ユーザーが AI 決定の理由を知る権利があるか
☐ 説明形式は何か(技術的またはプレーンランゲージ)
☐ 監査証跡要件を定義

プライバシー
☐ データ最小化:AI は必要なデータのみを使用
☐ PII/PHI ハンドリング(匿名化、仮名化)
☐ AI トレーニング使用の同意フロー
☐ データ保有期間を指定

人間のオーバーライド
☐ 人間の承認が必要な決定のリスト
☐ オーバーライド機構が設計されている
☐ オーバーライドログの要件
☐ エスカレーションパスが定義されている

透明性
☐ ユーザーは AI と話していることを知る(偽りなく人間)
☐ AI の制限が明確に伝えられている

4. SRS 内の Responsible AI テンプレート

## 5. 非機能要件:Responsible AI

### 5.1 公平性要件
**NFR-FAIR-01:** [機能] をバイアステストする必要があります...
**テスト基準:** テストセットで disparate impact ratio ≥ [閾値]...
**所有者:** Data Science チーム
**タイミング:** go-live 前および四半期後のテスト

### 5.2 説明可能性要件
**REQ-EXPL-01:** [決定タイプ] を AI が行う場合、UI は表示します...
**形式:** [プレーンテキスト / 構造化リスト / スコア内訳]
**監査:** ログ [N] 日間保有

### 5.3 プライバシー要件
**REQ-PRIV-01:** 会話/インタラクションデータは [N] 日以内に保有...
**REQ-PRIV-02:** PII は [マスク/匿名化] を [事前に]...

### 5.4 人間オーバーライド要件
**REQ-HUMAN-01:** AI が自動実行**できない**決定のリスト:
  - [決定 1]
  - [決定 2]
**オーバーライド機構:** [UI/ワークフロー説明]

5. ステークホルダー会話での Responsible AI

BA が AI 機能を開始するときに尋ねるべき質問:

  • 「AI が間違えてユーザーが害を受けた場合、ビジネスはどのように責任を取りますか?」
  • 「私たちのユーザーは自分たちが AI と話していることを知っていますか?知りたいですか?」
  • 「AI が失敗した場合、特に危険にさらされるユーザーグループはありますか?」
  • 「Legal/Compliance はこのユースケースをレビューしていますか?」
  • 「新しいモデルにアップグレードするとき、誰が公平性/安全性を再検証しますか?」

まとめ

Responsible AI は AI チームの仕事ではありません。それは他の機能要件と同じように BA がキャプチャする要件のセットです。BA がこのステップをスキップしているのなら、製品に倫理的および法的技術債が蓄積するのを許可しています。

次から始めます:リスク評価 → 必要なセーフガードを特定 → 所有者とテスト基準でアクティブな NFR を作成。「システムは公平である必要があります」と書かないでください。「disparate impact ratio ≥ 0.8、go-live 前に Data Science チームがテスト」と書いてください。

これが責任ある BA と無責任な BA の違いです。