はじめに
ノートブックの優れたモデルだけでは十分ではありません。利害関係者は、モデルがなぜそのような決定を下すのかを理解する必要があり、組織はまた、モデルに偏りがあるかどうかを知る必要があります。ここで、説明可能性と公平性が不可欠になります。
レッスンの目標
- ローカルな説明可能性とグローバルな説明可能性の違いを理解します。
- 入門レベルで順列重要度または SHAP の使用方法を理解します。
- 導入前に公平性に関する質問をする方法を理解する。
誰に対する説明可能性?
- データ サイエンティストはモデルをデバッグする必要があります。
- PM は、どの機能が結果に影響を与えるかを理解する必要があります。
- 専門的な利害関係者は、シンプルで信頼できるストーリーを必要としています。
- エンド ユーザーは、個々の予測について具体的な理由を必要とする場合があります。
2 つのレベルの説明
- グローバルな説明可能性: モデルは一般にどのような要素に依存しますか?
- 局所的な説明可能性: 特定のサンプルがそのように予測される理由。
公平性は二次的なオプションではありません
モデルが人間による意思決定に影響を与える場合は、各ユーザー グループのパフォーマンス、各グループの誤検知または誤検知の割合、およびどの機能が機密属性の代理となり得るかをテストする必要があります。
関係者へのプレゼンテーション方法
- 長い式は避けてください。
- 最も影響力のある機能を 3 ～ 5 つ使用します。
- モデルの信頼レベルと限界を明確に述べます。
- 偏見のリスクを率直に述べます。
よくある間違い
- SHAP チャートの性質を理解せずに乱用する。
- 説明可能性と原因と結果の証明を混同している。
- 導入後にのみ公平性をチェックしてください。
練習問題を練習する
- トレーニングされた分類モデルを選択します。
- 順列重要度またはSHAPサマリーを作成します。
- 2 つの異なるユーザー グループによるメトリクスを確認します。
- PM にプレゼンテーションしているかのように説明を書きます。
完了基準
- グローバルな説明可能性とローカルな説明可能性を区別します。
- 基本的な公平性チェックを少なくとも 1 つ知っています。
- 技術者以外の関係者でも理解できる結果を提示します。
段階的に練習する (上級)
- トレーニング済みモデルと固定検証セットを選択します。
- 5 つのサンプルのグローバル重要度とローカル説明を計算します。
- データを 2 ～ 3 のユーザー グループに分割し、公平性を比較します。
- グループごとのメトリックの差を記録します。
- 倫理的リスクメモと管理に関する推奨事項を準備します。
アーティファクトを送信する必要があります
- 1 ～ 2 ページの説明可能性レポート。
- グループ別の公平性指標テーブル。
- 優先順位ごとにバイアスを軽減するためのアクションのリスト。
セルフテストの質問
- 説明可能性が因果関係を証明できないのはなぜですか?
- どのくらいのメトリクスの差が憂慮すべきものですか?
- 公平性のリスクを理由に展開を拒否する必要があるのはどのような場合ですか?