はじめに
導入後のモデルは静止しません。ユーザーデータの変化、市場の動きの変化、製品の変化。したがって、ML システムには、トレーニングが終了したとみなすのではなく、展開後の品質を監視する責任があります。
レッスンの目標
- 予測ドリフト、データ ドリフト、コンセプト ドリフトを理解します。
- 監視する必要がある最小限の信号を理解します。
- 基本的な再トレーニング ループを設計します。
記録しておきたいこと
- 入力機能の分散。
- 各クラスの予測率。
- フィードバック ラベルがある場合のモデルの品質。
- レイテンシー、リクエストエラー、サービスの可用性。
ドリフトの種類
- データドリフト: 入力分布の変化。
- コンセプトドリフト: 入力とターゲットの変化の間の関係。
- 予測ドリフト: モデル出力が異常に変化します。
再トレーニングはいつ行うべきですか?
ドリフトを見つけても、すぐに再トレーニングするわけではありません。ドリフトが本当にパフォーマンスに影響を与えるかどうか、再トレーニングするのに十分な新しい信頼できるデータがあるかどうか、再トレーニングにはリリース前に人間によるレビューが必要かどうかに答える必要があります。
初心者向けの最小限の監視
- ダッシュボードはリクエストとエラーの数を追跡します。
- いくつかの重要な機能の分布図。
- 主要な指標を週または月ごとに追跡します。
- 分布がしきい値を超えて逸脱した場合に警告します。
よくある間違い
- インフラストラクチャのみを監視しますが、モデルの品質は監視しません。
- 自動再トレーニングでは回帰はチェックされません。
- データとモデルをバージョン管理しないでください。
練習問題を練習する
- モデルのチャーンまたはハウジングの監視チェックリストを設計します。
- 監視する必要がある 5 つの指標を特定します。
- 簡単な再トレーニング ポリシーを作成します: いつ再トレーニングするか、誰が承認するか、どのようにロールバックするか。
完了基準
- データ ドリフトとコンセプト ドリフトを区別します。
- 推奨されるモニターインジケーターの最小セット。
- 基本的な再トレーニングとロールバックの計画を立てます。
段階的に練習する (上級)
- 品質とパフォーマンスの一連の監視指標を選択します。
- 5 つの主要な機能に対してデータ ドリフト警告しきい値を設定します。
- ドリフトシナリオをシミュレートし、警告を観察します。
- 承認ステップを含む再トレーニング プロセスを設計します。
- 新しいモデルが劣っている場合のロールバック プレイブックを作成します。
アーティファクトを送信する必要があります
- 毎週のモニタリングチェックリスト。
- モデルの再トレーニングとリリースのプロセス。
- モデルのインシデント対応プレイブック。
セルフテストの質問
- データドリフトとコンセプトドリフトの違いは何ですか?
- 定期的にいつ再トレーニングする必要がありますか、イベントに応じていつ再トレーニングする必要がありますか?
- ドリフトが増加しているのにメトリックが減少していない場合、最初にどのようなアクションを実行する必要がありますか?