AI・PMOの進化
モデルドリフト
Model Drift
読み：もでるどりふと
利用するデータや環境の変化などにより、モデルの予測や判断の性能が当初の期待から変わることです。
01初心者向け
まず意味をつかむ
導入時には役立ったモデルでも、仕事や利用者が変わると精度が落ちる場合があります。モデルの設定を変えていなくても、同じ成果が続くとは限りません。
02実務者向け
仕事でどう使うか
入力の傾向と、正解が確認できる結果を継続して測ります。変化を見つけたら原因を調べ、再評価、追加学習、利用範囲の縮小、人への切替を判断します。
03専門家向け
判断を一段深める
入力の分布が変わったことと、性能が悪化したことは同じではありません。正解を得るまで時間がかかる業務では、代理指標の限界もあります。業務の変化とモデル更新による変化を分けて調査する必要があります。
IN PRACTICE
具体例で考える
架空の遅延予測モデルで、新しい契約方式の案件が増えた後に見逃しが増えたため、入力条件と評価データを見直します。
理解を助けるための架空の例です。入力や業務の変化
結果と誤りの測定
再評価・修正・利用制限
変化への対処の概念図です。モデルの内部パラメータが自動で変わる意味ではありません。
ここは誤解しやすい
精度低下を見つけたら、理由を調べずに直ちに再学習する、という一律対応は避けます。
PROXIA INSIGHTS
考え方を、実務へつなぐ
AIを「使う」から、PMの判断に「活かす」へ ↗この知識を、組織の力へ。