AI・PMOの進化
モデル検証
Model Validation
読み：もでるけんしょう
モデルが想定する業務に使えるかを、前提、データ、実装、予測結果、実際の利用条件から確かめる活動。
01初心者向け
まず意味をつかむ
納期予測なら、予測の当たり具合に加えて、担当者が確認できる時点で結果が届き、どんな案件に使えるかを確かめる。
02実務者向け
仕事でどう使うか
PMは利用部門と合格基準を先に決め、評価担当の独立性をリスクに合わせて確保する。利用を認める範囲、制限、再評価が必要な変更を、配備判断の記録に残す。
03専門家向け
判断を一段深める
学習に使った期間と評価期間を分け、将来にしか分からない情報が混入していないか調べる。モデル単体の評価と、システム連携や人の判断を含む業務試験を組み合わせる。
IN PRACTICE
具体例で考える
架空の遅延予測では平均の正解率を満たしたが、新規拠点では見逃しが多かった。新規拠点を自動通知の対象から外し、必要なデータを追加した。
理解を助けるための架空の例です。用途と基準を決める
独立した評価を行う
適用条件を記録
性能試験と業務試験から、利用できる範囲を定める。
ここは誤解しやすい
精度を測った試験だけで運用可能と判断すると、障害時の対応や誤った出力の扱いが残る。業務担当と代替手順まで試す。
PROXIA INSIGHTS
考え方を、実務へつなぐ
AIを「使う」から、PMの判断に「活かす」へ ↗この知識を、組織の力へ。