AI・PMOの進化
テストセット（機械学習）
Test Set in Machine Learning
読み：てすとせっと
モデル選択や学習に使わず、最終的な性能の見積りのために留保したデータ集合です。
01初心者向け
まず意味をつかむ
練習中に答えを見ない最終試験の問題集です。開発中に何度も結果を見て調整すると、試験の問題に合わせたモデルになり、公平な成績ではなくなります。
02実務者向け
仕事でどう使うか
分割単位と対象期間を事前に決め、確定後のモデルに対して一度評価する運用を基本にします。結果が不十分で開発へ戻る場合は、新たな独立評価の確保も計画します。
03専門家向け
判断を一段深める
現場の母集団を表していないテストセットでは、高得点でも有用性を推定できません。時系列予測で未来から過去へ情報が混ざる分割や、同一顧客の重複にも注意が必要です。
IN PRACTICE
具体例で考える
架空の500案件中、直近100案件を最終評価専用に残し、前の400案件だけでモデルの調整を進めます。
理解を助けるための架空の例です。学習で規則を作る
検証で設定を選ぶ
テストで最終評価
三集合の役割の違いを示し、件数比率は定めていません。
ここは誤解しやすい
テストセットの誤りを見ながら設定を選び続けると、実質的には検証セットになります。
PROXIA INSIGHTS
考え方を、実務へつなぐ
AIを「使う」から、PMの判断に「活かす」へ ↗この知識を、組織の力へ。