AI・PMOの進化
ベンチマーク汚染
Benchmark Contamination
読み：べんちまーくおせん
評価用の問題や答えが学習データなどへ混入し、実力以上の成績に見える問題です。
01初心者向け
まず意味をつかむ
試験問題を事前に覚えていたため高得点になる状態です。ベンチマークの得点が良くても、似ていない実務の課題へ対応できるとは限りません。
02実務者向け
仕事でどう使うか
評価例の公開範囲と作成時期を記録し、学習用データや調整用の例との重複を調べます。社内の未公開例や新しい条件も用意し、複数の評価で判断します。
03専門家向け
判断を一段深める
表現を変えた問題でも実質的に重なる場合があります。学習データが非公開のモデルで完全な排除を証明するのは難しく、検査方法と残る不確かさを明記します。
IN PRACTICE
具体例で考える
架空の調整データに評価用50問の一部が見つかったため除外し、別の未使用問題で性能を測り直します。
理解を助けるための架空の例です。学習・調整例
評価問題との照合
未使用例で再評価
文字一致だけでは見つからない意味上の重複もあります。
ここは誤解しやすい
公開ベンチマークの得点だけを、対象業務の未知課題での性能と同一視しません。
PROXIA INSIGHTS
考え方を、実務へつなぐ
AIを「使う」から、PMの判断に「活かす」へ ↗この知識を、組織の力へ。