AI・PMOの進化
評価者間一致度
Inter-rater Agreement
読み：ひょうかしゃかんいっちど
同じ対象を複数の人が評価したときに、判定がどの程度一致するかを表す。
01初心者向け
まず意味をつかむ
AIが作った回答を二人が別々に採点して、一人は合格、もう一人は不合格とした。こうした食い違いの程度を調べると、採点ルールを見直せる。
02実務者向け
仕事でどう使うか
評価者には同じ資料とルールを渡し、独立して採点してもらう。一致が低い項目は例と判断理由を見比べ、基準をそろえてから本評価に進む。
03専門家向け
判断を一段深める
判定の尺度、評価者数、欠測に応じて指標を選ぶ。二人のカテゴリ評価なら偶然の一致を考慮する指標も使い、区分の偏りを踏まえて一致率と判定表を併記する。
IN PRACTICE
具体例で考える
架空の要約評価では、「情報の省略」の採点が分かれた。必ず残す条件を例示し、別のサンプルを使って評価者同士の一致を再確認した。
理解を助けるための架空の例です。別々に採点
一致と不一致を集計
迷う条件を明文化
一致しなかった事例から、評価基準の曖昧な箇所を特定する。
ここは誤解しやすい
高い一致は、評価者が同じ基準で判断している手がかりになる。基準自体が業務の目的に合うかは別に点検する。
PROXIA INSIGHTS
考え方を、実務へつなぐ
AIを「使う」から、PMの判断に「活かす」へ ↗この知識を、組織の力へ。