AI・PMOの進化
オンライン評価
Online Evaluation
読み：おんらいんひょうか
実運用で発生する入力や結果を観測し、AIの品質や業務への影響を評価する方法です。
01初心者向け
まず意味をつかむ
配備前の試験では見つからなかった質問が、運用中に届くことがあります。回答の傾向や担当者の修正を見て、現場で役立っているかを調べます。
02実務者向け
仕事でどう使うか
PMは記録する情報、抽出する標本、確認担当を決めます。誤りや苦情の兆候が一定の条件に達した場合に、対象の制限や停止を行う手順を準備します。
03専門家向け
判断を一段深める
現場の指標はモデル以外にも、季節や対象者の構成、業務手順の変更で動きます。施策の効果を知りたいときは、比較条件と安全上の制約を先に決めます。
IN PRACTICE
具体例で考える
架空の社内検索で、利用者が回答を修正した場面を標本として確認し、資料の更新が必要な箇所を運用チームへ渡します。
理解を助けるための架空の例です。実際の入力と利用結果
標本を人が確認
修正や停止を判断
データの取得条件と利用者への影響を確認します。
ここは誤解しやすい
利用者の反応が少ない状態を、誤りが少ない証拠とみなすことには注意が必要です。
PROXIA INSIGHTS
考え方を、実務へつなぐ
AIを「使う」から、PMの判断に「活かす」へ ↗この知識を、組織の力へ。