AI・PMOの進化
回答の忠実性(RAG)
Answer Faithfulness in RAG
読み:かいとうのちゅうじつせい
RAGなどの回答中の主張が、与えられた根拠文書によって支えられている性質です。
01初心者向け
まず意味をつかむ
検索した資料に書かれていない内容を、答えへ勝手に加えていないかを見ます。根拠に忠実であっても、その資料自体が古い・誤っている可能性は残ります。
02実務者向け
仕事でどう使うか
回答を確認可能な主張へ分け、各主張が根拠のどこに支えられるかを照合します。数値、例外条件、否定の扱いを重点的に点検し、評価方法を記録します。
03専門家向け
判断を一段深める
忠実性と事実の真偽、質問への十分な回答は別の評価軸です。AIで自動採点する場合も人の評価との対応を測り、根拠の品質と検索の拾い漏れを併せて管理します。
IN PRACTICE
具体例で考える
架空の規程が「原則3営業日」と書くのに、回答が「必ず3日」とした場合、条件を落とした不忠実な主張として修正します。
理解を助けるための架空の例です。回答の主張
根拠の該当箇所
支持・不支持の判定
資料自体の正確さは別に確認する必要があります。
ここは誤解しやすい
出典リンクを一つ付けただけで、回答の全主張が裏付けられたとは言えません。
PROXIA INSIGHTS
考え方を、実務へつなぐ
AIを「使う」から、PMの判断に「活かす」へ ↗この知識を、組織の力へ。
