PROXIA PM DICTIONARY企業サイト ↗
ホーム / PM DICTIONARY / AI・PMOの進化 / 回答の忠実性(RAG)

AI・PMOの進化

回答の忠実性(RAG)

Answer Faithfulness in RAG

読み:かいとうのちゅうじつせい

RAGなどの回答中の主張が、与えられた根拠文書によって支えられている性質です。

まず意味をつかむ

検索した資料に書かれていない内容を、答えへ勝手に加えていないかを見ます。根拠に忠実であっても、その資料自体が古い・誤っている可能性は残ります。

仕事でどう使うか

回答を確認可能な主張へ分け、各主張が根拠のどこに支えられるかを照合します。数値、例外条件、否定の扱いを重点的に点検し、評価方法を記録します。

判断を一段深める

忠実性と事実の真偽、質問への十分な回答は別の評価軸です。AIで自動採点する場合も人の評価との対応を測り、根拠の品質と検索の拾い漏れを併せて管理します。

IN PRACTICE

具体例で考える

架空の規程が「原則3営業日」と書くのに、回答が「必ず3日」とした場合、条件を落とした不忠実な主張として修正します。

理解を助けるための架空の例です。
主張と根拠を照らす
回答の主張
根拠の該当箇所
支持・不支持の判定

資料自体の正確さは別に確認する必要があります。

ここは誤解しやすい

出典リンクを一つ付けただけで、回答の全主張が裏付けられたとは言えません。

PROXIA INSIGHTS

考え方を、実務へつなぐ

AIを「使う」から、PMの判断に「活かす」へ ↗

この知識を、組織の力へ。

AIを、プロジェクトの実践へ。

AI駆動プロジェクトマネジメント研修を見る ↗