引用があるのに間違う理由｜RAG回答のfaithfulness確認

OCRの座標・confidenceとRAG引用は同じ証拠IDで結ぶ

OCRの出力は文字列だけではありません。Windows AI Text Recognitionは文字・行・wordと四点のpolygonal boundaryを返し、DoclingDocumentはlayout bounding boxとprovenanceを扱えます。これをRAGの引用番号だけへ潰すと、元画像のどのページ・領域・版から回答が作られたかを再確認できなくなります。

Open WebUIのexternal knowledge sourceはchunk text、title、source、URL、document ID、page、extra metadata、relevance scoreを個別にmappingします。これはcitationのjoin keyを作る材料ですが、OCRのconfidenceやbboxが自動的に回答の正しさや画面上のword highlightへ変わるという意味ではありません。DoclingのJSON/provenanceやTesseractのhOCR/TSVなど、座標を含む中間成果物は表示用Markdownとは別に保持します。

1. 原本PDF/imageとOCR raw outputを保存し、document revisionとpage/image IDを先に固定する。
2. 回転、座標のorigin、pageサイズ、bbox/polygonの単位を正規化し、OCR文字から抽出text・chunkへの対応を記録する。
3. 再インデックス後もsource ID・page・chunk IDを追跡し、引用が別ページへずれていないか確認する。
4. 回答の各claimをsource ID・page・snippetへ分け、数字・単位・型番はbboxまたは元画像へ戻って照合する。
5. confidenceが低い、座標が欠落する、pageとchunkの対応が切れる場合は、引用済みと断定せず再OCR・再抽出・人間確認へ戻す。

OCR confidenceは認識結果の推定であり、retrieval scoreは検索順位の指標です。どちらも回答のfaithfulnessや事実性そのものではありません。引用番号、ページ番号、座標、元画像の一致を別々に確認できた時だけ、根拠の場所を検証できたと判断します。

• Windows AI Text Recognition - TextRecognizerのword・line・boundary・confidenceを見る
• DoclingDocumentのbbox・provenance - 抽出JSONの構造と原文位置を残す
• Open WebUI RAGのpage・metadata - citationのjoin keyとexternal source mappingを見る
• Tesseract hOCR・TSV - word bbox・confidence・text layerを確認する
• PDF抽出・OCR・表の崩れ - 座標を残す前の抽出失敗を切り分ける
• WindowsでローカルOCR - Windows APIとOCR runtimeの選択へ戻る

factualityとfaithfulnessを分ける

factualityは事実として正しいか、faithfulnessは検索された根拠に沿っているかです。回答が一般知識として正しく見えても、引用されたPDFの根拠とはずれている場合があります。

版・抽出・生成のどこで引用がずれたか

Ragas Faithfulnessは、回答のclaimが検索されたcontextに支持されるかを見る指標です。検索が古い版を選んだか、OCRや抽出が原文を誤ったかまでは、contextとの一致だけでは確かめられません。

次は説明用に作った架空例です。現行の会議室ルールv2は印刷ページ3に「会議室Aは1回30分まで。1日に2枠まで予約できます。」とあり、PDFビューアの通しページでは5ページ目（1始まり）に表示されるものとします。chunk IDは `room-v2-p3-c01`、旧版v1の印刷ページ3には「会議室Aは1回60分まで。」とあります。質問は「現行の会議室Aは1回何分まで予約できるか」です。

この表は架空の手作業例で、実在PDF・アプリ・モデル・Ragasを実行した結果ではありません。ここではRagasの数値スコアも示さず、評価値を正しさの保証として扱いません。印刷ページとビューアのページ差に一律の加算・減算を当てず、原本を開いて位置を確認します。

1. 質問に対する各claimを短く分け、どの引用文が支えると回答しているかを記録する。
2. source IDとrevisionを確認し、質問が求める現行版と検索対象が同じかを見る。
3. 印刷ページ表示とPDFビューアの通しページ（1始まり）を両方控え、同じ原本revisionで該当箇所を開く。
4. `room-v2-p3-c01`のようなchunk IDから抽出済み本文へ戻り、OCR・抽出テキストが原文と一致するか比べる。
5. 最後に各claimをretrieved contextと照合する。原文・抽出・検索・回答のどこで差が生じたかを分けてから、その担当工程へ戻る。

• PDFのOCR・抽出を確認する - 原文から抽出テキストまでを照合する
• chunkと検索漏れを確認する - 検索された断片と質問の対応を見る
• PDF・文書チャットの流れを確認する - 文書の取り込みから回答までの役割を見る

引用確認チェック

よくあるズレ

確認プロンプト例

• 回答の各文について、根拠となる引用箇所を分けてください。
• 引用範囲に書かれていない推測を別欄にしてください。
• 数値、単位、年度を元PDF表記のまま抜き出してください。