RAGの精度改善を依頼する前に用意する質問と正解｜社内AI検索の外れ方を文書・検索・生成・権限で切り分ける

この記事は、社内AI検索やRAG（社内文書から該当箇所を探し、それを根拠にAIが答える仕組み）を既製品か他社開発ですでに使っていて、社員から「答えが違う」「古い規程を引く」と言われている情シス・DX推進担当の方に向けたものです。改善を外部に頼む前に、実際に外れた質問と正しい答え・根拠文書を組にして30問ほど集め、外れ方を「文書」「検索」「生成」「権限」の4つに分けてください。原因によって直す人が変わります。文書の整備は自社で、検索と回答の作り方の改修は開発側で、権限の決まりは情シスで行います。外れの中には、製品の設定変更だけで直るものもあります。

開発会社に頼むのは、設定では直らない部分と、変更のたびに同じ質問で測り直す仕組みを作る部分です。当社（AI革命株式会社）に頼む場合、既存システムの改修は100万円〜（税別）、検索の仕組みを新しい構成で試し直すPoCは300万円〜（税別、検証の開始価格）です。クラウドや外部APIの利用料などの実費は別にかかります。

回答が外れる原因は4つ｜誰が直すかが違う

「AIの精度が低い」とひとまとめにすると、頼む相手も直す場所も決まりません。社員から届いた外れ回答を、まず次の4つに分けます。

外れ方の分類と担当（説明用）

分けるときに見るのは、回答そのものより回答の根拠として表示された文書です。根拠が正しくて答えが違うならC、根拠が違うか出ていないならAかB、人によって結果が違うならDを疑います。今の製品が根拠を表示しない、または管理画面で何を検索して何を渡したかの記録が見られない場合は、どの外れ方か見分けられません。そのこと自体を最初に直す対象として書き出してください。

「古い規程を引く」は、まず同期と旧版を確かめる

古い答えが返ると検索の性能を疑いがちですが、先に確かめたいのは取り込みの状態です。たとえば Amazon Bedrock Knowledge Bases の公式ドキュメントは、文書を追加・更新・削除するたびにデータソースの同期が必要だとしています。同期は前回からの差分だけを処理し、削除した文書は検索の対象から外れます。同期が終わってから検索に反映されるまで数分かかる場合があることや、同期の履歴と失敗の理由を画面で確認できることも書かれています（公式: Sync your data with your Amazon Bedrock knowledge base、2026-10-14確認）。

つまり、規程を改定しても旧版のPDFが同じフォルダに残っていれば、旧版も検索の対象のままです。同期が失敗していれば新版はまだ入っていません。どちらも検索の改良では直らず、文書の置き方と同期の運用を決める話です。

「人によって答えが違う」は不具合とは限らない

Microsoft の Copilot は、利用者が少なくとも閲覧権限を持っている組織のデータだけを回答に使うと公式に説明しています（Microsoft 公式: Copilot のデータ・プライバシー・セキュリティ、2026-10-14確認）。この仕組みなら、ある社員に答えが出ないのは、その人が元の文書を開けないからかもしれません。反対に、共有設定が広すぎるフォルダがあれば、見せるつもりのない文書の中身が回答に出ます。どちらも直すのはAIではなく、元の共有設定と「誰が何を見てよいか」の決まりです。

外部に頼まなくてよい場合と、開発が要る場合

出典: Dify 公式サイト

外れた質問を4つに分けてみると、開発会社に頼まずに直せる部分が見えてきます。主な製品には、検索の仕方を変える設定が管理画面やAPIに用意されています。

主な製品の公式ドキュメントにある調整項目（2026-10-14確認）

自社と作った会社の保守で足りる場合

次のような場合は、追加の開発を発注する前に、自社の作業と、作った会社との今の保守契約の範囲で試せます。

• 外れの多くが A（文書の欠け・旧版・同期漏れ）で、文書の持ち主と置き場所を決めれば直る
• B の外れが、探し方の切り替え（言葉の一致を加える）、取ってくる件数、並べ替え、更新日による絞り込みといった、上の表にある設定の範囲で試せる
• D の外れが、元のフォルダの共有設定の見直しで済む
• 管理画面で根拠と検索結果が見られ、自社の担当者が設定を変えて同じ質問で試し直せる

外れた質問の分類、期待する答えの下書き、設定変更前後の結果の比較表づくりは、ChatGPT や Claude などのAIを使えば自社でも進められます。ただし、期待する答えが正しいかどうかの最終確認は、規程を管理している業務部門にしかできません。

開発が要る場合

次のどれかに当たるなら、必要なのは設定の調整ではなく改修です。

• 表・図・スキャンしたPDFが多く、製品の取り込み機能では中身を正しく読めない（文書を取り込む前の加工が要る）
• 社内の独自システムやデータベースから探していて、利用者ごとの権限を検索結果に反映する仕組みが無い
• 複数の規程をまたいで条件を組み合わせる質問や、「規程に書いていない」と正しく断る振る舞いを、指示文だけでは安定させられない
• 設定を変えるたびに、同じ質問で測り直して前の結果と比べる仕組みが無い
• 作った会社が設定や構成を開示しない、または保守契約が終わっていて、誰も中身を変えられない

標準の検索機能で足りるのか、個別のRAGが要るのかをまだ決めていない段階なら、先に社内検索は標準連携で足りるか｜個別RAG開発と同じ質問で比較するを読むと判断しやすくなります。

依頼前に用意するもの｜外れた質問と正解の組を30問

出典: Microsoft Learn 公式

改善の相談で最初に要るのは、何が外れていて、本来は何と答えるべきかという情報です。次の5つを揃えます。

1. 評価用の質問セット: 実際に外れた質問、期待する答え、根拠文書（ファイル名・条番号・版）の組。30問ほどあると、外れ方の偏りが見えやすくなります（30問は目安で、公式の基準ではありません）。作るのは業務部門です。開発会社は社内規程の正解を知らないため、代わりに作ることはできません
2. 対象文書の一覧: 保存場所、持ち主の部署、更新の頻度、旧版をどう扱っているか
3. 権限の決まり: 誰がどの文書を見てよいか。役員向け・人事向けなど、見せてはいけない範囲
4. 使っている製品と構成: 製品名、管理画面で見られるもの（根拠の表示、検索の記録、同期の履歴）、設定を変えられる人
5. 作った会社との契約: ソースコードや設定を使う権利、保守の範囲、設定を開示してもらえるか

質問は、よく聞かれるもの、間違えると影響が大きいもの、似た規程と取り違えやすいものを優先して選びます。Copilot Studio の公式ドキュメントも、知識源から自動で作った質問は今ある情報の使われ方を試すのには役立つ一方、情報の欠けを見つけるのには向かないとしています。外れた質問を現場から集めるのはそのためです。

説明用：架空の社内規程Q&Aで作った評価セットの例

次の表は形を示すための説明用の架空データです。規程名・日数・金額はすべて架空で、実際の会社の規程ではありません。

5問目のように、答えが無いことが正解になる質問も入れておきます。答えを作ってしまう外れ方は、答えがある質問だけでは見つかりません。4問目のように権限を試す質問は、一般社員と役員など、権限の違う利用者それぞれで実行します。Copilot Studio の評価機能も、評価を実行しているユーザーの認証で知識源につなぐ仕様で、誰が試すかで結果が変わります。

相談の段階では、実際の規程の中身を渡す必要はありません。固有名詞や金額を伏せた抜粋や、上のような架空の置き換えで外れ方は伝わります。社員の個人情報や、本番環境のパスワード・アクセスキーは送らないでください。

診断だけか、改修までか、評価の仕組みまでか｜3つの頼み方

外部への頼み方は、大きく3つに分かれます。どこまで頼むかで、成果物と自社の作業が変わります。

作った会社が構成をよく知っていて、今の保守契約で直せるなら、まず作った会社に評価セットを渡して相談するのが早道です。別の会社に頼む場合は、ソースコード・設定・検索の記録を見られるかと、それを使う権利があるかを最初に確かめます。

当社に頼む場合の費用

当社が公開している価格は次のとおりです（すべて税別）。

PoCの300万円〜は検証の開始価格で、本番システムの完成価格ではありません。並べ替えモデルの外部API（Difyの公式説明では追加費用）や、意味で区切る方式（Bedrockの公式説明では基盤モデルを使うため追加費用）のように、設定によっては毎月の利用料が増えるものがあります。これらは実費として別にかかります。

これから作る場合の費用の内訳はRAG導入の費用と見積もり方で詳しく扱っています。今動いているAI検索の外れ方が手元に揃っていれば、初回相談でどの頼み方に当たるかを一緒に整理できます。今のAI検索の外れ方を見せて、診断と改修の範囲を相談する

合格基準は自社の評価セットで決める

出典: DeNA Engineering 公式ブログ

「正答率◯%なら合格」という基準を、他社の事例や一般論から借りることはできません。同じ製品でも、文書の量や書き方、質問の種類、設定で結果が大きく変わるからです。

公開事例を1つ挙げます。DeNA の社内AIヘルプデスクの記録では、社内で実際にあった質問と人が書いた模範解答をテストケースにしています。並べ替えを使わない条件で、取ってくる件数を5件・10件・20件と増やすと精度が54%・61%・69%と変わりました。文書の区切り方では、固定長が74%、階層型が76%、意味で区切る方式は設定によって40%〜73%だったと報告されています（DeNA Engineering「社内AIヘルプデスク RAG精度改善の軌跡」、2025年11月27日公開、2026-10-14確認）。これは他社の環境での数字なので、御社でも同じ結果になる根拠にはなりません。ここから言えるのは、設定変更の効果は自社の評価セットで測るしかないということです。

合格基準は、次の3つを分けて決めます。

基準を決めたら、改修の前に一度測り、改修後に同じ質問で測り直します。文書の大きな更新、設定変更、AIモデルの切り替えのたびにも測り直します。Copilot Studio のように評価結果の保存期間が決まっている製品では、結果をCSVで出力して残してください。

説明用：診断の進め方の例

当社には、RAGの精度改善として公開できる実績はまだありません。以下は、他社が作ったシステムの調査として進める場合の説明用の構成例です。

1. 資料と権限の確認: 製品・構成、作った会社との契約、管理画面や検索の記録を見られるか、ソースコード・設定を使う権利があるかを確認する
2. 評価セットの実行: 自社で作った30問ほどを、権限の違う利用者それぞれで実行し、回答と根拠文書を記録する
3. 外れ方の分類: 外れた質問ごとに、文書・検索・生成・権限のどこで外れたかを、根拠文書と検索結果から判定する
4. 直す担当ごとの改善案: 自社で直すもの（文書整備・共有設定）、設定で直るもの、改修が要るものに分け、優先順位を付ける
5. 改修する場合: 改修の範囲と金額を示して合意したうえで改修し、同じ評価セットで改修前後を比べる

当社は、他社が作ったシステムの調査のみ、調査と改修の両方、AIで作った試作の本番化のいずれにも対応できます。製品や言語の種類で対応範囲を絞ることはしていません。どの部分をどうつなぐかは、構成を見たうえで一緒に決めます。

相談前に揃えておくと早い情報

初回相談は無料・30分（オンライン、Google Meet）です。要件が決まっていなくても大丈夫です。全部揃っていなくてもかまいませんが、次の情報があると話が早く進みます。

• 外れた質問の例（数問でもよい。固有名詞・金額は伏せてかまいません）と、本来期待する答え
• 使っている製品名と、作った会社（自社構築か他社開発か）
• 管理画面で根拠文書や検索の記録が見られるか
• 対象文書の置き場所と、規程を改定したときの差し替え方
• 権限の違う利用者で答えが変わるという声があるか

30分では、何を直したいかと今の構成を伺い、自社やAIで進められる部分と、開発会社に頼んだほうがよい部分を一緒に切り分けます。頼み方の候補（調査のみ／既存システムの改修／PoC）も整理します。相談後には、確認した現状、自社で進める・頼む・やらないの切り分け、進め方と費用の目安、次に必要な資料をまとめた相談メモをメールでお送りする流れです。初回の30分で確定見積や、その場での可否の断定はしません。

よくある質問

評価用の質問と正解は、開発会社にAIで作ってもらえませんか？

文書から質問と答えの下書きを作ることは、開発会社でも、自社でAIを使っても可能です。ただし、それで試せるのは「文書に書いてあることを正しく返せるか」までです。社員が実際に困った質問や、文書に無いことを聞かれる場面は、問い合わせの記録を持つ業務部門でなければ集められません。下書きはAIで作り、正しいかの確認と、実際の外れ質問の追加は自社で行う分担が現実的です。

新しいAIモデルに切り替えれば精度は上がりますか？

外れの原因が文書（A）や検索（B）にあるなら、回答を作るモデルを替えても直りません。正しい文書が渡っていないからです。モデルの切り替えが役に立つのは、正しい根拠が渡っているのに読み違える（C）場合です。切り替えるときは、前と同じ評価セットで測り直して比べてください。別の質問が新しく外れることもあります。

社員が言う「答えが違う」を、どう記録してもらえばよいですか？

質問文、日時、回答の画面（根拠文書の表示を含む）、本来正しいと思う答えと、その根拠になる文書名の4点を残してもらいます。誰が質問したか（どの部署・権限か）もあると、権限による外れ（D）を見分けられます。製品に回答の評価ボタンがあれば使い、無ければ共有の表に書いてもらう形で十分です。

作った会社が設定やソースコードを見せてくれない場合はどうなりますか？

まず契約書で、成果物の権利と、設定・ソースコードの引き渡しの定めを確認してください。見られない場合でも、評価セットを外から実行して外れ方を分類することはできます。ただし、検索の記録や設定を見られないと、検索（B）と生成（C）を確実に分けられません。その場合は、作った会社に評価結果を渡して改修を求めるか、別の構成で作り直して同じ評価セットで比べるかを検討します。

文書の整備も開発会社に頼めますか？

取り込みやすい形への変換（表の書き起こし、スキャンPDFの文字化、ファイル名や属性の付け方の統一）は、開発作業として頼めます。一方で、どの版が正しいか、矛盾する2つの規程のどちらを残すかは、規程の持ち主にしか決められません。開発会社に任せられるのは「形を整える」作業までです。

一度直したら、その後は何をすればよいですか？

規程の改定、文書の追加、設定変更、AIモデルの切り替えのたびに同じ評価セットを実行し、前回と比べます。新しく外れた質問は評価セットに足していきます。手作業で回すのが負担になってきたら、評価を繰り返し実行して結果を残す仕組みを作ることを検討してください。

社内AI検索の回答が外れて困っている方へ

既製品と専用開発のどちらで作るかから見直したい場合は、社内AIチャットボットの費用｜既製品と専用開発の分かれ目が参考になります。RAGの仕組みそのものはRAGとはで解説しています。

外れた質問と正しい答えが数問あれば、外れ方が文書・検索・生成・権限のどれに当たりそうか、診断だけ頼むか改修まで頼むかを一緒に整理できます。今のシステムと外れ方を伺い、依頼範囲の候補と費用の目安を相談メモでお返しします。初回相談は無料・30分（オンライン）です。

今のAI検索の外れ方を見せて、診断と改修の範囲を相談する