株式会社AIエージェント
BLOG

社内RAGの作り方の手順⁠|AIは渡していない規程を9回案内した

ブログ約7分

書類を手に持ちながらノートパソコンを操作する手元と、奥で別の書類にペンで書き込む手が写った写真
写真: Pexels / Kampus Production

この記事でわかること

  • 架空の総務部の文書6本と質問14問(答えのある8問・文書に無い4問・関連する文書はあるが答えの無い2問)で、社内RAGを組んで試した。
  • 答えのある質問は、検索も回答もルールの有無にかかわらず全部正しかった。 文書に無い質問にも、数字を作って答えた回は無い。
  • ルールが無いと、渡していない「育児休業規程」「慶弔見舞金規程」などを見るよう12回中9回案内した 。関連する文書があるのに答えの無い質問には、文書に無い手順を6回中1回書いた。
  • 「書いていなければ定型文だけ」「根拠の文書名を書く」とルールを書くと、どちらも0回になった。答えられない質問の返し先は人が決める。

社内の規程や手順書をAIに読ませて、社員の質問に答えさせる。社内RAGを考えるとき、気になるのは「AIが文書に無いことを作り話で答えないか」だと思います。

架空の総務部の文書で試すと、作り話はほとんど出ませんでした。 代わりに出たのは、渡していない規程への案内です。ルールが無いと、「育児休業規程を確認してください」のような案内を12回中9回書きました。

社内RAGの作り方の手順|この記事で作るもの

作るのは、1部署の文書だけを検索できるようにして、社員の質問に、文書に書いてあることだけで答えさせる仕組み です。文書と質問をベクトルに変えるのに OpenAI の埋め込みモデル text-embedding-3-small、答えを書くのに GPT-6 Sol を使いました。ほかの生成AIでも、質問の集め方とルールの考え方は同じです。

作るべきか、費用はどのくらいかは社内RAGの構築費用にまとめました。この記事は、作ると決めたあと、最初に1部署で試す手順です。

準備|1部署の文書と、答えられない質問を先に集める

使ったのは、架空の会社「サンプル商事」の総務部の文書6本です。経費精算規程・出張旅費規程・備品購入の手順・在宅勤務規程・名刺の発注・会議室の予約で、どれも数行の短い文書です。個人情報や顧客の情報を含む文書は入れていません。実際の文書を外部のAIに渡してよいかは、生成AIの社内ルールの作り方を参考に、先に社内で決めます。

文書を取り込む前に、質問を3種類で集めました。

答えのある質問     経費精算の締め日は?/出張の宿泊費の上限は?/5万円のモニターを買いたい など8問
文書に無い質問     有給休暇は年に何日?/育児休業は何か月?/慶弔見舞金はいくら?/社用車の予約方法は?
近いが答えの無い質問 在宅勤務の日の通勤手当は?(在宅勤務規程はあるが書いていない)
                   会議室を3時間使いたい(会議室の規程は「2時間まで」だけ)

私なら、いちばん大事なのは3つ目です。関連する文書が検索で引っかかるので、AIがその文書から答えを組み立てようとします。

作る手順|検索、ルール、記録の順に組む

手順1 文書を検索できるようにする

6本の文書をそれぞれ1かたまりのまま埋め込みモデルでベクトルにし、質問に近い順に2本を取り出して、答えを書くAIに渡しました。答えのある8問は、ルールの有無の両方で3回ずつ動かし、48回とも正しい文書が上位2本に入りました 。文書が短く、1部署に絞っているので、検索で外す余地が小さかったと読んでいます。

手順2 ルールを書かずに答えさせる

「社内の文書を参考に、社員からの質問に答えてください」とだけ頼みました。答えのある質問は24回とも正しく答えています。文書に無い4問にも、日数や金額を作って答えた回はありません。

ただ、断り方に癖がありました。

提示された社内文書には育児休業の期間について記載がないため、何か月取得できるかは
確認できません。育児休業規程を確認するか、人事担当者にお問い合わせください。

「就業規則や休暇規程」「育児休業規程」「慶弔見舞金規程」と、渡していない規程を見るよう案内した回が12回中9回 ありました。その会社にそういう規程があるかは、AIには分かりません。

近いが答えの無い質問では、会議室を3時間使いたいという質問に、6回中1回「2時間と1時間に分けて予約してください」と書きました。会議室の文書にあるのは「1回の予約は2時間までとする」だけで、分けて予約してよいかは書いていません。

手順3 ルールを書いて答えさせる

次の3行を足しました。

・答えは、下に渡した社内文書に書いてあることだけで書く。法律や一般的な会社の例で補わない。
・社内文書に書いていない質問には「総務の文書には書いてありません。総務に確認してください。」とだけ答える。
・答えの最後に、根拠にした文書名を【】で書く。

答えのある質問は正しいまま、答えの最後に【経費精算規程】のような文書名が毎回付きました。文書に無い質問と近いが答えの無い質問には定型文を返し(会議室の質問では「2時間まで」の事実を添えた回が1回)、渡していない規程の案内も、文書に無い手順も0回 になりました。

手順4 答えられなかった質問を記録する

定型文を返した質問は、日時と質問文を記録に残します。これが次に足す文書の候補です。

人が止める場所|返し先と、答えられない質問の振り分け

AIは、渡した文書の範囲では正しく答えました。人が決めるのは、範囲の外です。私なら次の3つは人がやります。

  • 定型文の返し先 ……「総務に確認してください」の総務が、本当にその質問を受ける部署か。人事の質問なら人事を書く
  • 答えられなかった質問の振り分け ……記録を週に1回見て、文書を足して答えられるようにするか、定型文のまま担当に回すかを決める
  • 文書の更新 ……規程を変えたら、取り込んだ文書も同じ日に差し替える。古い規程のまま答えるのが一番困る

記録の残し方はAIエージェントの運用ログに、止まったときに誰が判断するかはAIエージェントの運用体制に書きました。

うまくいかないときの直し方

  • 渡していない規程を案内する ……「書いていなければ定型文だけで答える」とルールに書き、定型文に返し先を入れる
  • 文書に無い手順を書く ……「法律や一般的な会社の例で補わない」と書く。近いが答えの無い質問を試験用の質問に入れておく
  • 根拠が分からない ……答えの最後に文書名を書かせる。文書名が付かない答えは疑う
  • 正しい文書が検索に出てこない ……文書を部署ごと・テーマごとに分け、1本を長くしすぎない

判定表|社内RAGでAIに任せてよい範囲と、人が確認する場所

作業AIに任せてよいか人が確認する場所
文書にある質問への回答任せてよい答えに付いた文書名で根拠を確かめる
文書に無い質問への定型文の返答任せてよい定型文の返し先の部署が合っているか
答えられなかった質問の記録任せてよい週に1回、記録を読む
取り込む文書の範囲を決める任せない個人情報・顧客の情報を含む文書を外す
答えられない質問を文書で埋めるか、担当に回すか任せない担当部署と相談して人が決める
規程を変えたときの文書の差し替え任せない規程を変えた日に差し替える

自社でやるのが大変なときの頼み先

1部署で試したあと、部署を広げる・権限で見える文書を分ける・既存のシステムとつなぐ段階で外に頼むなら、何を作るかで頼み先が分かれます。中小企業のAI開発会社の選び方で比べました。

最初の1部署の質問を、3種類で10問ずつ書き出す

社内RAGの試し方で先に決めるのは、取り込む文書より、答えられない質問への返し方です。当社のAI適合度診断は10問で、経営・活用・人材・データ・ルールの5分野から自社の現在地を点数にします。連絡先の入力は要りません。 社内の文書を検索して答える仕組みを作る場合の費用の目安は、AI見積もりで先に確かめられます。

出典

よくある質問

社内RAGは、どこから作り始めればいいですか?
1部署の文書だけで始めます。今回は架空の総務部の文書6本で試しました。文書を取り込む前に、社員が実際に聞きそうな質問を、答えがあるもの・文書に無いもの・関連する文書はあるが答えの無いものの3種類で集めておくと、試した結果を判定できます。
社内RAGは、文書に無いことを作り話で答えませんか?
今回の試行では、文書に無い質問に数字や手順を作って答えた回はほとんどありませんでした。ただしルールが無いと、渡していない規程を見るよう案内した回が12回中9回あり、関連する文書があるのに答えの無い質問には、文書に無い予約の分け方を1回書きました。
どんなルールを書けばいいですか?
今回は「答えは渡した社内文書に書いてあることだけ」「書いていなければ決めた定型文だけで答える」「根拠の文書名を書く」の3つを書きました。ルールを書いた回は、渡していない規程の案内も文書に無い手順も0回で、答えには毎回文書名が付きました。
答えられなかった質問はどうしますか?
記録して、人が振り分けます。文書を足して答えられるようにするか、定型文で担当部署に回すかを決めます。今回の4問(有給休暇・育児休業・慶弔見舞金・社用車)は、総務の文書を足すか、人事の担当に回すかを決める候補です。
社内の文書を外部のAIに渡しても大丈夫ですか?
今回の試行は、すべて架空の会社の架空の文書で行いました。実際の社内文書を外部のAIのサービスに渡すかどうかは、契約しているサービスのデータの扱いを確かめ、社内のルールで決めてから試します。個人情報や顧客の情報を含む文書は、最初の1部署の範囲から外します。

佐野 泰規株式会社AIエージェント 代表取締役

中小企業のAI導入を、方針づくりから開発・運用まで支援しています。経営メッセージ

この記事は、旧サイト(www.stellacreation.com)にも同じ内容で掲載しています。旧サイトで読む

ブログの一覧へ

何をAIに任せるか、ご相談ください。