AIエージェントの効果測定のやり方｜10件中3件は人に戻っていた

AIエージェントを入れたあと、「どれだけ時間が削れたか」を聞かれて、処理した件数に1件あたりの時間を掛けて答えたくなります。それだと、人に戻ってきた分が数に入りません。

架空の注文メール10件をAIで読み取り、止める決まりで仕分けたログを残しました。2回とも、自動で完了したのは7件、人に回したのは3件でした。 この記事では、削れた時間を後から数えられる形にするログの残し方と計算を、実際の出力のまま書きます。

AIエージェントの効果測定のやり方｜この記事で作るもの

作るのは、1件ごとに「自動で完了／人に回した」と理由が残るログと、そこから削れた時間を出す計算です。試行には、前回の記事AIエージェントとRPAの違いで使った架空の注文メール10件と、OpenAI の API（GPT-6 Sol）の読み取り結果を使いました。

準備｜入れる前に、人手の時間を測っておく

いちばん大事な準備は、AIを入れる前に、同じ仕事を人がやったときの時間を数件測っておくことです。入れた後では、人手の時間はもう測れません。

使うデータは架空のダミーにします。どの情報を外部のAIに入れてよいかは生成AIの社内ルールの作り方にまとめました。

作る手順｜1件ごとに結果と理由を残す

手順1 止める決まりを先に書く

AIの読み取り結果の後ろに、AIではない決まりを置きます。今回は次の3つです。

• 納期が空欄なら、人に回す
• 「末」「頃」「まで」を日付に直したら、人に回す
• 品目が2つ以上なら、人に回す

手順2 1件ごとにログを書く

決まりに当てた結果を、1件1行で書き出す短いスクリプトを作りました。実際の出力です（抜粋・一部の項目を省略）。

{"run": 1, "no": 1, "結果": "自動で完了", "理由": [], "AIの要確認": null}
{"run": 1, "no": 8, "結果": "人に回した", "理由": ["「末・頃・まで」を日付に直した"], "AIの要確認": null}
{"run": 1, "no": 9, "結果": "人に回した", "理由": ["納期が空欄"], "AIの要確認": null}
{"run": 1, "no": 10, "結果": "人に回した", "理由": ["品目が2つ以上"], "AIの要確認": null}

理由を残すのがポイントです。 人に回る件数が多いとき、どの決まりに当たっているかで直す場所が分かります。

手順3 件数を数える

2回分のログを数えた結果です。

値は10件とも正解でした。 それでも、決まりに当たった3件は人が見ます。「10月末まで」を10月31日と読んだのは正しくても、それを確かめる手間は残ります。

手順4 削れた時間を計算する

ここから先は試算です。仮に人手で1件4分、人の確認が1件2分かかるとすると、10件で削れた時間は次のとおりです。

自動で完了 7件 × 4分 = 28分
人に回した 3件 × (4分 − 確認2分) = 6分
合計 34分

処理した10件に4分を掛けると40分です。6分の差は、人に戻ってきた分の手間です。件数が増えるほど、この差も大きくなります。

人が止める場所｜AIの自己申告で数えない

AIが自分から「要確認」を出したのは、1回目0件、2回目1件でした。自己申告の数で「人に回った件数」を数えると、0件か1件になり、削れた時間を多く見積もります。

だから私なら、人に回す判断も、数える判断も、AIの外の決まりで行います。ログのうち「人に回した」の行は、人が見て処理を終えたら閉じる運用にします。毎日の件数の見方はAIエージェントの運用ログの残し方に書きました。

うまくいかないときの直し方

• 人に回る件数が多すぎる……ログの理由を数え、いちばん多い理由から直す。元の情報に答えがあれば、決まりを1つ減らせる
• 人手の時間を測り忘れた……仮の値だと明記して計算する。次に入れる業務では、先に測る
• 件数は減ったのに、人の手間が減った実感がない……人の確認にかかる時間を測る。確認の時間が人手の時間に近いなら、決まりか画面の出し方を見直す

判定表｜何をどこで数えるか

会社全体の生産性の測り方は、AI導入の効果測定と労働生産性の式に書きました。

自社で作るのが大変なときの頼み先

ログを残す仕組みまで含めて外に頼むなら、AIエージェント開発会社おすすめ6選で頼む先を比べています。

削れた時間を数える前に、どの業務から任せるかを決める

効果を数えられるのは、任せる業務が決まってからです。当社のAI適合度診断は10問で、経営・活用・人材・データ・ルールの5分野から自社の現在地を点数にします。連絡先の入力は要りません。 ログを残す仕組みまで含めてAIエージェントを作る場合の費用の目安は、AI見積もりで先に確かめられます。

出典

• 入出力例とログは、当社の環境で架空の注文メール10件を OpenAI の Responses API（gpt-6-sol）で2回読み取り、当社で書いた仕分けのスクリプトに通した結果（2026年9月27日実行・2026年9月28日集計）