株式会社AIエージェント
BLOG

AIエージェントの効果測定のやり方⁠|10件中3件は人に戻っていた

ブログ約5分

白い大理石の天板に置かれた、ゼロのままのストップウォッチ画面を表示したスマートフォン
写真: Pexels / Image Hunter

この記事でわかること

  • AIエージェントの効果は、「処理した件数」ではなく「人に回った件数を引いた数」で測る。
  • 架空の注文メール10件で試すと、2回とも自動で完了は7件、人に回したのは3件だった。値はどれも正解と一致していたが、決まりに当たった3件は人が見る。
  • AIが自分から「要確認」を出したのは1回目0件・2回目1件。 自己申告で数えると、人に回る件数を少なく、削れた時間を多く見積もる。
  • だから1件ごとに「自動で完了/人に回した」と理由をログに残し、そこから時間を計算する。

AIエージェントを入れたあと、「どれだけ時間が削れたか」を聞かれて、処理した件数に1件あたりの時間を掛けて答えたくなります。それだと、人に戻ってきた分が数に入りません。

架空の注文メール10件をAIで読み取り、止める決まりで仕分けたログを残しました。2回とも、自動で完了したのは7件、人に回したのは3件でした。 この記事では、削れた時間を後から数えられる形にするログの残し方と計算を、実際の出力のまま書きます。

AIエージェントの効果測定のやり方|この記事で作るもの

作るのは、1件ごとに「自動で完了/人に回した」と理由が残るログと、そこから削れた時間を出す計算です。試行には、前回の記事AIエージェントとRPAの違いで使った架空の注文メール10件と、OpenAI の API(GPT-6 Sol)の読み取り結果を使いました。

準備|入れる前に、人手の時間を測っておく

いちばん大事な準備は、AIを入れる前に、同じ仕事を人がやったときの時間を数件測っておくことです。入れた後では、人手の時間はもう測れません。

使うデータは架空のダミーにします。どの情報を外部のAIに入れてよいかは生成AIの社内ルールの作り方にまとめました。

作る手順|1件ごとに結果と理由を残す

手順1 止める決まりを先に書く

AIの読み取り結果の後ろに、AIではない決まりを置きます。今回は次の3つです。

  • 納期が空欄なら、人に回す
  • 「末」「頃」「まで」を日付に直したら、人に回す
  • 品目が2つ以上なら、人に回す

手順2 1件ごとにログを書く

決まりに当てた結果を、1件1行で書き出す短いスクリプトを作りました。実際の出力です(抜粋・一部の項目を省略)。

{"run": 1, "no": 1, "結果": "自動で完了", "理由": [], "AIの要確認": null}
{"run": 1, "no": 8, "結果": "人に回した", "理由": ["「末・頃・まで」を日付に直した"], "AIの要確認": null}
{"run": 1, "no": 9, "結果": "人に回した", "理由": ["納期が空欄"], "AIの要確認": null}
{"run": 1, "no": 10, "結果": "人に回した", "理由": ["品目が2つ以上"], "AIの要確認": null}

理由を残すのがポイントです。 人に回る件数が多いとき、どの決まりに当たっているかで直す場所が分かります。

手順3 件数を数える

2回分のログを数えた結果です。

実行自動で完了人に回したAIが自分から要確認を出した値が正解と一致
1回目7件3件0件10件
2回目7件3件1件(No.9)10件

値は10件とも正解でした。 それでも、決まりに当たった3件は人が見ます。「10月末まで」を10月31日と読んだのは正しくても、それを確かめる手間は残ります。

手順4 削れた時間を計算する

ここから先は試算です。仮に人手で1件4分、人の確認が1件2分かかるとすると、10件で削れた時間は次のとおりです。

自動で完了 7件 × 4分 = 28分
人に回した 3件 × (4分 − 確認2分) = 6分
合計 34分

処理した10件に4分を掛けると40分です。6分の差は、人に戻ってきた分の手間です。件数が増えるほど、この差も大きくなります。

人が止める場所|AIの自己申告で数えない

AIが自分から「要確認」を出したのは、1回目0件、2回目1件でした。自己申告の数で「人に回った件数」を数えると、0件か1件になり、削れた時間を多く見積もります。

だから私なら、人に回す判断も、数える判断も、AIの外の決まりで行います。ログのうち「人に回した」の行は、人が見て処理を終えたら閉じる運用にします。毎日の件数の見方はAIエージェントの運用ログの残し方に書きました。

うまくいかないときの直し方

  • 人に回る件数が多すぎる……ログの理由を数え、いちばん多い理由から直す。元の情報に答えがあれば、決まりを1つ減らせる
  • 人手の時間を測り忘れた……仮の値だと明記して計算する。次に入れる業務では、先に測る
  • 件数は減ったのに、人の手間が減った実感がない……人の確認にかかる時間を測る。確認の時間が人手の時間に近いなら、決まりか画面の出し方を見直す

判定表|何をどこで数えるか

数えるものどこから取るか誰が見るか
自動で完了した件数ログの「自動で完了」の行月に1回、担当者
人に回した件数と理由ログの「人に回した」の行毎日、処理する人
人手の1件あたりの時間入れる前の実測入れる前に1回
人の確認にかかる時間人に回した分の実測月に1回、担当者
会社全体の生産性決算の数字経営者

会社全体の生産性の測り方は、AI導入の効果測定と労働生産性の式に書きました。

自社で作るのが大変なときの頼み先

ログを残す仕組みまで含めて外に頼むなら、AIエージェント開発会社おすすめ6選で頼む先を比べています。

削れた時間を数える前に、どの業務から任せるかを決める

効果を数えられるのは、任せる業務が決まってからです。当社のAI適合度診断は10問で、経営・活用・人材・データ・ルールの5分野から自社の現在地を点数にします。連絡先の入力は要りません。 ログを残す仕組みまで含めてAIエージェントを作る場合の費用の目安は、AI見積もりで先に確かめられます。

出典

  • 入出力例とログは、当社の環境で架空の注文メール10件を OpenAI の Responses API(gpt-6-sol)で2回読み取り、当社で書いた仕分けのスクリプトに通した結果(2026年9月27日実行・2026年9月28日集計)

よくある質問

AIエージェントの効果は何で測りますか?
処理した件数ではなく、自動で完了した件数と、人に回した件数を分けて数えます。そのうえで、人手でやっていたときの1件あたりの時間を掛けます。人に回した分は、人の確認時間を差し引いて数えます。
AIが出す「要確認」を数えればいいのではないですか?
それだけでは足りません。今回試すと、同じ10件でもAIが自分から要確認を出したのは1回目0件、2回目1件でした。止める決まりで数えると3件が人に回っていたので、自己申告だけでは効果を多く見積もります。
人手の時間はどう測りますか?
入れる前に、同じ仕事を人がやったときの時間を数件だけ測っておきます。入れた後では測れなくなるので、先に測るのがいちばん大事です。測れなかった場合は、仮の値だと明記して計算します。
ログには何を残せばいいですか?
1件ごとに、処理した日時、自動で完了したか人に回したか、人に回した理由の3つです。理由があると、人に回る件数が多いときに、元の情報や決まりのどこを直せばよいかが分かります。
会社全体の効果はどう測りますか?
AIエージェント1本の効果と、会社全体の生産性は別に測ります。会社全体は、補助金の公募要領にある労働生産性の式のように、営業利益や人件費から出す定義を使うと揉めにくくなります。

佐野 泰規株式会社AIエージェント 代表取締役

中小企業のAI導入を、方針づくりから開発・運用まで支援しています。経営メッセージ

この記事は、旧サイト(www.stellacreation.com)にも同じ内容で掲載しています。旧サイトで読む

ブログの一覧へ

何をAIに任せるか、ご相談ください。