株式会社AIエージェント

AIでLPの改善案を出す手順|案5つを一度に変えると効果が測れない

生成AIでLPの改善案を出す手順を、架空の勤怠サービスのLP(月2,000訪問・資料ダウンロード20件)で試しました。そのまま頼むと見出し・料金表示・ボタンなど5つの案が並び、全部を一度に変えると、どれが効いたか分からなくなります。「1つだけ・測り方も」と頼み直すと、変える場所・文面・指標・判定の考え方がそろった案が返りました。

佐野 泰規佐野 泰規株式会社AIエージェント 代表取締役約7分で読めます
生成AIにLPの改善案をそのまま頼んだ場合の5つの案と、1つだけ・測り方もと頼んだ場合の案を並べ、必要な訪問数の試算を添えた図
図版=株式会社AIエージェント(当社環境での試行結果と試算をもとに作成)

LPの改善案は、生成AIに頼めば数十秒で出てきます。困るのは、出てきた案が多すぎることです。

架空の勤怠サービスのLPを渡して「改善案を出してください」と頼むと、見出し・料金表示・ボタン・機能の書き方・FAQの5つの案が並びました。どれも筋は通っています。ただ、5つを一度に変えると、資料ダウンロードが増えても、どれが効いたのか分かりません。 この記事では、AIの案を「測れる1つ」に絞る頼み方と、人が決める場所を、実際の入力と出力のまま書きます。

AIでLPの改善案を出す手順|この記事で作るもの

作るのは、変える場所・変えた後の文面・指標・判定の考え方の4つがそろった改善案1つです。生成AIには OpenAI の API(GPT-6 Sol)を使いました。ほかの生成AIでも、絞り方の考え方は同じです。

準備|LPの文面と今の数字だけを渡す

渡すのは、LPの見出し・本文・料金・ボタンの文面と、今の訪問数と成果の件数です。今回は架空のクラウド勤怠「タイムノート」のLPで、月の訪問2,000・資料ダウンロード20件としました。

アクセス解析の生データや、問い合わせをくれた人の情報は渡しません。どの情報を外部のAIに入れてよいかは生成AIの社内ルールの作り方にまとめました。

作る手順|案を出させ、1つに絞らせる

手順1 比べるために、そのまま頼んでみる

まず、条件をつけずに頼みました。

次のランディングページの改善案を出してください。

返ってきたのは、次の5つの案と、ファーストビューの書き換え例でした(見出しだけ抜粋)。

1. 見出しを課題・便益に寄せる
2. ファーストビューで料金条件まで伝える
3. CTAを目的別に分ける
4. 機能を「できること」から「利用場面」に変える
5. 申込前の疑問を解消する

測り方は、最後に「資料ダウンロード率は1%(20件/2,000訪問)を基準に…見出し・料金表示・CTA周辺を改善し、どこで離脱が減るか確認する」と1段落あるだけでした。3か所をまとめて変えたら、どこが効いたかは分けて測れません。

手順2 1つだけ、測り方も書かせる

指示を変えました。

改善案を1つだけ出してください。書くのは、①変える場所 ②変えた後の文面
③何で測るか(指標) ④判定に何件のデータが要るかの考え方。
効果の大きさ(何%上がる等)は予想しないでください。

返ってきた案です(原文のまま)。

① 変える場所:最初の見出しだけを変更する。
② 変えた後の文面:「中小企業の勤怠管理を、スマホ打刻からCSV出力まで。」
③ 何で測るか:訪問者のうち資料をダウンロードした人の割合。
  元の見出しと新しい見出しを、訪問者に半分ずつ表示して比較する。
④ 必要なデータ件数の考え方:…半分ずつ表示すると各案のダウンロードは月約10件と少ない。
  テスト前に「判断する価値がある最小の差」と統計上の判定基準を決め、…
  その件数に達するまでは判定しない。

効果の予想は書かず、「件数に達するまで判定しない」と自分で書いてきました。 ここまでそろえば、人は「この案を試すかどうか」だけを決めればよくなります。

手順3 必要な訪問数を試算する

AIは「最小の差を先に決める」と書きましたが、決めるのは人です。ここから先は当社の試算です。仮に「1%が1.5%になるなら見出しを変える」と決め、よく使われる有意水準5%・検出力80%で計算すると、次のとおりです。

各案に必要な訪問   約7,700
2案の合計         約15,500
今の訪問数(月2,000)で  約8か月

月2,000訪問のLPで、この差を確かめるには8か月ほどかかります。AIの案を10個試す時間は、小さなLPにはありません。 だから最初の1つを選ぶ判断が大事になります。

人が止める場所|差の大きさと打消し表示は人が決める

AIに任せられるのは、案を出すことと、4つの項目をそろえることまでです。次の3つは人が決めます。

  • どの差なら判断を変えるか……「1.5%になったら変える」のような線は、売上や手間から人が決める。AIの「何%上がる」という予想では決めない
  • どの案から試すか……訪問数が少ないほど、差の大きそうな変更(見出しや申し込みの条件)から選ぶ
  • 打消し表示……「無料」「月額◯円」の近くに条件が書いてあるか

消費者庁の報告書は、強調表示は「無条件、無制約に当てはまるものと一般消費者に受け止められる」ため、例外条件があるときは打消し表示を「分かりやすく適切に行わなければ」一般消費者に誤認される、と書いています。今回の手順1の案は「初月無料は年間契約のお申し込みに限ります」を残していましたが、1回の試行なので、毎回残るとは限りません。 条件の書き方は生成AIで広告コピーを作る手順にも書きました。

うまくいかないときの直し方

  • 案が1つに絞られない……「1つだけ」を指示の最初と最後の2か所に書く。それでも複数出たら、人が1つ選び、残りは次回の候補として取っておく
  • 「◯%改善」と予想を書いてくる……予想は捨てる。判定の線は人が決めた数字を使う
  • 訪問数が少なすぎて判定できない……差の大きい変更に絞るか、判定の期間を先に決めて、期間が来たら結果をそのまま記録する。誰に向けたLPかが曖昧なら、先にAIでのペルソナの作り方で顧客の像を決める

判定表|AIに任せてよい範囲と、人が決めること

作業AIに任せてよいか人が確かめること
改善案の洗い出し任せてよい事実にない特徴や数字が混ざっていないか
1つに絞った案の4項目任せてよい変える場所が1つだけか
判断を変える差の大きさ任せない売上や手間から人が決める
必要な訪問数の計算計算は任せてよい前提(差・基準)が人の決めたものか
料金・「無料」の表示任せない打消し表示が近くにあるか
公開と結果の判定任せない件数に達してから判定したか

効果の数え方をログから組み立てる考え方は、AIエージェントの効果測定のやり方に書きました。

自社でやるのが大変なときの頼み先

LPの改善や広告の運用まで外に頼むなら、AIがどこを受け持つかで会社やツールが分かれます。AIマーケティングツールおすすめ7選で違いを比べました。

LPを直す前に、どの手間から減らすかを決める

LPの改善は、集客の手間の一部です。当社のAI適合度診断は10問で、経営・活用・人材・データ・ルールの5分野から自社の現在地を点数にします。連絡先の入力は要りません。 改善案の洗い出しから測定までを仕組みにする場合の費用の目安は、AI見積もりで先に確かめられます。

出典

自社の場合、いくら?

作りたいものを入力するだけで、AIが約3分で概算見積もりを作成します。一般的なSIer相場との比較つき、無料・営業からのしつこい連絡はありません。

AIで概算見積もり(無料) →

先に費用の目安を知りたい方は用途別の費用相場へ。

あわせて読みたい

← ブログ一覧へ戻る