株式会社AIエージェント
BLOG

AIでLPの改善案を出す手順⁠|案5つを一度に変えると効果が測れない

ブログ約7分

白い紙に鉛筆で描かれたウェブページのワイヤーフレーム。画像枠や文字の行、再生ボタンが並ぶ
写真: Pexels / picjumbo.com

この記事でわかること

  • 生成AIに「LPの改善案を出して」と頼むと、見出し・料金表示・ボタン・機能の書き方・FAQの5つの案が並んだ。どれももっともらしいが、一度に変えると、どれが効いたか分からない。
  • 「1つだけ、測り方も書いて」と頼み直すと、見出しだけを変え、訪問者に半分ずつ出して資料ダウンロードの割合を比べる案が返った。効果の大きさは予想させていない。
  • 月2,000訪問のLPで、1%を1.5%に上げる差を見分けるには、各案で約7,700訪問(試算)、今の訪問数で約8か月かかる。小さなLPでは、テストの前に「どの差なら判断を変えるか」を人が決める。

LPの改善案は、生成AIに頼めば数十秒で出てきます。困るのは、出てきた案が多すぎることです。

架空の勤怠サービスのLPを渡して「改善案を出してください」と頼むと、見出し・料金表示・ボタン・機能の書き方・FAQの5つの案が並びました。どれも筋は通っています。ただ、5つを一度に変えると、資料ダウンロードが増えても、どれが効いたのか分かりません。 この記事では、AIの案を「測れる1つ」に絞る頼み方と、人が決める場所を、実際の入力と出力のまま書きます。

AIでLPの改善案を出す手順|この記事で作るもの

作るのは、変える場所・変えた後の文面・指標・判定の考え方の4つがそろった改善案1つです。生成AIには OpenAI の API(GPT-6 Sol)を使いました。ほかの生成AIでも、絞り方の考え方は同じです。

準備|LPの文面と今の数字だけを渡す

渡すのは、LPの見出し・本文・料金・ボタンの文面と、今の訪問数と成果の件数です。今回は架空のクラウド勤怠「タイムノート」のLPで、月の訪問2,000・資料ダウンロード20件としました。

アクセス解析の生データや、問い合わせをくれた人の情報は渡しません。どの情報を外部のAIに入れてよいかは生成AIの社内ルールの作り方にまとめました。

作る手順|案を出させ、1つに絞らせる

手順1 比べるために、そのまま頼んでみる

まず、条件をつけずに頼みました。

次のランディングページの改善案を出してください。

返ってきたのは、次の5つの案と、ファーストビューの書き換え例でした(見出しだけ抜粋)。

1. 見出しを課題・便益に寄せる
2. ファーストビューで料金条件まで伝える
3. CTAを目的別に分ける
4. 機能を「できること」から「利用場面」に変える
5. 申込前の疑問を解消する

測り方は、最後に「資料ダウンロード率は1%(20件/2,000訪問)を基準に…見出し・料金表示・CTA周辺を改善し、どこで離脱が減るか確認する」と1段落あるだけでした。3か所をまとめて変えたら、どこが効いたかは分けて測れません。

手順2 1つだけ、測り方も書かせる

指示を変えました。

改善案を1つだけ出してください。書くのは、①変える場所 ②変えた後の文面
③何で測るか(指標) ④判定に何件のデータが要るかの考え方。
効果の大きさ(何%上がる等)は予想しないでください。

返ってきた案です(原文のまま)。

① 変える場所:最初の見出しだけを変更する。
② 変えた後の文面:「中小企業の勤怠管理を、スマホ打刻からCSV出力まで。」
③ 何で測るか:訪問者のうち資料をダウンロードした人の割合。
  元の見出しと新しい見出しを、訪問者に半分ずつ表示して比較する。
④ 必要なデータ件数の考え方:…半分ずつ表示すると各案のダウンロードは月約10件と少ない。
  テスト前に「判断する価値がある最小の差」と統計上の判定基準を決め、…
  その件数に達するまでは判定しない。

効果の予想は書かず、「件数に達するまで判定しない」と自分で書いてきました。 ここまでそろえば、人は「この案を試すかどうか」だけを決めればよくなります。

手順3 必要な訪問数を試算する

AIは「最小の差を先に決める」と書きましたが、決めるのは人です。ここから先は当社の試算です。仮に「1%が1.5%になるなら見出しを変える」と決め、よく使われる有意水準5%・検出力80%で計算すると、次のとおりです。

各案に必要な訪問   約7,700
2案の合計         約15,500
今の訪問数(月2,000)で  約8か月

月2,000訪問のLPで、この差を確かめるには8か月ほどかかります。AIの案を10個試す時間は、小さなLPにはありません。 だから最初の1つを選ぶ判断が大事になります。

人が止める場所|差の大きさと打消し表示は人が決める

AIに任せられるのは、案を出すことと、4つの項目をそろえることまでです。次の3つは人が決めます。

  • どの差なら判断を変えるか……「1.5%になったら変える」のような線は、売上や手間から人が決める。AIの「何%上がる」という予想では決めない
  • どの案から試すか……訪問数が少ないほど、差の大きそうな変更(見出しや申し込みの条件)から選ぶ
  • 打消し表示……「無料」「月額◯円」の近くに条件が書いてあるか

消費者庁の報告書は、強調表示は「無条件、無制約に当てはまるものと一般消費者に受け止められる」ため、例外条件があるときは打消し表示を「分かりやすく適切に行わなければ」一般消費者に誤認される、と書いています。今回の手順1の案は「初月無料は年間契約のお申し込みに限ります」を残していましたが、1回の試行なので、毎回残るとは限りません。 条件の書き方は生成AIで広告コピーを作る手順にも書きました。

うまくいかないときの直し方

  • 案が1つに絞られない……「1つだけ」を指示の最初と最後の2か所に書く。それでも複数出たら、人が1つ選び、残りは次回の候補として取っておく
  • 「◯%改善」と予想を書いてくる……予想は捨てる。判定の線は人が決めた数字を使う
  • 訪問数が少なすぎて判定できない……差の大きい変更に絞るか、判定の期間を先に決めて、期間が来たら結果をそのまま記録する。誰に向けたLPかが曖昧なら、先にAIでのペルソナの作り方で顧客の像を決める

判定表|AIに任せてよい範囲と、人が決めること

作業AIに任せてよいか人が確かめること
改善案の洗い出し任せてよい事実にない特徴や数字が混ざっていないか
1つに絞った案の4項目任せてよい変える場所が1つだけか
判断を変える差の大きさ任せない売上や手間から人が決める
必要な訪問数の計算計算は任せてよい前提(差・基準)が人の決めたものか
料金・「無料」の表示任せない打消し表示が近くにあるか
公開と結果の判定任せない件数に達してから判定したか

効果の数え方をログから組み立てる考え方は、AIエージェントの効果測定のやり方に書きました。

自社でやるのが大変なときの頼み先

LPの改善や広告の運用まで外に頼むなら、AIがどこを受け持つかで会社やツールが分かれます。AIマーケティングツールおすすめ7選で違いを比べました。

LPを直す前に、どの手間から減らすかを決める

LPの改善は、集客の手間の一部です。当社のAI適合度診断は10問で、経営・活用・人材・データ・ルールの5分野から自社の現在地を点数にします。連絡先の入力は要りません。 改善案の洗い出しから測定までを仕組みにする場合の費用の目安は、AI見積もりで先に確かめられます。

出典

よくある質問

生成AIにLPの改善案を頼むと何が返りますか?
今回試すと、見出し、料金表示、ボタン、機能の書き方、FAQの5つの案と、書き換えた文案が返りました。案そのものは筋が通っていますが、全部を一度に変えると、問い合わせが増えても減っても、どの変更が効いたのか分からなくなります。
AIにはどう頼めばいいですか?
案を1つだけにし、変える場所、変えた後の文面、何で測るか、判定に何件のデータが要るかの4つを書かせます。効果が何%上がるかは予想させません。予想の数字は根拠がなく、判断を引っぱるからです。
訪問数が少ないLPでもABテストはできますか?
できますが、時間がかかります。今回の試算では、月2,000訪問のLPで資料ダウンロード率1%を1.5%に上げる差を見分けるのに、各案で約7,700訪問、今の訪問数で約8か月かかりました。待てない場合は、差の大きい変更に絞るか、判定の前提を人が決めます。
AIの案をそのまま載せてもいいですか?
おすすめしません。料金や「無料」のような強調には、条件が近くに書いてあるかを人が確かめます。今回の案は初月無料の条件を残していましたが、毎回残るとは限りません。
LPの改善ごと外に頼むこともできますか?
できます。LPの改善や広告の運用まで頼める会社は、AIがどこを受け持つかで分かれます。AIマーケティングツールの比較記事で違いをまとめました。

佐野 泰規株式会社AIエージェント 代表取締役

中小企業のAI導入を、方針づくりから開発・運用まで支援しています。経営メッセージ

この記事は、旧サイト(www.stellacreation.com)にも同じ内容で掲載しています。旧サイトで読む

ブログの一覧へ

何をAIに任せるか、ご相談ください。