1,000件以上のA/Bテスト事例を分析！短期で効果の出るA/Bテスト設計ガイド株式会社アッション 1 ⽬次 1章：A/Bテストするべきページの発⾒⽅法 2章：A/Bテスト期間とユーザー数の設計⽅法 3章：最新！今すぐ使えるA/Bテスト7つの王道 4章：A/Bテスト⼯数を削減するVWOとは？ 2 ⽬次 1章：A/Bテストするべきページの発⾒⽅法 2章：A/Bテスト期間とユーザー数の設計⽅法 3章：最新！今すぐ使えるA/Bテスト7つの王道 4章：A/Bテスト⼯数を削減するA/Bテストツールとは？ 3 1章：A/Bテストするべきページの発⾒⽅法テストで最短で効果を上げるためには、コンバージョンしたユーザーが通過する確率の最も⾼いページ遷移ルート（ゴールデンパス）を解明し、そのルートの後ろからテストを実施しましょう。ゴールデンパスの例旅館予約サイトの場合宿名で検索 3 宿詳細ページ 2 ログイン or登録選択ページ予約完了 1 会員登録ページ会員登録完了ページ上記のサイトの場合、ユーザーの予約完了に最も近いページ、会員登録ページからA/Bテストを実施していく。その後ログインor登録選択ページ、宿詳細ページ、の順にテストを実施する。短期で効果を出すためには「コンバージョン直前のページ、かつコンバージョンにつながるユーザーが集まるページ」からテストしなければならない。 TOPページはPVが多いためテストしたくなるが、コンバージョン貢献度が低いことが多いため A/Bテストしても短期で劇的なCVR向上をもたらす例は稀である。 4 1章：A/Bテストするべきページの発⾒⽅法どうやってゴールデンパスを発⾒すればいいのか・・・ゴールデンパスの発⾒には等解析ツールのページ貢献度指標や⽬標到達分析を活⽤しましょう。皆さんがご利⽤のアクセス解析ツールに搭載されている "CVユーザーの遷移プロセス"解析レポートを閲覧したり、ページやディレクトリごとのCV貢献度指標を閲覧したりすることで "どのページがCVに貢献しているのか？"、 "コンバージョンしたユーザーはどのページ・ディレクトリをよく⾒ているのか？"といった傾向がわかります。 Google Analyticsの"⽬標への遷移"レポート 5 1章：A/Bテストするべきページの発⾒⽅法 Google Analyticsの"すべてのページ"レポート Google Analytics等の各種解析ツールでコンバージョンの価値を設定しておけば、ページごとのコンバージョン貢献度を表⽰してくれます。ページごとのコンバージョン貢献度を⾒ながら、どのようなページがコンバージョン貢献度が⾼いのかを⾒極めれば、短期で効果のあがるA/Bテストすべきページが⾒つかります。 6 ⽬次 1章：A/Bテストするべきページの発⾒⽅法 2章：A/Bテスト期間とユーザー数の設計⽅法 3章：最新！今すぐ使えるA/Bテスト7つの王道 4章：A/Bテスト⼯数を削減するA/Bテストツールとは？ 7 2章：A/Bテスト期間とユーザー数の設計⽅法 A/Bテストは下記2つの条件を満たすように設計するようにしましょう。 1. 期間は1週間以上 2. テストしているページそれぞれが2,000UU獲得する期間は最低1週間は実施するようにしましょう。これは曜⽇要因までテスト結果に正確に反映させるようにするためです。 Google Analytics等の解析ツールとデータ連携した上で A/Bテストを実施すれば、曜⽇ごとにどのページがどのようなユーザーデータを⽣み出しかを分析することができます。皆様が思っている以上に、 "平⽇はページAがCVRが⾼いけど、⼟⽇/祝⽇はページXの⽅が定常的に CVRが⾼くなる"といったような傾向があるサイトは多いため、後からしっかりと分析できるようにしておきましょう。ユーザー数は"各ページが2,000UU獲得するまで"を⽬安にしましょう。 3ページで⽐較しているなら2,000UU/ページ×3ページ=6,000UU、 5ページでテストしているなら2,000UU/ページ×5ページ=10,000UUを元のテスト対象ページが獲得できる⽇数が必要と推定できます。 1,000件以上のA/Bテストを積み重ねてきた結果として、各ページが2,000UUを獲得した以降にテスト結果がひっくり返ったことは12回しかありませんでした。各ページ2,000UU程度獲得した際のテスト結果・順位は、その後も99%変動しない、ということです。参考）・アッションブログ【統計・有意差・検定を知ってる？】A/Bテストの2つの間違った計測⽅法事例 http://www.assion.co.jp/blog/abtest-mistakes/ 8 2章：A/Bテスト期間とユーザー数の設計⽅法テストが前項の2つの条件を満たした後はテスト結果が信⽤できるかどうかチェックしましょう実施しているテストが前項の2条件を満たしたあとは、 "テストで得られた結果が信⽤できるかどうか"を統計的にチェックしましょう。そのチェックには"t検定"または"カイ2乗検定"を使⽤します。これらの数学的計算⽅法がなにをするのかというと、 "ある⺟集団が将来的に取りうる値（CVR）の範囲を求め、将来的にも今の優勝⺟集団がずっと優勝者であり続けるか"を判定しています。 "テストデータから、ページBがページYより0.6ポイントCVRが⾼くなる、という結果はこの先1年、3年、未来永劫続くといえるのか？" を検証するわけです。しかし、このような統計的検証は少し近寄り難い・・・という⽅にオススメの、もっと簡易的な、テスト結果を視覚的に表⽰し判断しやすくしてくれるツールを次のページでご紹介します。参考）・アッションブログ【統計・有意差・検定を知ってる？】A/Bテストの2つの間違った計測⽅法事例 http://www.assion.co.jp/blog/abtest-mistakes/ 9 2章：A/Bテスト期間とユーザー数の設計⽅法 A/B test interpreter*を使えばテスト結果の信頼性が視覚的にすぐにわかります A/B test interpreterに実施したテストページごとの UU数とCV数を⼊⼒すると、 "95%の信頼度で各ページが取りうるCVRの値の範囲"を計算しグラフ化してくれます。下図右側のグラフのように図のグラフ部分が全く重ならなければおおよそテスト結果は信⽤できると判断してよいでしょう。⼀⽅、左側グラフのように重なってしまった場合は、テスト内容が悪いためあまり差がつかなったと判断し、別のテストを試すことをオススメします。 *A/B test interpreter http://web-analytics-or-die.org/abtest/ 出典）・Web Analytics or Die A/Bテストの結果をどのように解釈するか？ http://web-analytics-or-die.org/2011/08/how_to_interpret_abtest/ 10 ⽬次 1章：A/Bテストするべきページの発⾒⽅法 2章：A/Bテスト期間とユーザー数の設計⽅法 3章：最新！今すぐ使えるA/Bテスト7つの王道 4章：A/Bテスト⼯数を削減するA/Bテストツールとは？ 11 3章：最新！今すぐ使えるA/Bテストの王道王道1:縦⻑ページにページ内リンクを挿⼊するこの⽅法はスマートフォンで顕著に有効です。製品⼀覧ページなど縦⻑ページでユーザーは、とりあえず最下部まで閲覧する、という⾏動をとりがち。その後、今いるページに興味があるにも関わらず、ページ内の上下動が⼿間なためにページ下部のリコメンドやフッダーリンクから別ページに遷移してしまう傾向が強いです。そこで上下動の⼿間をなくすために、ページ内にいくつかページ内リンクを設置してあげましょう。そのページ内でユーザーがほしい情報のありかにすぐに戻れるようにしてあげることでCVRが向上します。事例：協和（フラコラ）様、オルビス様、四季の旅様などデバイス：SP 12 3章：最新！今すぐ使えるA/Bテストの王道王道2:読ませたいコンテンツを横スライド式にするこちらはスマートフォンページ限定の⽅法です。「これを読めばCV確率が絶対にあがる！」と思うコンテンツ部分を横スライド式の表⽰⽅法に変更すると、その部分のユーザー閲覧度は⾶躍的に向上します。理由は、横スライドの動作はユーザーにとって"引っかかり"、なにかおかしな部分、になるからです。スマートフォンユーザーにとって縦スクロールは⽇常動作。しかもスルスルスクロールできてしまうから企業側が伝えたいメッセージ部分も簡単に読み⾶ばせてしまいます。しかしそこでページ内に"横スライド"を取り⼊れてあげることでユーザーは⽇常動作と違う動きができる箇所に興味をもち、しっかりと読んでくれるようになり、結果的にCVRを向上させます。お客様事例や製品機能紹介を横スライド化しCVRを向上させた例は⾮常に多いです。事例：電⼦書籍販売企業様などデバイス：SP 電⼦書籍なら●● 書籍紹介画像1 電⼦書籍なら●● スワイプで⽴ち読み！書籍紹介画像1 書籍紹介を横スライド式に変更して CVRが2.2倍に向上。書籍紹介画像2 今すぐ会員登録する書籍紹介画像3 今すぐ会員登録する 13 3章：最新！今すぐ使えるA/Bテストの王道王道3:電話タップを受付時間外は解除するこちらもスマートフォンページで有効です。タップで電話がかけられるボタンがあるとどうしても電話CVが多くなりがち。しかし、企業側には電話対応可能時間があることが⼀般的です。ユーザーが対応時間外に電話をかけてしまい"営業時間外です"というメッセージを聞くまえに、対応時間外だけ電話タップリンクを解除しましょう。加えて、「メールで問い合わせてください」というボタンに変更するとさらにCV総数が向上します。考えればすぐにわかるメッセージも、ユーザーが瞬時に判断できるようにしっかりと視覚的に伝えるよう⼼がけましょう。事例：⼠業系のお客様、地⽅発の通販系企業様などデバイス：SP 午前9時〜午後8時それ以外の時間アッション法律事務所アッション法律事務所メールで問い合わせるメールで問い合わせる今すぐ電話で質問 0120-000-000 この時間はメールでお問合せ下さい。この対応をしてメール+電話の合計CV数が 34%向上。 14 3章：最新！今すぐ使えるA/Bテストの王道王道4:メルマガ流⼊ユーザーに限定し無駄なリンクを削除メルマガ経由で製品・サービス詳細ページに訪問したユーザーに限定しヘッダーやサイドバーなどの余計なリンクを削除してあげましょう。メルマガ内では概して製品やサービスを詳細に説明している事が多いので、ユーザーは紹介したモノに興味をもってページを訪問しています。そのため、その興味があるモノに集中してもらえるよう、無駄なリンクは削除しておくことでCVRは向上します。事例：THE BODY SHOP様などデバイス：PC 元のCVRを 100とすると CVRが 129に向上。 15 3章：最新！今すぐ使えるA/Bテストの王道王道5:CTAボタン⽂⾔の変更フォームやカートに遷移させるボタンを「購⼊する」、「お問合せはこちら」ではなくユーザーが享受する最終メリットを想起できるものに変更することでクリック率とCVRの向上を図ります。事例：⼤⼿保険⾒直しポータル運営企業様などデバイス：PC CTAボタン⽂⾔ CVR 改善率「保険の無料相談を予約する」 3.45% - 「保険料節約を無料相談する」 5.49% +59.22% 16 3章：最新！今すぐ使えるA/Bテストの王道王道6:ユーザー閲覧率が⾼い情報をファーストビューに挿⼊ヒートマップを活⽤しユーザーがじっくりと読み込んでいる箇所に記載されている情報をファーストビューに盛り込んであげましょう。よく閲覧される情報は、競合⽐較表、お客様事例、機能・性能紹介、キャンペーン情報などの場合が多いです。事例：⼤⼿保険⾒直しポータル運営企業様、ジェイック様などデバイス：PC ⽬標地点 CVR 改善率⾦額訴求なし 5.14% - ⾦額訴求あり 7.27% +41.27% 17 3章：最新！今すぐ使えるA/Bテストの王道王道6:ユーザー閲覧率が⾼い情報をファーストビューに挿⼊ヒートマップ例：ページ中程〜下部にあるにも関わらず、ユーザーが注視している箇所に注⽬しましょう。 18 3章：最新！今すぐ使えるA/Bテストの王道王道7:ユーザーヒアリングによりメインコピーを改善⾃社やマーケターの皆様が提案するマーケティングメッセージとユーザーが本当に求めているメッセージの乖離をユーザーヒアリングから導き出してCVRを改善するパターン。購⼊者やユーザーサポート担当者、B to Bの場合は営業マンに "なぜ⾃社商品が選ばれるのか？"を徹底的に聞くことで⾃社が選ばれる理由を解明し、WEBサイト内に盛り込みましょう。事例：⼤⼿証券会社様、ジェイック様などデバイス：PC 元のCVRを 100とすると CVRが 210に向上。 19 ⽬次 1章：A/Bテストするべきページの発⾒⽅法 2章：A/Bテスト期間とユーザー数の設計⽅法 3章：最新！今すぐ使えるA/Bテスト7つの王道 4章：A/Bテスト⼯数を削減するA/Bテストツールとは？ 20 Visual Website Optimizerとは？ Visual Website Optimizer（略称VWO）とは既存のWebサイトの⽬標達成率を向上させる⽅法を⾒つけられるA/Bテストツール*です。 Webサイトの⽬標とは、売上げや問合せ数のこと。 VWOを使えば「どういうページがより多くの売上・問合せ数を獲得できるか？」を簡単に⾒つけることができます。 A/Bテストを実⾏する⼈的・時間的リソースが⾜りない企業様にピッタリのツールということです。 ※A/Bテストツールとは・・・ JavaScriptのタグをWebサイトヘッダーに挿⼊することで、 HTMLやCSSファイルを変更することなく、擬似的にデザイン・レイアウトを変更した"お⾯" を⽣成しユーザーに出し分けることで、ページファイルを複製する⼿間なくA/Bテストを可能にするツールの総称。 21 国内独占パートナーアッションが導⼊サポート × 英語版でしか提供されていなかったVWOですが、⽇本唯⼀の公認パートナーであるアッションが⽇本企業へのVWO導⼊を⼿厚くサポートしています。現在国内300社の導⼊実績を誇ります。 2013年10⽉7⽇付⽇本経済新聞13⾯「新興・中⼩企業」に掲載されました。 22 A/Bテスト・LPOコンサルティング実績 A/Bテストツールを導⼊したのはいいけどどうテストしていいかわからない・・・というお客様のお悩みにお応えしてきた結果、アッションは累計1,000回以上のA/Bテストコンサルティング実績を保有しています。その他の実績（⼀部）保険⽐較サイト運営H社東証⼀部証券会社M社医療機器G社美容サプリメントG社企業研修H社 PC周辺機器L社⼤⼿転職⽀援サイト運営企業決済システム開発企業 ITシステム開発企業電⼦書籍サイト運営企業リゾート留学紹介サイト運営企業ポイントサイト運営企業様 23 VWOツールご利⽤のお客様の声 Cloud-Payment 24 A/Bテストツール導⼊の4つのメリット 1 2 導⼊が簡単⾃動解析機能導⼊に必要な作業はタグ挿⼊だけ。 1度タグを挿⼊すればその後無制限にテストを実施可能。変更前と変更後のどちらのページが優秀なのか⾃動で通知。⾯倒な解析作業は不要。 4 3 プログラミング知識不要 VWO導⼊後はPC画⾯からワンクリックでテスト作成可能。システムを変更したり、プログラムを書いたり、という作業は全く発⽣しません。⼤幅なコストカット 1度導⼊すれば Web担当者1⼈だけで作業可能。通常のA/Bテストに必要なエンジニアやデザイナーの⼈件費が⼤幅にカットできます。 25 VWO導⼊⽅法および使い⽅ 26 テストページ作成画⾯例タグ挿⼊後はPC画⾯からワンクリックで様々なページ編集が可能です例えば上の画⾯でPC内に保存してある画像を選択すれば、サイト内の画像をワンクリックで変更できます。その後どちらのページがユーザーから反響の取れるページであるか⾃動で解析してくれます。 27 ⾃動解析結果画⾯例各テストページの⽬標達成率や元のページに対しての改善率を⼀覧で表⽰しますテスト名称各テストバージョンの閲覧者数に対するゴールの達成率（CVR）テストする前のページと⽐較した場合のゴール達成率改善割合上の例の場合、上から2番⽬のページが元のページ（⼀番上）よりも⽬標を達成する割合が380%⾼い、ということを⽰しています。 28 競合ツール機能⽐較早⾒表 VWOはページ読み込み速度を落とさない、 PC・スマホのヒートマップ機能付き、トラブルが少ないという点がVWOが選ばれる理由です。 Optimize ly 価格約35万円〜/⽉ *年間$36,000 ページ読込速度ヒートマップ／クリックマップドメイン数制限その他 10万円〜/⽉（⽇本語サポート付） Kaizen Platform ⽉額50万円〜/⽉ *最低2年契約遅い早い遅いなしあり (テストパターン毎作成) なしあり（プランに依存）なしなし知名度No.1 ⾮同期の JavaScript タグを使⽤ A/Bテストをクラウドソージングできる 29 Optimizelyとの違い・⽐較表世界的に有名なA/BテストツールOptimizelyと⽐較して VWOの優れている点と劣っている点を記載します。 VWOの⽅が優れている点 ■テストページごとのヒートマップが⾒れる ■⾮同期型のタグのため、ページ読み込み速度にほとんど影響がない＝＞Optimizelyを使っていて、弊社ツールに乗り換えていただくお客様はこの理由が多いです。 ■開発元企業と直接弊社がやりとりするため、お客様ごとのカスタマイズの融通が効く ■Optimizelyの価格改定により、弊社ツールの⽅が最低ご契約⾦額が1/3程度 VWOの⽅が劣っている点 ■国内の導⼊実績が少ない＝＞弊社ツールはサポートの質を担保するため、弊社直販にこだわっており国内導⼊社数が現在280社ほどです。 Optimizelyは代理店戦略をとっているため、国内導⼊者数は800 社を超えています。 ■管理画⾯が英語のみ＝＞弊社から詳細な⽇本語版ご説明書をお渡しすることで解消可能です。 30 VWOの⾮同期型JSタグの利点 VWOのJavaScriptタグは⾮同期タグとなっています。そのため元のHTML、CSSの読み込みに影響を与えず、ページ読み込み速度の⾼速化、ページ表⽰不具合の回避に強みをもっています。この点は海外ツールOと決定的に異なる点です。⾮同期タグなら、サーバーダウン時に、ページが表⽰されないなどの不具合が発⽣するリスクがない⾮同期タグなら、テストパターンの表⽰速度が遅い理由によるユーザーストレスが少ない 31 VWO導⼊までの検討事例⼤規模B to Cサイト運営企業のエンジニアやWEBチームの皆様など、サイトパフォーマンスにこだわるお客様ほど、数あるABテストツールの中からVWOをお選びいただいております。エピソード例1：リクルート住まいカンパニー様ご導⼊検討ツール：海外ツールO、国産ツールK、VWOの3ツール詳細：エンジニアと企画の皆様が価格・機能・契約期間を総合的に⽐較し VWOの導⼊を決定。 K社：契約期間が2年と⻑期に渡る。テスト開始後に28⽇間はテストを停⽌できない。 O社：ヒートマップ解析ツールが追加料⾦となるため、合計すると費⽤がVWOより⾼くなる。エピソード例2: アルバイト検索サイト等を運営されている上場会社様 VWOご利⽤以前の導⼊ツール：海外ツールO 詳細：海外ツールOのタグがテストページに挿⼊されていた際、ページ読み込み速度が3秒を超過したため、 A/Bテストを実施しない時期にはタグを取り外すなどの対策を講じていた。しかしVWOが⾮同期タグであること、ページ読み込み速度にほぼ影響がないことを知り、使⽤ABテストツールをVWOに切り替えた。ツール切り替え後はタグが挿⼊されていても、ページ読み込み速度が落ちることはなくなった。 32 A/Bテストツール早わかりデモ動画 2分で分かるツールのデモ動画は下記よりご覧頂けます。 A/Bテストツール Visual Website Optimizerデモ動画 http://www.youtube.com/watch?v=hrIdJhsld3E 33 資料ダウンロード限定特典本資料をダウンロードしていただいた企業様限定で下記2つの特典をもれなくプレゼントいたします。特典をご希望の⽅は本資料を配布したメールにそのままご返信いただくか、下記いずれかまでご連絡下さい。電話番号：03-6420-0612 メールアドレス：[email protected] 特典1：アッションのA/Bテストコンサルティングを無料ご提供 - ご指定のWebサイトの改善すべきページやテストすべき内容を発⾒し、ご希望があれば弊社ツールを利⽤して実際にA/Bテストを実施、レポーティングまで⾏います。特典2：国内300社導⼊A/BテストツールVWO無料トライアル - 競合ツールの1/3の価格なのに⾼性能・使いやすいと⼤好評のアッション独占販売のA/BテストツールVWOの無料トライアルをご提供。もちろんアッションのテクニカルサポート付きなので、やりたいテストが実施できない、機能を理解できない、といったお悩みもご⼀緒に解決させて頂きます。 34 ※本資料に関する質問・お問合せは下記までお願いいたします。株式会社アッション LPO事業部 Email : [email protected] 〒141－0021 東京都品川区上⼤崎2-18-16 ヴェリテ⽬⿊ビル4F Tel: 03-6420-0612 Fax：03-6420-0614 35