ABテストの作成方法

ABテストの作成方法について説明します。

1. ABテストとは

ABテスト機能では、シナリオのターゲティング条件に一致したユーザーに対して、クリエイティブ部分のABテストを行うことが可能です。

シナリオのターゲティング条件に一致したユーザーをグループAとグループBに分けて成果を比較することで、クリエイティブやオファー内容の最適化を図ることが目的です。

効果的なABテストを行うために、1回のABテストにつき、グループAとグループBの差分をできるだけ少なくして検証することで、結果の要因を特定しやすくなります。

  • 推奨例)バナーのカラー違いのABテスト、クーポンの割引率の差分 など
  • 非推奨例)バナーのカラー違い+クーポンの割引率+バナーのサイズの差分 など

2. ABテストの作成方法

クリエイティブ設定を2パターン作成すること以外は、基本的には通常のシナリオ作成方法
同様です。

  1. シナリオ作成メニューを表示
    左メニューの「シナリオ管理 > ABテスト作成」もしくは「シナリオ一覧 > +シナリオを追加」より「ABテスト作成」を選択します。
    左メニュー_ABテスト作成シナリオを追加_ABテスト作成

  2. 配信比率の設定   
    設定後は、比率を変更することができません。
    基本的には50%ずつ設定することをおすすめしています。

    配信することによる効果検証を行うために、グループBの配信を行わない場合は「8:2」や「7:3」に比率を調整していただき、グループAの割合を多くしてシナリオの閲覧機会を増やしてテストしているサイトもあります。 
    ※グループBの配信を行わない場合は「効果測定」にチェックを入れてください。

    ABテスト配信比率

  3. クリエイティブ設定
    タブでグループA・Bの切り替えが可能です。
    クリエイティブの設定手順はシナリオ作成と公開設定のマニュアルをご参照ください。
    ※グループBの配信を行わない場合、グループBのタブは選択できません。
    B非配信

  4. 配信ターゲットの設定
    ターゲット設定手順は配信ターゲット設定のマニュアルをご確認ください。
    設定後、最後に「保存する」ボタンを押して作成完了です。
    シナリオ一覧に戻り、ステータスを「ON」にしたら配信が開始されます。

3. グループの振り分け

グループの振り分けはシナリオごとに行われます。
同じユーザーでも、あるシナリオではグループA、別のシナリオではグループBとなる場合があります。

一旦振り分けが行われたユーザーは、そのシナリオ内においてグループAからグループBに移動することはありません。
バナー・オファーの内容・ターゲティング条件のいずれかを更新した場合も、配信開始後の最初にシナリオが適用された際のグループは固定されたままとなります。

配信グループ

 

配信時のグループの振り分けについて

  • 一度A側に分類されたブラウザは、そのシナリオにおいては常にA側となります。
  • シナリオごとにユーザーの分類を固定することで、効果の差分を確認するためです。
  • シナリオのステータスをONにして、双方のシナリオの動作を確認したい場合は以下のいずれかをお試しください。
    • ブラウザのcookieをクリアする
    • シークレットモードを利用する
      ※他のシークレットモードのブラウザが1つでも残っていると、同一のグループに振り分けられますのでご注意ください。

4. 配信比率の変更

一旦作成したシナリオは、後から配信比率を変更することはできません。
グループAとグループBのバナー・オファーを同じまま、配信比率のみを変更する場合はシナリオをコピーすることで、配信比率を変更するが可能です。

ABテストの結果は、レポート画面で確認することが可能です。

ABレポート

5. 通常のシナリオに変更する場合

シナリオのコピー機能をご利用ください。
シナリオ管理画面でシナリオ名の右側にあるコピーアイコンをクリックすると、シナリオコピーのサブウィンドウが開きます。

コピー先に残したいアクションが含まれているグループ(A・Bいずれか)を選択し、「コピーする」ボタンをクリックしてください。


通常シナリオへのコピー