ABテストシナリオの効果的な使い方について説明します。
-
ABテストとは
ABテスト機能ではシナリオ適用条件に合致したユーザーに対して、2種類のボタンとアクションの出し分けを行うことができます。
シナリオが適用された訪問者をAグループとBグループに分けて成果を比較することで、クリエイティブやオファー内容の最適化を行うことが目的です。AグループとBグループに振り分ける割合は10%刻みで任意の数値を設定することができます。
効果的なABテストを行うために、AグループとBグループの違いは1回のテストにつきできるだけ少なくした方が（ボタンの色だけ、クーポンの割引率だけ、など）効果の違いに結びついている原因を特定しやすくなります。
-
グループの振り分けについて
グループの振り分けはシナリオごとに行われます。同じ訪問者でも、あるシナリオではAグループ、別のシナリオではBグループとなる場合があります。
一旦振り分けが行われたユーザーはそのシナリオ内においてAグループからBグループに移動することはありません。ボタン、オファーの内容、ターゲティング条件のいずれを変更しても最初にそのシナリオが適用された時のグループは固定されたままになります。
※一度A側に分類されたブラウザは、そのシナリオにおいては常にA側となります。
シナリオごとにユーザーの分類を固定することによって、効果の差を確認するためです。（１人のユーザーが訪問の度に別のグループになると効果の確認ができません）
テスト時など、双方のシナリオの動作を確認したい場合はブラウザのcookieをクリアするか、シークレットモードをご利用ください（シークレットモードも、「他のシークレットモードのブラウザ」が1つでも残っていると、同一のグループに振り分けられてしまいます）。
-
配信比率について
ABテストのグループごとの配信比率はシナリオ作成時にのみ選択が可能です。一旦作成したシナリオにおいて後から配信比率を変更することはできません。AグループとBグループのボタン、オファーを同じままで配信比率を変更する場合にはシナリオのコピーを行い、そのコピー時に配信比率を変更するか新しくシナリオを作成する必要があります。
それぞれのグループに振り分けられたユーザーに対しての効果は、レポート画面で確認することができます。ABテストの結果についての判定はカイ二乗検定により有意性の判断が行われます。
-
通常にシナリオにしたい場合
シナリオのコピー機能をご利用ください。
シナリオ管理画面でシナリオ名の右側にあるコピーアイコンをクリックすると、シナリオコピーのサブウィンドウが開きます。
コピー先に残したいアクションが含まれているグループ（A/Bいずれか）を選択し、「コピー」ボタンをクリックしてください。デモシナリオとしてコピーすることも可能です。
ABテストの作成方法はこちら