ABテストを実行しどちらが良かったと判断できない場合

体験を長期間配信しても有意な判断ができない場合、以下のように調整してみてください。

1.ドリルダウン分析する

サイトに訪問したユーザーはそれぞれ異なるニーズを持っている可能性があるため、ドリルダウンよりインサイトを深掘りすることができます。例えば、Facebookから流入したユーザーはAパターンの方が効果がよく、逆にYouTubeから流入したユーザーは、Bパターンの方が効果が良いというインサイトも得られます。全体で有意な判定できない場合、上記のようなインサイトが得られると、ユーザーに対してより適切な体験を提供できます。

2.ヒートマップを確認する

パターン別にヒートマップを確認することで、各パターンのパフォーマンスを直感的に把握できます。有意な判断ができなくても、特定のパターンにユーザーのアテンションが集中していることや、インタラクティブが多いなどのインサイトを得ることができます。

3.ゴール設定を変更する

設定した最終ゴールが、体験内容と程遠い可能性があります。例えばECサイトの商品一覧ページで、最終ゴールを「購入」として設定したとします。そして、商品の特徴がより分かりやすくなるようなバナーを設置しA/Bテストを実施しました。しかし、ユーザーの購入行動を後押しする要素がバナー以外にもあると、A/Bテストの効果か判断しずらいことがあります。そのような場合、ユーザージャーニーにおけるより手前の部分をゴールとして設定してみてください。例えば「詳細ページのクリック」や「カートクリック」などを設定し、効果を検証してみましょう。

4.別のクリエイティブを試み

データから納得できるインサイトを見つけられなかった場合でも、異なるクリエイティブを探り続けて、新しいバージョンを追加し、再度テストを開始することも可能です。