少しの操作で売上◯◯倍?!無料から使える世界No.1のA/BテストツールOptimizely【登録〜導入編】

こんにちは。マーケティング担当の繋です。 みなさんはコンバージョンレート(CVR)向上にどのような施策をしていますか? Webサイトのコンバージョン率(CVR、購入率)が1%でも向上すれば、 売上を大きく上げることができます。 下記はあくまで例ですが、昨日の記事で弊社の小原が記載しているものを 拝借して説明させていただきます。 例: 月のネット広告費:1000万円 WebサイトのCVR:1% 広告経由の売上:1億円 ↓ 月のネット広告費:1000万円 WebサイトのCVR:2% 広告経由の売上:2億円 と、いうようにCVRが1%あがるだけで売上は大きく増加します。 またCVRが高くなればなるほど、広告の費用対効果も高まりますね。 では、どうやってCVRを向上させるか? 答えは簡単です。 A/Bテストツールを使いましょう! と、いうことで今日は無料からはじめられる A/BテストツールのOptimizelyを紹介します! A/Bテストとは?               異なる2パターンのWebページを用意し実際にユーザーに 利用させて効果を比較するテストの事です。 Webページのデザインやレイアウト、サイト内導線の 最適化を図るために用いる事でサイト改善をより 高速で低いコストで実施する事ができます。 分かりやすいように実際の事例を紹介します。 下記は現在、弊社のWebサイトで行っているA/Bテストです。 Aのパターンは右側に登録フォームを設置、 対するBのパターンは左側に登録フォームを設置しています。 これを不特定多数の訪問者に見せる事で、どちらの方が最終的にCVRが高いのか? と、いう実験をおこなう事をA/Bテストといいます。 Optimizelyとは? Optimizely:世界No.1ツールで快適なA/Bテストを 従来ではプログラミング知識をもっている方のみが運用可能だったA/Bテストにおいて、 ページ内にタグを1行埋めるだけで、テスト作成から実施までを 簡単に行える世界シェアNo.1のA/BテストツールがOptimizelyです。 ディズニーやスターバックスなどの大手企業をはじめとする、 世界の約8,000社以上が導入しています。 Optimizelyをつかってみよう 早速Optimizelyをつかってみたいとおもいます。 利用登録から実際のテストまで、簡単に実施することができます。 今回はこのブログにOptimizelyを導入していきたいと思います。 多変量テストなど高度なテストも行えますが今回は手軽に行える点などを ご紹介したいので、あくまで簡単なテストの方法を紹介します。 無料アカウント登録 無料ではじめられるので早速登録していきましょう。 メールアドレスを入力して試してみるをクリック。 詳細な入力画面が表示されるので、画面の案内に従って入力します。 テスト対象チャネルはスマホ対応のレスポンシブデザインなどであれば 「ウェブ」と「モバイルウェブ」を選択しましょう。 入力が完了したら無料アカウントの作成をクリック。 ※必ず規約等に同意した上で登録をおこなってください。 プロジェクトの作成 登録が終わりました、メール確認なども必要ないので そのままプロジェクトの作成にすすみましょう。 「ウェブプロジェクト」を選択。 プロジェクトが作成されたので、 最適化をしたいサイトのURLを入力し「編集の開始」をクリック。 入力したURLのサイトが読み込まれます。 Optimizely使用に関するガイドツアーが表示されますので A/Bテストツールをはじめて使用する方はガイドツアーに沿って 実際の設定をおこなえるので、この辺りも安心ですね。 今回はガイドツアーの内容に沿って進めていきます。 「はい、OKです。」をクリックしてガイドツアーをスタート。 ガイドツアーに沿って設定 上記で入力したURLのサイトが表示されています。 画面左下にページ上の要素をクリックしてください。という 案内文言が表示されています。 要素とはテキストや画像などの事を指します。 テストを行いたいテキストやバナーをクリックしてくださいという事なので 今回は画面右側に表示されているスカイスクレイパーバナーのデザインを 入れ替えてテストしてみたいと思います。 バナーをクリックします。 もともと米国のサービスなので日本語訳が少しおかしいですが 気にせず進めていきます。 クリックすると編集する方法の画面が表示されます。 少し難しく表示されていますが、テストを行う方法を指定してくださいという意味です。 画像のデザインを現在のものをオリジナル(Aパターン)、 入れ替え後のものをバリエーション#1(Bパターン)と設定し、テストをおこないます。 表示されている「要素の編集」→「画像の変更」を選択します。 入れ替える画像のアップロード方法が表示されます。 WEB上にアップしてある画像のURLを指定して画像を使用する事ができます。 またPCのローカルに保存されている画像をアップして使用する事も可能です。 今回はローカルにある画像を使用します。 「コンピューターの参照」をクリックし、使用したい画像を選択します。 画像のアップロードが完了すると入れ替え後の バリエーション#1の画像が表示されました。 指定した画像が合っているか確認して完了をクリックします。 複数のバリエーションを設定してテストする事も可能です。 バナーの画像を3種類用意して、どれが1番CTRが高かったか?など 簡単にテストを行うことが可能です。 ここからは説明が中心になるため、表示されるダイアログは 「OK」をクリックして進めていきます。 バリエーションの設定に関する表示です。 実験とはテストの事で、詳細な設定は右側に表示されている オプションから行えます。 テストの保存方法に関する説明です。 テストの作成中でも実験の開始を押さない限り何度も下書きが可能です。 作成したテストを開始する場合は右上の「実験の開始」をクリックします。 ひと通りの説明が済みました。 「完璧です」というボタンの文言がユニークですね!…

ヒートマップを活かしてメールマーケティングの打率を高めよう!

成功するメールマーケティングや戦略はいったいどのようなものなのでしょうか。 メールを送る最もよい曜日はいつか、1日のうちで何時に送った方がよいのか、メールの受取人は暗示的な言葉が好きなのか、固くて明確な言葉が好きなのか。。1つのメールを取ってもこのように様々な構成要素があり、それぞれの要素の効果を識別するのは非常に難しい。そんな多数の要素を最適化していく方法としてスプリット・Eメール・テストとも呼ばれるA/Bテストは、1つの手段となります。しかしA/Bテストを行っていくにもそれなりに時間が非常にかかってしまうのも事実。そんな中で、どんなコンテツをメールとして提示していくのがベストなのかを簡単に決める方法として、ヒートマップが考えられます。   そもそもA/Bテストとは? A/Bテストとは、2つの変数のパフォーマンスを測定する方法です。変数を分離することによって、どの要素がよりポジティブな効果をもたらすのかを区別できるようになります。例えば件名を2つ用意し、実際にメールを送信した結果、どちらが効果が高いのかが出てくるので、今後のメール配信では良い方を採用するということになります。メールマーケティングにおいて、テストできる変数は多数ありますが、一般的には発信人、件名、送信日と送信時間をテストします。その他に、メールのデザインや「送料無料」、「割引」等の特別なキーワードを含むようなテキストもテストの対象になります。 どのようにA/Bテストキャンペーンを実施するのか? A/Bテストシナリオでは、メールリストの1つのグループに、あるバージョンのメールを送ります。そして、もう一つのグループに、テストする変数を除外した同じ内容のEメールを送ります。異なるメールセグメントにおいて様々な変数を測定することも可能ですが、2バージョンのEメールの中には1つの変数しか入れないことは非常に重要です。そうでなければ、決定的な結果が出ないかもしれません。 効果的な選択肢が分かる方法は? あなたが最も望ましい結果に効果のある変数をテストするために、A/Bテストが実施されます。結果は開封率、クリック率の違い、あるいは登録、ダウンロード、購入などを含めたコンバージョン率(CVR)によって評価されます。下の図は、A/Bテストの1つの例を示しています。 A/Bテストはなぜ重要なのか? A/Bテストは憶測をメールマーケティングから取り除くことができます。ABテストを行わないでやる場合は、「きっとこの内容をユーザーは知りたいと思っているだろう」「自分ならこのデザインが良い」といったデータに基づかない憶測になってしまいます。A/Bテストであれば、実際に私見され定量化されたデータに基づいて実行することができます。テストを繰り返すことで、最適なメールコンテンツをつくることができれば、売上や登録数、ダウンロード数といった数字を押し上げることもできるでしょう。 A/Bテストの課題 しかしABテストにも課題はあります。メールコンテンツを何度も何度も変えて、何度も何度もテストをした結果、強いコンテンツにすることはできるのですが、それまでに非常に多くの時間を要してしまうのです。あなたの業務はメールを配信することだけではありません。メール配信は多数の業務のうちの1つでしょう。 もっと売上を高めるためには、メール配信以外の仕事にもリソースを割かなければならないでしょう。つまり時間をかけずにある程度の効果をもたらすメールコンテンツを考えなければならないのです。 ヒートマップを使ってコンテンツを考える ヒートマップツールとはWebサイト上でユーザーがどのように行動をしたのかをサーモグラフィーで見える化するツールです。Pt engineはそのようなツールの1つです。 スマホからPCまで解析できるヒートマップ解析ツール|Pt engine http://www.ptengine.jp/ このヒートマップ機能の1つで、ユーザーがよく見ていたエリアを知ることができるアテンションヒートマップがあります。そのヒートマップをCVしたユーザーだけで抽出すれば、CVしたユーザーがよく閲覧した情報がわかるようになります。 メールマーケティングのコンテンツではあれも言いたい、これも言いたい、とついなってしまいますが、必ずしもすべてを閲覧してくれるわけではありません。ユーザーが知りたい情報を効率的に提示しなければなりません。例えば開封はしてくれたにも関わらず、ファーストビューで「これは違う」と判断されれば、それで終わりです。如何にして興味を持ってもらえるかは非常に重要なのです。 先にWebサイトでユーザーが知りたい情報をヒートマップで抽出しておき、それをメールコンテンツに活かすことができたらどうでしょうか。 Webサイトやメールコンテンツを最適化するためにA/Bテストは有効です。しかし何がユーザーに対して影響を与えているかを認知していなければ、無駄に時間がかかるだけです。ユーザーの行動を見ずに改善(A/Bテスト)を行うことは、目隠しでバッターボックスに入るようなものです。 ヒートマップを利用してユーザーの行動を見える化し、その内容を元にコンテンツを作成してみませんか?

ユーザーの行動データからUXを見直す

UX Advent Clender 2013というユーザーエクスペリエンスに関連する記事を様々な人によって書き繋いでいくという企画があるのですが、そちらへの記事として今回はUXに関して考えてみます。   ■ページ内分析の必要性 ウェブを通してサービスを提供する場合、ユーザーのアクセスログを通してユーザーの行動を見える化し、それに基づきサイトの課題を解決していくこと、これがUXを改善する手段の1つとなります。 例えば、様々な機能をもったサイトにおいて、ほとんどのユーザーが同じ機能ばかりを使っている、といったようなことはアクセス解析からわかります。この場合は、その機能だけに絞ったほうが、使う側にとっては無駄がなくなりUX改善につながると言えます。 ※その場合はUX改善というよりコンセプトや戦略の改善とも言えます。 また直帰率の高いページはユーザーに対して最適な情報が提供できていなかったのかもしれませんし、ページのローディング時間が長くかかっており見る気がなくなってすぐに離脱していたのかもしれません。後者の場合、サイト内の無駄を省き軽くすることでUX改善にこちらもつながるでしょう。 このように実際のユーザーの行動を元にしてUX改善をしていくことは、重要ですし、すでに様々な企業で行われていると言えるでしょう。 ただし単純なアクセス解析の情報だけでは不足しています。 直帰率の高いページは問題だと上に書きましたが、それではそのページのどこが問題なのでしょうか。 ページの構成が問題だったのか、文言がいまいちだったのか、ファーストビューがいけなかったのか、、、 これはページ内でユーザーがどのような行動をしていたのかを見える化しない限りわかりません。 これらを解決する手段として、ヒートマップ機能があります。   ■ヒートマップとは ヒートマップ機能とはユーザーのクリック(タッチ)や閲覧エリアをサーモグラフィーを使って見える化したものです。 通常のアクセス解析はユーザーのページ遷移を中心に計測しているのですが、ヒートマップではユーザーのページ内でのアクションを計測しています。 これによりユーザーのページ内の行動が見える化され、UX改善の助けとなります。データなしでの改善は目をつぶってバットを振るようなものです。しかし実際の現場では、サイトの改善は担当者らの直感や外部の情報に基づき行われていることが多々あるようです。データに基づいてでなければ、いつの間にかユーザーを置いてけぼりにし、UXが知らぬ間に残念なものになってしまうかもしれないのです。   ■どんなことがわかるのか ・間違ったクリック ユーザーが遷移すると考えクリックしたものが、実はリンクがなかっため遷移しないということがよくあります。特にスマートフォンやタブレットではそれが顕著となります。PCであればマウスオーバーすればカーソルが変化するのでリンクが有るかわかります。しかしスマホやタブレットではタッチしない限りわかりません。 “ログイン”を押してもらいたいのに、”こちら”が押されている。 逆にクリックしてもらいたいのにクリックしてもらえないといったことも生じてしまいます。クリックしてもらいたいボタンがクリックされているかどうかも見える化されるので、それを元に課題点がわかるようになります。 ・ユーザーが知りたいこと ウェブサイトではアクセスしたユーザーに対して様々な情報を提供しています。しかし本当に知りたい情報でなければ、ユーザーは読み飛ばしてしまうでしょうし、スクロールも途中でやめるでしょうし、離脱もするでしょう。ヒートマップではよく見られているところとそうでないところが明らかな差となって出てきます。 ・セグメントでさらに深く リピーターだけ、広告からのユーザーだけ、あるキーワードから来たユーザーだけ、といったようなセグメントをかけてヒートマップを見ることで更に深くユーザーを知ることができます。リピーターがほしがる情報と新規ユーザーの欲しがる情報は異なっているかもしれません。それを見える化することで、どのようなサイト構造にすればいいのか、どのようなコンテンツを提供すべきなのかが見えてくるでしょう。   ■改善の前にデータを見よう このようにデータから見えてくることはたくさんあります。兎にも角にもABテストをどんどんやって改善してくというのもあるのかもしれませんが、基本はデータを収集してそれを分析し仮設を立ててから改善していくことが重要です。 例えば、トップページの離脱率が高いのという問題があり改善することとなった際に、ファーストビューのテキストをABテストしたとします。このとき新しいテキストでもいまいち効果がでなかった場合、別のテキストを試そうとなるかもしれません。 しかし実はヒートマップで見た際に、大きな変化が起こっていたかもしれません。文言を変えたことでファーストビューでの興味を出すことに成功し、スクロールして下の方を見るようになっていたのかもしれないのです。しかしその下の方の構成や内容がいまいちだったため、CVにはいたらずCVRには影響がなかった、と。 ヒートマップはUXを高めるための重要な情報となります。ぜひヒートマップを活用してもらいたいと思います。

デザイナー向けのアナリティクスを検討する時のポイント

近年、webサービスにおけるデザインの重要性がこれでもかと記事化され、一般的となっています。   背景にはスマートフォンの普及により、手軽な画面サイズの中でいかに利便性を高めるかでサービスの印象が天と地ほどの差が出るようになってきている、利用者のリテラシーが高くなり、求めるレベルが上がっているなど、です。特にPtengineを利用している割合の多いコマース系のサービスに関してはスマートフォンの比率が50%以上というものはざらにあります。   しかし、デザインの改善と効果を検証、そして次のアクションにつなげることは難しいと感じるのではないでしょうか?実は我々のサービスの利用者はデザイナーが多いのです。そこには制作サイドにおけるいくつかの問題が見え隠れしています。一般的にアナリティクスツールはマーケターやアナリティクスを専門に扱う職種、あるいは代理店などが運用するケースが多いですがそれに加えてデザイナー自身がアナリストを兼任するケースも非常に増えてきています。特にファッション系などのコマースなどはその傾向が高くなっています。ではここでデザイナーがアナリティクスに関わる理由と、そうはいってもそれが難しい理由を実際によくあったケースでまとめてみます。   デザイナーがアナリティクスをする理由 (1)社内にアナリティクスをするリソースがない (2)迅速なアクション(クリエイティブの変更)を実行できる立場だから (3)デザインの変更に対して社内で自分が説得力を持たせるため   特に(3)はデザイナーでなくてもアナリティクスに関わる方であれば必須となります。分析→アクションへとつなげるのは「提案がベース」となります。実行の権限が作り手自身にあるのであれば問題ないですが、Goサインを決める人数が複数の場合は説得できる材料を用意する必要があります。それがアナリティクスの持つ大きな役割です。   デザインのアナリティクスが難しい理由 (1)効果(売上げなど)が見えにくい (2)原因が見つかっても改善するのに何らかの制約がある (3)アナリティクスに習熟していない   デザイナー視点のアナリティクスはマーケッターと異なる点もあります。どのチャネルにどれくらいの投資、リソースを投入するべきかを判断する仕事の比率がマーケッターは一般的に多いですが、サービスやサイトの表現方法を改善するデザイナーはより局所的な改善に日々フォーカスすることが多いです。ところがこの効果は実際にどのくらいの端的な売上げに貢献しているかは測りにくいものです。デザインはROI=利益/投資で一概に表すことが少し難しいということです。また、仮に改善点が明白になった場合でも例えばコマースサイトであれば運用システム上テコ入れが困難であるケースも考えられます。   (3)のアナリティクスに習熟していないというのはその文字の通りの意味ではありません。例えばGoogleAnalyticsのダッシュボードをパッ見たとしても具体的なデザインの改善などはすぐに思いつくことは少ないということです。下のようなダッシュボードからスタートしても2.や3.に直接つながる知見はあまり得られることはなく、翻弄されて余計な時間を割いてしまう恐れがあります。   重要な点は目標(売上げなど)を達成するためのアクションをユーザーが実際にとっているかどうか?とっていないのならそれはなぜか?がわかることです。これらが数値だけでなくビジュアライズに理解できることで、効果の可視化、原因の発見、それらの社内での分かりやすい共有が可能です。ではこれらを満たせるようなデザイナー向けの分析サービスを見ていきましょう。   デザイナー向けの分析サービス (1)ユーザビリティテスト (2)ABテスト (3)Pt engine   ユーザービリティテストはおなじみですね。これは小さなリニューアル時というよりは大きな変更やサービスローンチ前に使うといいサービスでしょう。スポット的なサービスのため例えば商品説明の文言を変えてみる、ボタンの色を変えてみる、という小さな改善の検証には使うことはあまりありません。ローンチ前のテストなどではとても有効です。また、サービスの改善の生のユーザーの動きや声を得られるのでその点はデザイナーにとっても非常にありがたいです。   ABテストは継続的に使用することができ、かつコンバージョン率を比べることでビジネス的な評価を行える点で改善と結果の可視化を両方備えた万能ツールと言えます。最近ではoptimizelyのように使い勝手のいい海外製ABテストツールが日本語利用可能ですのでぜひ一度試してみるといいでしょう。ただし、ABテストはそこそこボリュームがあるページでないとデータ精度が高くならない点があります。また、検証するキーページがはっきりしていることも必要です。最後の留意点としては結局のところAとBを比べてBが良かった理由を推測するのは難しいということです。登録ボタンを上に持ってきたことでコンバージョン率が上がりました、がどうして上に持っていくと上がるのかは推測となります。とにかく上に持っていけば結果が良くなる、それで十分ということでもあります。   最後に自社ツールの宣伝をしておきましょう(笑)Ptengineがデザイナーに使われるケースが多いのは下のようなビジュアライズにビジネスセグメントのおけるユーザー行動の分析ができるためです。また、デザイナーにとっては端末の大きさによって自社のサービスがユーザーにとって不便になっているのかいないのか?などの検証が必要になるケースもあります。そういったマーケティング属性による行動の違い、デバイスよる行動の違いを把握してデザインの改善を行うことができます。   まとめ デザイナーにとってアナリティクスは少し取りかかりにくい部分もありますが、自分が使いやすい、わかりやすいと思えるものから少しづつ取り組み、チームに成果を見える化していけるようにしましょう。特にビジネス面での評価と合わせて改善案の効果を検証できるようにする姿勢を普段から意識するようにしましょう。

【心せよ、結局は顧客理解】CoolなデザインがBadな結果になるケース

<サイトデザインに正解はあるか> みんながかっこいいと思うクールなサイトをデザインしよう。 そうすれば登録者も増えるし、バズも生まれるだろう。 かっこいいことは良いことだ。 欧米のサイトのトレンドを盛り込もう。   そう考えるデザイナーやプランナーは意外と多いかもしれません デザインの正解は見つけにくいです。 感覚やフィーリングで確かにうまくいくこともあります。   でも実はきちんとユーザーが想定できているだけでもデザインの正解は見つけやすくなるものなのです。 今回は一つの事例を通して最低限やっておくべきユーザーアナリティクスをご紹介します。     <クールなデザインがバットな結果になった事例>   サイト名: Uncommon Knowledge   どんなサービスか: 心理学者やカウンセラーに役に立つ情報を配信する   沿革: 1988年に開始し、2000年にオンラインへと移行しワールドワイドなスケールを始める   ビジネスの目的: 新規プロダクトをリリースするにあたり、事前にユーザーを獲得してリーチを広げたい   Webサイトのゴール: 上記ビジネスの目的達成のために、メールアドレス獲得用のコンテンツwebサイトを作る。 3つの精神的トラウマを克服するという想定ユーザー好みのコンテンツvideoを名前とメールアドレスを登録したユーザーに配布。 新規サービスのマーケティング時にそのアドレスにリーチができるようにする。   実験: オリジナルのページAと新しく作ったクールなデザインのページBの登録数をABテストで比較     ページA          ページB       結果:ページAのほうがページBより 19.55%成果が出ました。   意外でしたか?       <なぜこの結果になったかわかりますか?> 実はこれはUncommon Knowledgeのユーザー層をきちんと考えていれば当然の結果でした。 下記の図はalexaによって推定されたユーザーの属性についてです。 45歳以上のユーザーがほとんどです。     Alexaで推定されたユーザー層   ネットのリテラシーはそれほど高くなく、デザインのトレンドなど知りようもないです。 そんなユーザー達だと用意に想像てきるのではないでしょうか。   ページAには詳しいビデオの内容など情報が記載されています。 また加えてUncommon Knowledgeのブログの著者であるMark Tyrrellは人々の間でよく知られており、彼の顔写真が掲載されているエージAは大人に安心感を与える役割を果たしています。 <デザインの前にすべきこと> 当たり前のことかも知れませんが、意外と基本的なユーザー属性から離れてデザインを決めてしまうケースがあります。アナリティクスとはツールで結果を確認するものですが、事前にユーザーのことを自分なりに考える、下調べをする、自社で持っている情報から想定してみる、なども含まれます。必ずしもクールなデザインがいい結果を生む訳ではありません。この事例を通してもういちど今までのデザイン案のプロセスを見直してみましょう。最低限やっておきべきユーザーアナリティクスはあなた自身がユーザーのことを理解しようとする心構えと行動かもしれません。今回は少し臭いセリフを吐いてさらりと終わりにします。 質問・ご意見などいつでもどうぞ ライター @PtTakashi Ptengine公式ツイッター @Ptengine      

たった1例のA/Bテストでわかるユーザー理解と勘違い

先日、Onlab [Data] Conferenceというシリコンバレーのデータ解析の先駆者達が集まる イベントに参加してきました。 アクセス解析をサービスで扱うものとしても個人的にも日本の企業がいかに ページビュー神話でしか解析というものを見ていないのか、を再確認するいい 機会でした。 ここで面白かった発表が1つありました。 A/Bテストを簡単にできるサービスを提供する「Optimizely」の創業者Pete Koomen氏 によるプレゼンテーションです。 彼の共同創業者のDan Siroker氏は2008年のオバマ大統領の支援サイトのwebデータ戦略を 担当しており、その際に選挙支援サイトへの登録ランディングページのA/Bテストを 行ったそうです。オバマ大統領はweb上での寄付金を集めることで選挙運動を有利に したことで非常に有名ですが、そこではA/Bテストを使って効果最大限にするアプローチ をすることが採用されていたのです。 A/Bテストとは仮に100人がサイトに訪れたとすると50人にはAのデザインのサイト、 もう50人にはBのデザインのサイトを閲覧してもらい、どちらがより効果の高い パフォーマンスがあったかを計測するものです。 そこで実際どのようなものがテストをされ、どれが一番効果が高かったか、 みなさんも是非考えてみてください。 Q1:次のうち最もサイト登録へ効果があったボタンはどれか? 1.Sign Up 2.Learn More 3.Join Us Now 4.Sign Up Now Q2:次のうち最もサイト登録の効果があった背景イメージはどれか? 1.Get Involved Image 2.Family Image 3.Change Image 4.Barack’s Video 5.Springfield Video 6.Sam’s Video いかがでしたでしょうか? それでは結果を発表します。 こちらをご覧ください。 ■結果 どうでしたか? 最初のボタンの文言は2.Learn Moreが最も効果が高く、続く背景のテストでも2.Family Imageが 最も効果が高いという結果になりました。 実際、当時の戦略チームもこのような結果になることは予想できなかったようです。 そしてA/Bテストで最適化されたページとオリジナルのページの効果の違いが下記です。 ■オリジナルページとA/Bテスト最適化のページの収益比較 A/Bテストで最適化されたページは、総額で約50億円の金額の違いを生み出しています。 もし、オリジナルのページが絶対だと担当者が考えて話さないようであれば、ずいぶんと選挙資金獲得も 様相が違っていたかもしれませんね。 ■顧客のことはわからない ここまでの話で最も言いたかったことはこれです。 私達はユーザー目線、顧客第一と言っているものの、顧客のことはわからないのです。 これはA/Bテストが優秀な計測ができるという証明ではなく、実際の顧客の反応を計測しないかぎり、 顧客のことはわからないということの証明なのです。 では顧客、ユーザーのことはどうしたらわかるのか? それは計測をして初めてわかることなのです。 計測をして顧客を理解し改善し、また計測をする。この繰り返しが頭に入っている企業とそうでない企業では 先ほどのオバマ大統領の結果の違いを生み出してしまうわけです。 我々はスマートフォンユーザーの動きを計測し、顧客理解をするサービスを提供していますが、 この結果は顧客理解の典型例であり、どの企業も頭に入れておいて欲しいと声を大にして言いたいです。 「顧客は計測しないとわからない」と。 この記事は下記を参考にして作成されております。 BestPractices&Lessons LearnedfromA/B and Multivariate Tests