その「説明できなかった数字」に、
見えていない変数があったとしたら

事業責任者・マネジメント層の皆さまへ

キャンペーン、広告、新商品。その結果を左右していたのが、
Webサイトやアプリの「性能」だったとしたら

こんな経験はありませんか

数字に責任を持つ立場として、毎月のレビュー会議で結果を説明してきたはずです。
ただ、振り返ってみると、こんな場面があったのではないでしょうか。

キャンペーンを打ったのに、反応が想定より薄かった週がある

広告費を積み増し、クリエイティブも準備した。クリック率は悪くなかった。なのに、最終的なCVRが想定を下回った。
「クリエイティブの訴求が弱かったのかもしれない」「競合が同時期にキャンペーンを打っていた」——そう説明して会議を終えた。
でも、本当にそれだけでしたか。

新商品ページのCVRが、なぜか既存ページより低い

商品力には自信があった。ページのデザインも改善した。A/Bテストも繰り返した。それでも既存商品ページとのCVRの差が縮まらない。
「新商品はユーザーに認知されるまで時間がかかる」と説明した。
でも、新商品ページの読み込みが既存ページより遅かったとしたら、どうでしょうか。

地方ユーザーの離脱率が、都市部より高い

都市部と地方でユーザーの行動に差がある。「地域によって購買意欲やニーズが違うのだろう」と分析した。
ただ、地方のユーザーが使うキャリア回線やネットワーク環境で、自社サービスの表示が都市部より遅かったとしたら。それは「ニーズの差」ではなく「体験の差」です。

夕方以降、コンバージョンが落ちる

夜はユーザーが少ない、あるいは購買意欲が下がる時間帯だと思っていた。
しかし、夕方以降はモバイルユーザーの比率が上がります。基地局が混雑し、キャリア回線が遅くなる時間帯でもあります。その時間帯に自社サービスのモバイル表示が遅くなっていたとしたら、説明は変わります。

これらは「あったかもしれない」話ではありません。計測していないから、あったかどうか確認できない話です。
見えない原因は、存在しないのではなく、見えていないだけです。

なぜ「性能がKPIに影響する」と信じにくいのか

「Webサイトの表示速度がCVRに影響する」と聞いても、直感的に信じにくいはずです。その理由は、構造的なものです。

因果が「見えない」から、存在しないと思われる

キャンペーンを打つ→流入が増える→CVRが変化する、という因果は目に見えます。だから信じられます。
しかし「docomo回線のユーザーが19時台に遅延を経験した→その層がページを離脱した→CVRが落ちた」という因果は、計測していなければ永遠に見えません。
見えない因果は、ないものとして扱われます。これは怠慢ではなく、人間の認知の構造です。

過去の数字を「別の理由」で説明し続けてきた

事業責任者は毎月、数字の動きを説明します。CVRが落ちた月には、季節要因、競合動向、クリエイティブの鮮度など、利用可能な説明変数を使って会議を乗り切ってきました。
その説明は間違っていたわけではありません。ただ、「性能」という変数が説明モデルに含まれていなかっただけです。モデルに含まれていない変数は、どれほど影響が大きくても発見されません。

「技術の話」として切り分けてきた

Webサイトの表示速度やアプリのパフォーマンスは「エンジニアが管理するもの」という認識が一般的です。
しかしこれは、「物流のリードタイムは倉庫担当者の仕事だから、事業責任者は気にしなくていい」と言うのと同じです。顧客体験に直結する要素は、事業責任者が管理すべき変数です。

グローバルの研究が示すこと

これはSpelldataの主張ではありません。世界の大企業と研究機関が、大規模なデータで検証した事実です。
同じデータを、あなたのキャンペーン・広告・新商品開発の文脈で読んでみてください。

0.1秒の改善が、キャンペーンの成果を変える

Deloitteが複数の小売企業を対象に行った調査では、モバイルサイトの表示速度を0.1秒改善するだけで、コンバージョン率が平均8.4%向上しました。
あなたが今期のキャンペーン予算を10%積み増す前に、サービスの表示速度を0.1秒改善するほうが、CVRに対してより大きな効果をもたらす可能性があります。どちらが投資対効果の高い意思決定か、数字が示しています。
出典: Deloitte, "Milliseconds Make Millions", 2020

広告でランディングさせても、半数が読まずに去っている

Googleの調査によると、モバイルページの読み込みに3秒以上かかると53%のユーザーが離脱します。
クリック率の改善、訴求コピーの磨き込み、LP構成の最適化——これらはページが表示されることを前提にした施策です。表示される前に半数が去っているとすれば、施策以前の問題が施策の効果を半減させています。
出典: Google / SOASTA Research, 2018

新商品ページが「遅い」と、商品力の評価ができない

Amazonの内部研究では、ページ応答が100ミリ秒遅くなるごとに売上が1%減少することが示されています。
新商品のCVRが低いとき、「商品の訴求が弱い」「ターゲットがずれている」という結論を出す前に、ページのパフォーマンスを確認しましたか。遅いページで計測されたCVRは、商品力の評価として正確ではありません。
出典: Greg Linden, Amazon (2006年 ACM発表より)

「信じにくい」という感覚は自然です。ただ、信じるかどうかではなく、1回だけ計測して自分で確かめるかどうか、の問題です。

計測で繰り返し発見されるパターン

以下は、SpeedDataによる計測を通じて実際に確認されてきた事象のパターンです。特定企業の情報ではありませんが、計測を始めた事業で繰り返し現れる類型です。

キャンペーン、地方だけ不発

全国向けキャンペーンを展開。都市部では想定通りのCVRを達成したが、東北・北海道・九州のCVRが都市部を大きく下回った。「地域性の問題」と結論づけていた。
計測してみると、地方特定キャリアのユーザーへのページ配信が、CDNのキャッシュが効いておらず遠方のサーバーから配信されていた。都市部と比較して表示に2秒超の差があった。
問題は地域のニーズではなく、インフラの設定だった。

新機能リリース後、指標が悪化

ユーザビリティを改善する新機能をリリースした週、直帰率が上昇しCVRが低下した。エンジニアは「機能に問題はない」と言う。デザインの問題かと思いA/Bテストを準備していた。
計測してみると、新機能が呼び出す外部タグのレスポンスが遅く、ページ表示完了が平均1.8秒遅延していた。ユーザーはページが完成する前に判断を下していた。
問題はデザインでも機能でもなく、第三者タグの応答速度だった。

メールキャンペーン、開封率は高いのにCVRが低い

メールの開封率・クリック率は過去最高水準だった。なのに最終CVRが伸びない。「メールからLPへの訴求の連続性が弱い」とコピーを書き直していた。
計測してみると、メール配信のピーク時間帯（19時〜21時）にサーバーの応答が遅くなっていた。モバイルユーザーがリンクをタップしてもページが開かず、離脱していた。
問題はコピーライティングではなく、配信ピーク時のサーバー応答だった。

これらのパターンに共通するのは、計測する前は「別の原因」で説明されていたという点です。
あなたの事業で過去に「説明できなかった数字の動き」があったとすれば、その中に同様のケースが含まれていた可能性があります。

「原因を説明できる人」と「できない人」

同じ数字の動きを前にして、説明の質に差が生まれます。

パフォーマンスデータを持っていない場合

「先月のCVR低下の原因は何ですか」という問いに対して、利用可能な説明変数（季節・競合・クリエイティブ）で答えることになります。
これらの説明が間違いとは言えません。しかし「確認できていない変数がある」という事実は残ります。確認できていないということは、改善もできていないということです。次の会議でも、同じ問いに同じ種類の答えを繰り返します。

パフォーマンスデータを持っている場合

「先月のCVR低下の原因は何ですか」という問いに対して、「19日〜23日にかけて、docomo回線×東北エリアでDNS応答に遅延が発生していました。該当ユーザーの直帰率が通常の1.4倍になっており、CVR低下の主因と判断しています。現在対応中で、今月は改善を見込んでいます」と答えられます。
原因を特定できている人は、改善できます。改善できる人が、次の数字を作ります。

上司・経営層への報告が変わる

印象や仮説ではなく、実測データを根拠にした報告ができるようになります。「おそらく季節要因だと思います」と「docomo×東北のDNS応答が2.3秒になっていたことが主因です」では、経営層からの信頼度がまったく異なります。
データを持っている人は、会議室での立場が変わります。そして、次の意思決定の場に呼ばれるようになります。

SpeedDataが事業責任者に提供するもの

専門的な技術知識がなくても、数字の動きを説明するための根拠を作れる環境をご提供します。

KPIの動きと紐づけて読める実測データ

「いつ、どこで、どのキャリアのユーザーに、何が起きていたか」を時系列で確認できます。
月次レビューで数字の動きを説明する際に、パフォーマンスデータを根拠として使える形でご提供します。

技術的な分析はSpelldataが代行

数字の読み解き、問題の原因特定、改善提案はSpelldataの専門家チームが担当します。
あなたが判断すべきことは「この改善を優先する」という事業判断だけです。専門知識は必要ありません。

まず1回、計測してみる

「信じられない」は当然の反応です。1回計測したデータを見た上で、判断してください。
無料PoCで、御社のサービスを実際に計測します。「今この瞬間、日本各地で何が起きているか」のデータを見た後で、続けるかどうかを決めていただければ十分です。
データを見てから、判断する。それだけです。