ホリデー体験のSLOの準備は整っていますか？
パフォーマンス・ベースのSLOを導入したユーザ体験の監視を
2023年12月15日
翻訳: 島田 麻里子
この記事は米Catchpoint Systems社のブログ記事「Are your Holiday experience SLOs in place?」の翻訳です。
Spelldataは、Catchpointの日本代理店です。
この記事は、Catchpoint Systemsの許可を得て、翻訳しています。
デジタルサービスが休日のトラフィックに依存しているなら、今こそサービスレベル目標（SLO）をチェックする時です。
それがない場合、または可用性ベースのSLOしか使用していない場合は、必要なエクスペリエンスSLOを設定する時が迫っています。
SLOとは何か？
SLOとは、サービス・レベル・アグリーメント（SLA）を満たすために自社サービスに設定するパフォーマンス目標のことです。
たとえそれが内部的なもので、顧客に保証されたものでなくても、SLOは提供しているサービスの質を測る上で非常に役立ちます。
このホリデーシーズンにSLOだけでは不十分な理由
SLOに目を光らせることは、ビジネス、特にホリデーシーズンには欠かせません。
全米小売業協会（National Retail Federation）は、2023年のホリデーシーズンの消費額は過去最高の9500億ドル以上に達し、年間小売売上高の19％を占めると予測しています。
つまり、この時期のダウンタイムは、ビジネスに大きな損失をもたらす可能性があるということです。
また、可用性SLOしか使用していないのであれば、稼働時間よりも顧客体験を表すパフォーマンスベースのSLOを真剣に検討すべきです。
悪いユーザ体験は、御社のビジネスやブランドの評判にとって有害か、それ以上になる可能性があります。
ホリデーシーズンのトラフィックの増加は、サービスの可用性には影響しないものの、顧客体験に大きな損害を与える輻輳やパフォーマンスの問題を引き起こす可能性があります。
パフォーマンス測定基準にSLOを設定することで、アラートの閾値に達するずっと前に、ビジネスに影響を与えるネガティブな傾向を早期に察知することができます。
ユーザ体験を監視するための可用性SLOとエクスペリエンスSLOの比較
以下は、年商500億ドルを超える大手国際メーカーのWebサイトに掲載された2つのSLOバーンダウンチャートです。
バーンダウンチャートは、SLOの経時的な進捗状況を示し、その目標が達成されようとしているのか、あるいは失敗しているのかを示しています。
これらのSLOの測定基準（またはサービスレベル指標）は、Catchpoint インターネット・シンセティック・テストによって測定されています。
最初のグラフは、SLOが月間99.5％の可用性を示したものです。
これまでのところ、11月はサイトのダウンタイムがなく、ホリデービジネスには絶好の状況です。
しかし、エクスペリエンスSLOを見ると、話はまったく違ってきます。
このサービスでは、Webテストの98％が7秒以内に完了しなければならないと定義されています。
誤検知を避けるため、違反条件としては、異なる場所での2回のテストで15分以内に目的を達成することが求められます。
グラフと違反リストを見れば、11月8日まではWebサイトのパフォーマンスが良好であることがわかります。
その後、WebサイトがSLO基準を超える期間が発生し始めます。
テストはCatchpointのインターネット・バックボーン・ノードから実行されるため、実際のユーザ体験と直接一致します。
11月17日にはSLOの予算がなくなり、ブラックフライデーとサイバーマンデーのショッピングが始まるよりもかなり前に、月末までにSLOを達成することができなくなります。
さらに調査を進めると、Webテストの平均時間はわずか3.8秒で、SLOの定義と許容範囲内に収まっていることがわかります。
しかし、平均的な測定基準は非常に不正確で、個々のユーザが経験することを表していないことがあります。
さらに詳しく見ると、テストパフォーマンスに複数のスパイクがあり、これは違反基準を満たすのに十分すぎるほどです。
上のグラフは、過去3日間を詳細に観察したものです。
これは、ユーザ体験を測定するために一般的に使用されるいくつかのメトリクスに影響を与えるパフォーマンススパイクを示しています。
例えば、平均的なインタラクティブ・タイムが16秒以上に達している場合、Webページが役に立つまで待つ人はまずいないでしょう。
そのようなユーザは直帰する可能性が高くなり、個人消費がピークに近づいている時期に収益を失う結果となります。
では、御社のホリデー・エクスペリエンスSLOは整備されていますか？
デジタルサービスの監視がホリデーシーズンに重要であることは明らかです。
あまり知られていませんが、上記で明確に示されているのは、可用性SLOは必ずしもサービスの健全性を示す良い指標ではなく、ユーザ体験をあまり表していないということです。
そのため、パフォーマンスメトリクスのエクスペリエンスSLOを実施するべきでしょう。