Webパフォーマンス

体験品質とは

インターネットの経路を監視する

インターネット上でのマルチメディアコンテンツの増加に伴い、品質評価への関心が高まっています。
しかし、従来の品質評価手法との大きな違いは、従来提案されてきたネットワークを中心としたアプローチではなく、ユーザが感じる品質に焦点を当てていることです。
IPネットワークで経験品質（QoE）評価を行う上で最も重要な課題を概観し、サービス品質（QoS）など、すでに導入されている代替メカニズムと比較した場合に必要となる特定の考慮事項を明らかにします。

このような課題への対応を支援するために、まず、経験品質評価へのさまざまなアプローチと、最も関連性の高いQoEメトリクスについて説明し、次に、ユーザ満足度に関する客観的な結果を提供するためにそれらをどのように使用するかについて説明します。

ここ数年、ネットワーク・コミュニティでは、トラフィックの監視と測定が盛んに研究されています。
特に、この分野の重要なトピックの1つがネットワーク・パフォーマンス解析であり、ネットワークにおけるQoS（Quality of Service）やSLA（Service Level Agreement）を効率的に評価するためのメカニズムの開発が中心となっています。
QoS評価では，一方向性遅延，ジッター，パケットロスなどのネットワークレベルのメトリクスを正確に計算し，（ほとんどの場合）推定することに関連するさまざまな課題に取り組んでいます。

最近まで、ほとんどのアプローチはネットワーク指向で、ネットワークオペレータと大手コンテンツプロバイダ間のSLAのみを考慮していました。
しかし、インターネット上に新しいタイプのコンテンツが出現すると、このような監視・測定方法では不十分になります。
その結果、近年、ユーザが消費するマルチメディアコンテンツは劇的に増加しています。

ユーザは常にビデオストリームをダウンロードし、ビデオ会議アプリケーションを使用し、さらには自らのビデオストリームをインターネットに配信しています。
このようなトラフィックが遅延やパケットロスの点で敏感であることを考えると、従来のSLAのドメイン間合意とは異なり、信頼性の高いコンテンツ配信のために、エンドユーザのネットワークやアプリケーションにはより厳しい制約が課せられます。
そのため、コンテンツプロバイダとネットワークオペレーターは、特定のネットワークパフォーマンスパラメータを考慮するだけでなく、ユーザに成功したマルチメディア体験を提供することがより重要になっています。

このような進化は、ネットワークやコンテンツそのものではなく、サービスに対価を支払う顧客の満足度が重要な要素であり、収益の源泉となる新しいビジネスモデルを提供します。
そのため、通信事業者やコンテンツプロバイダは、QoE（Quality of Experience）技術を用いてユーザの満足度を評価できる仕組みを模索することに、新たな関心を寄せています。
これらの技術は、ユーザの満足度を考慮した指標を用いてリソースの予約やトラフィックエンジニアリングを自動化するなど、ネットワークに自律型ネットワーク管理（ANM）機能を提供するために利用することができます。

このシナリオでは、QoE評価には、エンドユーザの満足度を客観的に評価できる新しい指標を定義する必要があります。
QoE評価には、エンドユーザの満足度を客観的に評価できる新たな指標を定義する必要がありますが、実際には、ネットワークの性能とは関係のない多くの主観的な要素が関係してくるため、これは難しい問題です。
マルチメディアアプリケーションにおけるQoE評価の新たな課題を理解するために、本稿では、配信されたマルチメディア体験のQoE評価に現在利用可能なさまざまなアプローチを概観し、ユースケースとしてIPTVシナリオで解決しなければならない主な問題点を明らかにします。

次のセクションでは、QoS評価のためのさまざまな技術を概観し、特にQoE環境で最も有用な技術を取り上げます。
セクション3では，QoE測定のためのさまざまなアプローチを紹介し，セクション4では，この環境で使用される特定のメトリクスを紹介します。
セクション5では、完全なQoE評価プラットフォームを設計する際に直面しなければならないさまざまな課題を紹介し、本論文を続けます。

次に、ユースケースとして、IPTVネットワークにおけるQoE評価に見られる問題を詳細に説明し、最後にセクション7で、我々の貢献をまとめます。

2 背景本項では、客観的なネットワーク品質評価の出発点として、これまで使用されてきたメトリクスや技術について説明する。
ビデオストリーミング，モバイルIPTV，都市監視カメラ，その他のオーディオおよびビデオアプリケーションなどのリアルタイムマルチメディアアプリケーションを効率的に評価することは，オールIPネットワークの成功のための重要な要件である。
マルチメディアサービスの品質管理は、ユーザの満足度とネットワーク資源の利用率を最大化し、顧客を維持・獲得するとともに、ネットワークプロバイダの利益を増大させることを目的としています。

WebブラウジングやFile TransferProtocol (FTP)などの従来のアプリケーションは、ある程度のネットワーク障害を許容できる弾力性があるため、ネットワーク配信の品質は重要ではありませんが、マルチメディアサービスでは、ユーザが感じる音声や映像の品質レベルへの影響が少ないコンテンツ配信が求められます。
しかし，IPベースのネットワークでは，通信経路上にさまざまな種類のネットワーク障害が発生するため，これらを測定して管理する必要があります。
QoS（Quality of Service）評価技術の多くは，有線および無線システムにおけるアプリケーションの品質レベルを制御するためのネットワーク測定値に基づいています。

これらのネットワーク層の客観的指標は以下のように定義されています。

「片道遅延」
パケットが生成されてから宛先で受信されるまでの時間[6]
パケットロス
あるノードで生成されたパケットが、ネットワークの問題によって宛先に到達しないこと。
パケットロスは、QoSやQoEを乱す最初の原因となります。 なぜなら、パケットが失われ、期限内に再送されないと、そのパケットは破棄され、その結果、映像や音声が乱れてしまうからです。
ジッター
パケットロスに次いで、サービスを中断させる原因となるのがジッターです。
ジッターは、ストリーム内の連続したパケットの遅延の変動と定義されます。
ネットワークにジッターが多いと、バッファアンダーランが発生し、その結果、通信中にパケットロスが発生します。
ジッターはアプリケーション層のデ・ジッター・バッファで平滑化されるため、遅延は増加しますが、品質の劣化は軽減されます。

人間の知覚に関連する主観的な側面に関する現在のQoS対応測定スキームの限界を克服し、ユーザが体験した品質をより正確に評価できるようにするために、Quality of Experience技術が導入されました[9, 10]。
有線および無線システムにおけるQoE測定作業は、ネットワーク環境がエンドユーザのニーズをいかに満たしているかを示す指標として使用できます。
既存の品質メトリクスは、主観的な評価との良好な相関関係、クロスコンテンツ、クロスディストーションの精度、および低い計算複雑性を提供することで、より広い期待に応えることを目的としていますが、インサービス・アプリケーションを可能にするためには、このようなメトリクスが必要です。

前者は、デコードされたコンテンツで動作し、単純なピクセル間比較スキームから、高度なHVS（Human Vi-sual System）ベースのフレームレベルのアーティファクト分析まで、さまざまなQoE指標を使用してアプリケーションの品質レベルを計算するように設定できます[11]。
客観的および主観的なコンテンツ検査の測定手法は，符号化／復号化やネットワークの混雑など，エンドツーエンドのマルチメディア配信システムのどの段階でも起こりうる歪みを見つけるために使用されます。
既存の客観的な映像品質評価モデルは，主観的な品質評価の結果を近似したQoEメトリクスを用いて，マルチメディアサービスの品質レベルを推定・予測するために開発されている[13]。

QoE主観測定では，ITU-T勧告BT500[12]に記載されているように，オーディオおよび／またはビデオ・ストリームがユーザにどのように知覚されるかを評価します[14]。
コンテンツ検査測定ソリューションは，無参照（NR），縮小参照（RR），または完全参照（FR）のアプローチで評価できます。

この機構は、符号化パラメータ、パケット検査、ネットワーク条件に基づいて、特定のコンテンツの符号化後の品質レベルを予測します。
これにより、複雑さやリソースの消費を最小限に抑えることができます。

一方、ネットワークベースのアプローチでは、アプリケーションに関連する全ての送信パケットを検証しますが、このアプローチではディープパケットインスペクションを実行する必要があることが大きな問題です。 さらに、パケットロス率やパケットの片道遅延など、現在のネットワークの状態に関する情報を収集して、予測プロセスに使用する必要があります。 最終的な品質レベルの評価は、以前の情報に加えて、フレームレート、Group of Picture (GoP)、フレームタイプ、依存性など、アプリケーションレベルで利用可能なマルチメディアの特性に関する情報に基づいて決定されます。 また、コンテンツ検査とネットワーク計測のハイブリッド方式も提案されています[15]。このような方式が開発された主な理由は、ネットワーク運用者が、これまでの2つの方式の利点を組み合わせて、ニーズ、マルチメディアコンテンツの種類、ネットワーク、機器に応じて、性能、複雑さ、実現可能性、運用コストの問題を調整できるようにするためです。しかし、QoE評価のためのメトリクスを定義する際には、サービスに対するユーザの満足度に偏りを生じさせる可能性のある主観的な要因が多数存在するため、客観的なメトリクスの計算が複雑になってしまいます1http:／／www.dictionary.net／metric Mean Opinion Score (MOS)は、このセクションで後述するように、QoEシナリオで一般的に使用されるメトリックです。しかし、このメトリックを単独で使用することには主な欠点があります。それは、ビデオとオーディオの品質のみを考慮し、アプリケーションの応答性やインタラクティビティの度合いなど、完全なQoE評価フレームワークに関連する他の重要な側面を無視しているからです。これらのアプローチを超えて，我々は，映像品質評価方法だけでなく，知覚された映像品質に直接関係しない他のメトリクスのクラスも考慮した，より一般的な分類を提案する．直接的なメトリクスと間接的なメトリクスの2種類である。直接メトリクスは，マルチメディア・フローの知覚品質に直接影響を与えるものであり，間接メトリクスは，応答時間やインタラクティビティの程度など，サービスの使い勝手に影響を与えるが，マルチメディア・トラフィックに直接影響を与えない他の要因を指す．直接メトリクスと間接メトリクスは，いずれもサービスに応じて相対的な重要性が異なり，配信されるサービスの知覚体験に異なる方法で影響を与える．直接メトリクスは、ネットワーク性能に関連する遅延変動やパケット（フレーム）ロス、アプリケーションで定義されたコーデック情報など、さまざまな種類のデータ（潜在的には異なるレイヤ）から取得されます。直接メトリクスにはさまざまな種類がありますが、この作業の目的は完全なリストを提供することではなく、ビデオ品質評価の分野で最も関連性の高いメトリクスを参照することです。ピーク信号対雑音比（PSNR）：2つの異なる画像間の類似性を評価する基本的かつ重要なメトリックです。PSNRは，上述の「完全参照QoE測定」の手法を用いている．PSNRは、元画像と受信画像の間の各ピクセルの平均二乗誤差（MSE）を計算し、単位はdBで表されます。この欠点を解決するために、SSIMは、画像の輝度、コントラスト、構造的類似性を組み合わせて、元の画像と受信した画像の相関性を比較する。PSNRと同様に、SSIMもFull Reference方式を採用しています。Video Quality Metric(VQM)：上述のアプローチを改良し、VQMは、ぼかし、グローバルノイズ、ブロックおよび色の歪みを考慮して、画像上の人間が知覚可能なアーティファクトを検出します。 また、この指標はオリジナルの映像を使用しているため、フルリファレンスのQoE測定手法を使用していることになります。-Mean Opinion Score（MOS）。 MOSは、もともとオーディオ・ストリーム用に開発されたもので、アプリケーション・レイヤーでの遅延、知覚されるジッター、通信に使用されるコーデック、同じくアプリケーション・レイヤーでのパケット・ロスなどを組み合わせています。 ビデオのQoE評価の分野では、最終的に計算されたユーザの知覚を生成するために他のメトリクスの値を考慮することから、メタ・メトリクスと考えることができます。MOSの最も使用されている拡張版は、[17]で提案されており、著者はPSNRとMOSの間のマッピングを提案しています。上記の直接的なメトリクスは全て、ユーザが知覚したQoEを比較して評価するために、オリジナルのビデオ・フレームの存在を必要とするという主な問題があります。 一方、分析の基準点がない場合、ソリューションは、IPTVトラフィッ クの文脈で特定の実装を行ったV-Factorを含むMoving Pictures Quality Metric (MPQM)モデルで見られたように、上記のNRおよびRRモデルを使用して、フレーム損失、 遅延、およびジッタに関する低レベルの性能情報を必要とします[18]。4.2 間接的メトリクス 間接的メトリクスは，マルチメディア体験に影響を与えるが，マルチメディアコンテン ツの品質には直接関係しない特性，例えば，サービスに対する最終的なユーザの知覚 に影響を与える望ましくない副作用を引き起こす可能性のあるアーティファクトなどを考慮する。ネットワークの分野では、ネットワークの性能や直接指標の評価に重点が置かれているため、間接的な指標は詳細に研究されていないことに注目してください。間接的メトリクスは、その性質上、提供されるサービスの種類と密接に関連しており、一般的には、「再生ボタン」を押すなどのユーザのアクションに依存するため、アプリケーションやランタイム情報へのアクセスが必要となる。起動時間：ユーザが特定のコンテンツについてシステムに問い合わせをしてから、それを受け取るまでの時間を定義する指標です。典型的な例としては、ユーザが動画のリンクをクリックしてから実際に動画が再生されるまでの待ち時間が挙げられます。応答時間：この指標は起動時間を拡張したもので、ユーザがコマンドやアクションを実行してから、システムがそれを承認し、ユーザに応答が届くまでの時間と定義されます。ビデオ会議では、この指標はインタラクティブ度と解釈され、会議参加者間の会話の流暢さを決定する。 -配信の同期：複数のユーザがサービスを利用する場合、コンテンツは全ての参加者が同時に受信する必要がある。鮮度：コンテンツが生成されてから、ユーザが再受信するまでの時間を表す指標。この指標は、P2Pネットワーク（P2PTV）でライブストリーミングを行うアプリケーションに大きな影響を与えます。-Blocking：この指標は、直接指標と密接に関連しています。これは、通常、受信機の空のバッファによって引き起こされるビデオの揺れをモデル化するためです。時間間隔の計算は，QoSや性能解析の分野で広く研究されていますが[1]，これにはエンドポイント間の高精度な時刻同期技術が必要です．幸いなことに、QoEの分野では、このようなサブミリ秒の精度は必要ありません。ほとんどのシナリオでは、人間の知覚は数十から数百ミリ秒の解像度を持っており、最新のハードウェアを使っても十分に達成可能です。QoE評価のための統合的なソリューションを提案することが目的ではなく、データ取得に関する問題と結果の分析・解釈に関する問題という2つの異なる視点から主要な問題を特定することが目的である。従来の QoS 環境では、このようなトラフィックの収集は、高速リンクの膨大な量のデータに対処する計算集約的な操作を必要とし、サンプリング [4] やデータ集約スキームを用いてスケーラビリティを確保する必要がありました。これとは逆に，QoE 環境の場合，ユーザの知覚を扱うため，ネットワークの性能を測定するためにバックボーン機器を使用することはできません．なぜなら，ユーザの知覚を正確に推定するためには，できるだけエンドユーザの近くでトラフィックを収集する必要があるからです．これは、ユーザのエンドポイントで処理するデータ量が大幅に減るという利点があります。しかし、アプリケーションが統合された測定技術を持っていない場合、アプリケーションに依存するデータが必要となるため、交通分析が非常に複雑になります。QoEレベルを評価するために情報を取得する際には、i) どの情報を取得しなければならないのか、ii) どこでそれを収集するのか、iii) どのように取得を行うのか、という3つの異なる質問に答えなければなりません。どの情報を取得するか」はメトリックの選択によって決定され、「どこで」と「どのように」は得られる精度を決定します。これらの問題は、次のサブセクションでさらに詳しく説明します。メトリクスの選択：収集が行われる状況によって、計算可能なメトリクスと、使用可能なQoE測定手法（FR、NR、RR）が決まります。通常、リアルタイムQoE評価プラットフォームでは、オリジナルの送信データは利用できません。このため、Reduced ReferenceまたはNon Referencer技術を使用しなければならず、特にNon Referenceを使用する場合には、精度に限界があります。逆に、完全参照技術は、より正確な結果を保証しますが、リアルタイム環境では使用できないという制限があります。精度に関する別の側面は、アプリケーションに依存する情報にアクセスできるかどうかに関連しています。 また、精度に関しては、アプリケーションに依存する情報にアクセスできるかどうかにも関係します。この場合の重要な問題は、評価をどこで行うかです。例えば、エンドユーザ・アプリケーション、エンドユーザ・ホストのIPレイヤー、またはエグレス・ルーターなどです。解析を行う場所を選択することで、どのようにデータを取得するかが決まります。 例えば、QoSソリューションでは、トラフィック分析を行うためにネットワークのエグレス・ルーターを使用することが一般的です。この時点で、アプリケーションに依存するデータを収集することは、特にディープパケットインスペクションの計算需要や、今日の幅広いアプリケーションと構成に関しては困難です。一方、エンドユーザの手元でローカルにデータを収集する場合（IPTV環境ではセットトップボックス内）、使用されているコーデックなどのアプリケーションに依存する情報が得られるため、計算されるQoEの精度が大幅に向上します。5.2 結果分析 適切なメトリクスを選択し、正確なメトリクス計算を行うことは、QoE評価を成功させるための最初のステップに過ぎません。次のステップでは、ユーザが満足しているかどうかを判断します。一般的に、ビデオ伝送の成功体験の低いしきい値は、MOS値3であると広く受け入れられています。しかし、セクション4で強調したように、MOSは他のメトリクスから派生したものであり、場合によっては完全な評価に必要な全ての要素を考慮していません。この点を説明するために、Real-Time Interactive (RTI)、Video on Demand (VoD)、Live Streaming (LS)という3つの異なるタイプのサービスを考えてみましょう。RTIには、オンラインゲームやビデオ会議などがあり、VoDには、ライブではなく特定の場所に保存された映像を再生するジェネリック・ビデオ・ストリーミングなどがある。最後に、ストリーミング・アプリケーションはLSカテゴリーに属し、スポーツ・イベントなどのライブ・コンテンツがエンド・ユーザにストリーミングされます。表1は、上記の異なるカテゴリーのアプリケーションに対する直接的および間接的なメトリクスの影響を詳細に示しています。表1には、上記のアプリケーション・カテゴリに対する直接的および間接的な評価指標の影響が詳細に示されていますが、各評価指標はアプリケーション・カテゴリごとに異なる方法で影響を与えています。 直接メトリクスは、いずれも画質を評価するものであり、方法論と精度が異なるだけで、サービスカテゴリーに応じた影響はないため、まとめてグループ化しました。
レイテンシ
パケットロス
帯域幅