Quantifying Skype User Satisfaction tomomi 1 ABSTRACT Skype の驚異的な需要拡大 根本的な疑問の発生 Skype の通話品質はユーザが十分に満足し得るレベ ルに達しているのか？ 客観的な満足度の指数がない USIモデルによる検証 USI : User Satisfaction Index Skype を対象とし、他のVoIP サービスにも適応可能 な検証を行う 1 Introduction USIモデルで用いるパラメータ The relative impact of the bit rate The compound of delay jitter and packet loss network latency on Skype call duration 上記3点のユーザの求める割合 46%：53%：1% ネットワークの遅延よりも、packet loss が最もユーザ にとって不快である 広帯域を利用することが問題解決に有用 2 Related Work Referenced Model 元音声と劣化音声間のひずみを計測する手法 問題点 元・劣化音声が共に利用可能でなければならない 両音声を同調させることは難しい Unreferenced Model 劣化音声のみを用いる手法 問題点 人間の近くを捕まえることができない 3 Trace Collection 実験の前段階 Network setup(3.1) Packet Sniffer の設置 通信パケットの監視を行う 中継ノードの設置 A powerful Linux machine より多くのトラフィックを促す Skype のトラフィックの選別(3.2) 3.2 Capturing Skype Traffic 多量トラフィックからSkypeのトラフィックの選 別 Skypeの可能性のあるトラフィックのフィルタリング・デ ィスクへの蓄積 An off-line identification algorithm Skype traffic の性質の利用 どの wellknown port も利用しない ”Skype Port”を利用する インストール時にランダムにつけられる Skype ログイン時に Skype Server にキャッシュ Skype Port 発見手順 Skype host の発見 ログイン時に送信されるHTTPリクエストを利用 UDPパケットのポート番号の調査 10秒以内に吐き出されたもの Skype port の発見 よく使用されるポート番号をそれとみなす 3.3 Identification of VoIP Sessions 同じ5組のパケットの流れを“flow”と定義 Source and destination IP address Source and destination port numbers Protocol number Packet rate によってアクティブかどうか判 断 Active：15pac/sec 以上 Flow：10秒以上続く 3.4 Measurement of Path Characteristics 遅延やパケットロスは通話品質に影響 RTT・Jitterの推論が不可能 暗号化されている・UDPで運ばれるため Probe packet を送って調べる 2分間隔で送られる Traceroute-like probes UDP基盤、ICMP probesを加えて私用 3.5 Trace Summary 2005年2ヶ月継続して調査 634 VoIP Session 獲得 Duration：DirectよりRelayedのほうが短い 95%信頼帯：重複していない 矛盾を検証する必要がある 4 AANLYSIS OF CALL DURATION 通話継続時間はQoSの要因に関連すると仮 定 Bit rate, network latency, network delay variations, packet loss 通話継続時間は、会話の質を意味すると仮 定 4.1 Survival Analysis 462 中 6 sessionのみ検閲された ディスクの故障 ネットワークの機能停止 によるもの The Cox Proportional Hazards Model を採用 生存に関わる多変数の効果を調べる回帰モデル 4.2 Effect of Source Rate Skypeは広帯域のコーデックを使用 ネットワークの帯域幅に応じている Isac codec(Global IP Soundによって提供) 最低10kbps～最高32kbpsに自動的に適応 今回の計測 20～64kbps より良い声の品質が得られるように、より品質の良い音 声が送られていると考えられる Skypeのsource rates 会話の品質に影響を及ぼす 音声品質の2要因 The frame size(30-60 ms) 音声パケットの転送割合の決定 462中300セッションが30ms(33packet/sec) The encording bit rate 本当にこれらは相関関係にあるかを検証 検証実験 パケットロスは5%以下と想定 結果 Packet rate と bit rate の相関係数0.82 必ずしも比例関係ではない パケットサイズは様々なため Bit ratesによる影響のみを考慮 通貨時間と密接な関係があるため 同様にPacket ratesも通話時間と関係があるため Fig2 検証実験 Bit ratesを変化させた時の通話時間 (中央値) S1・S3 2分20秒継続 S1(3%) more 40 sec S1(30%) more 40 sec より詳細な実験 The Mantel-Haenszel test 生存データに対する検定 Fig3 The Mantel-Haenszel testによる検証 及び結果 Bit ratesと共に増加 継続時間（中央値） セッションエラー 4.3 Effect of Network Conditions ネットワークの状態は音声品質の主要因子 SkypeのRTT伝達速度＝1Hz 遅延ジッタが起こらない低頻度 Data rateはネットワークの遅延に影響 SkyapeはVoIPパケットを生成するため パケット生成頻度は高いため Bit rateの標準偏差を利用し実験を行う RTT及びJitterによる影響の検証を行う 4.3.1 Effect of Round-Trip times 継続時間の測定 RTT別に3グループに分けて測定 RTT>270ms 4分継続 80ms<RTT<270ms 5.2分継続 RTT<80ms 11分継続 4.3.2 Effect of Jitter 通話継続時間との相関 Jitter > RTT Jitterと継続時間 は反比例の関係 (fig5) 0.5pkt/sec以上 のとき顕著 4.4 Regression Modeling 通話時間との相関因子 Source rate, RTT, jitter 相関分析では、各因子の影響度はわからない 直線回帰分析による検証 The Cox model 全追跡期間に亘る平均相対危険度の対数を推定 すべての予測変数における相対的なリスクを予測 4.4.1 The Cox Model 4.4.2 Collinearity among Factors 考えうる7要因を回帰モデルに入れ、分析 The bit rate(br), packet rate(pr), jitter, pr.jitter, packet size(pktsize), round-trip times(rtt) Br, pr, pktsize 相互関連が強い Jitter, pr.jitter 相互関係が強い Bit rate, jitter, RTTを要因として使用 4.4.3 Sampling of QoS Factors QoS Factor 一定ではなく、変動する 通常の状態よりも、極端な状態の影響大 例）すごくネット状況が悪いとき、ユーザは 話をきってしまう すぐに電 最も典型的な危険ベクトルはなにか？ 計測値（Min, ave, max）を利用し検証 検証結果 評価 計測値とWindow Size Coxモデルに要因をあてはめる モデルの尤度・あてはまり程度の良さで検証 最高bit rateと最低jitter が選ばれた ユーザは長期間やネットワーク状況よりも短 期間での通話状況に敏感である 4.4.4 Model Fitting The Cox Model 変数とハザード関数の直線関係を想定 20～30kbps間と40～50間のハザード率は同じ率で あると想定 Bit rate, Jitter rate共に対数変換 直線関係になる 大きさではなくスケールに比例する Fig6, 7 Bit rateとjitter rateは対称的 4.4.5 Model Interpretation 例）User1,2がそれぞれ電話をかける Br, RTT(同値)、Jitter(1=1kbps,2=2kbps) User2が電話を切る率は1の2.9倍 どの要因がより強く影響するかを知っておく と、最大限に通話状況を改善できる 実験結果からわかるユーザの不快指数の割 合 br:jitter:rtt = 46%:53%:1% Bit rate ↑ －－－＞ satisfication ↑ Jitter ↑ －－－＞ satisfication ↓↓ 4.5 User Satisfaction Index ユーザの満足度は継続時間に比例する 5 ANAONLYSIS OF USER INTERACTI USIを数的指標により検証 通話の双方向性とスムーズさ Skype(VoIP application)の問題点 通話時以外も packet rate が低下しない Packet rate で通話/非通話が判断不可能 プライバシー保護のため、暗号化される 通話パターンの推測アルゴリズムの提案 From packet header trace USIと音声の双方向性計測値は相互干渉 5.1 Inferring Conversation Patterns Packet size, bit rate ユーザの通話/非通話の判断 Conversation pattern の推測に利用 単純に閾値の決定はできない Packet sizeを決める要因がその時々で変わるから A dynamic thresholding algorithm ウェーブレット雑音除去(The wavelet denoising) を 利用 5.1.1 Proposed Algorithm 手順 1.パケットサイズをインプット 2.ウェーブレット雑音除去 • • • 1秒以下のタイムスケールで行う 低頻度の変動を保存するため ON= 500～2000Hz, OFF= 音声なし 3.動的な閾値化 • • 極値からON/OFFの閾値を計算 周り5サンプルと15byte以上の差があったとき • Maxima="peak", Minima="trough” Fig10,11 peak trough 5.1.3 Validation by Speech Recording 5.2 User Satisfaction Analysis Conversation patternによってユーザの満 足度を計る 三つの計測値の提唱 Responsiveness 発言と反応の交互反復の程度 片方のユーザのOFFともう一方のONが一致する程度 Response Delay お互いの発言の間のすきま Talk Burst Length 長い＝何度もリピート、等 → 悪い通話状態 Fig14 6 Conclusion QoSアプリケーションの発展が必要 今回提唱されたUSIモデルは有用 通話継続時間とユーザの双方向性の関係は 強い USIのパラメータは取得が容易
© Copyright 2024 ExpyDoc
