コンテンツ共有映像コミュニケーション「ひかりリビング」プロジェクトの展開映像音声チューニングエコーキャンセラ特集「ひかりリビング」を支える技術なかがわあきら†１中川朗 /中村無心 /島内末廣なかはまきよし†１なかむらむしん†１まつもと中濱清志 /松本こばやし「ひかりリビング」は，単なるテレビ電話ではなく，離れた相手と同じ空間にいるようなコミュニケーションツールとなるよう，会話をしながら，コンテンツ等を共有する機能を実現します．本稿では，快適なテレビ電話を実現する技術や，コンテンツを共有する技術など，ひかりリビングを支える技術について解説します．ひかりリビングのコンセプトかずのり†３※ たけし†２しまうちたにだすえひろ†１りゅういち†３ ※ 猛 /谷田隆一すぎうらこういち †３小林和則 /杉浦功一 †１ NTTメディアインテリジェンス研究所 NTTサービスエボリューション研究所†２ NTTアドバンステクノロジ†３いています．テレビ電話中の写真共有の場合の利次に，通話中コンテンツ共有プロト用手順は，以下のとおりです（図１）． ① テレビ電話を行う．コルについて，図２を用いて説明しまリビングの大型テレビで，新たな「ひ ② 相手と写真を共有したい側が送す．本プロトコルでは，発信側・着信かり映像コミュニケーション」によっりたい写真を選択し，相手に送信側によらず，コンテンツを送信するこて気軽でゆるやかに，雰囲気や喜怒哀する．とが可能です．ただし，送信できるコ「ひかりリビング」のコンセプトは，楽まで伝わる同室感・一体感を実現 ③ 受信者側がデータ受信を完了しンテンツは，お互いに視聴可能なコンすることです．本稿では，それらを支た時点で画面が分割され，左側テンツに限るため，次の要件を満たすえる技術のうち，以下４つについて説の領域にテレビ電話映像，右側必要があります．明します．の領域に写真をそれぞれ表示する． ① NGNひかり電話のデータコネクトを用いたコンテンツ共有技術 ② 固定電話品質並みの音声遅延を実現する音声遅延低減技術 ③ ・音声電話，もしくはテレビ電話の発着信，両側からコンテンツの共上記の手順で，通話中に相手とコ有ができること．ンテンツを共有することが可能になり・送り側，受け側の双方で共有動ます．なお，これらを実現するため，作（コンテンツ表示など）が可能通話中コンテンツ共有プロトコルを用 N G N ひかり電話の映像ストリーム（約1.8 Mbit/s）で，映像をHD品質で伝送する映像チューニング技術 ①テレビ電話中 ④ 一般家庭のリビングの環境下で安定してエコーを消去するエコーキャンセラ技術送信中受信中 ②写真送信中（テレビ電話も継続）コンテンツ共有技術ひかりリビングでは，デジタルカメラで撮影した写真などのコンテンツを， ③写真を共有音声電話やテレビ電話で，相手と通話（テレビ電話も継続）をしながら，授受・視聴ができます．図１テレビ電話中の写真共有機能 ※ 現，NTTメディアインテリジェンス研究所 NTT技術ジャーナル 2013.12 13 映像コミュニケーション「ひかりリビング」プロジェクトの展開なコンテンツの種類を把握できること．そこで本通信プロトコルでは，以下 NGN ひかり電話の取り決めを行い，これらを実現しています．音声 (m=audio) ・TCP（ Transmission Control 映像 (m=video) Protocol）の１セッションで，双方向で対称のコマンド体系によりコンテンツの送受信を複数回行うデータ (m=application) ために，コンテンツ通信路を確立写真等のコンテンツを送信・共有する（図３）．・コンテンツ通信路確立後に，送受写真等のコンテンツを送信・共有信側双方でプレビュー可能なコンテンツ種別等の能力交換を行う．図２通話中コンテンツ共有プロトコル通話中コンテンツ共有プロトコルを実装するにあたり，正常系のプロトコル・実装設計はスムーズに行うことができました．しかし，こういった通信プロトコルを実装する際には，準正常コンテンツ・ゲーム・写真等系・異常系手順をプロトコル，および実装で網羅することが必要不可欠です．具体的には，想定されるあらゆるタイミング（特に複数の処理が競合し m=application で構築した TCPセッション（1セッション）コンテンツ通信路た場合や，送受信側の操作が衝突した場合）において，正常に動作するように綿密にプロトコル設計を行い，実図３コンテンツ通信路装仕様を策定する作業です．ひかりリビングのような新しいプロ ms未満です．このうち，ネットワーク msの遅延があることから，残された遅ジェクトにおいては，こういったプロトの遅延を30 msと想定し，それを差し延はわずかに40 msです．この40 ms コルの策定作業は地道な作業であり，引いた120 msが音声の送受信に許容未満で，ネットワークの揺らぎ吸収もっとも苦労した点の１つといえます．される上限値として想定しています．バッファと，他アプリとの再生の同期ひかり電話では，20 msのパケットをを取るためのバッファを実装する必要使用するので，音声データをため込むがあります．このため，私たちはハーひかりリビングで目標とされた固定のに20 ms，再生するのに20 ms，音ドウェアを制御するドライバレベルで電話品質並みの遅延は，片方向（自声データの受け渡しに20 msの合計60 既存のバッファ制御アルゴリズムに変分側のマイクで集音されてから相手側 msが原理的に必要です．さらに，音更を加えています．少ない遅延量を実のスピーカで再生されるまで）で150 声コーデックとエコーキャンセラで約20 現するには，バッファに保持するデー音声遅延低減技術 14 NTT技術ジャーナル 2013.12 特集タ量（バッファサイズ）を減らす必要がありますが，バッファサイズを小さく撮像ユニットすると遅延揺らぎ耐力が低下するため， CPUの負荷が高くなるなどの外部的な擾乱が生じた際に，音の途切れが発生しやすくなるのです．さまざまな利用プレ処理部エンコーダノイズ除去・カラーバランス調整など映像データの符号化映像送信 NGN 条件でCPU負荷を掛けても音切れの発生しないバッファサイズを調べ，そデコーダひかりリビング端末れを下回らずに最小となるよう，バッ映像受信映像データの復号ファサイズを調整することで，目標とする遅延未満での通話を実現しています．映像チューニング技術テレビひかりリビングのテレビ電話映像は図４映像伝送構成図図４のような構成で，送り側で撮影と伝送，受け側で受信と表示が行われています．HD品質でのテレビ電話映像るような補正アルゴリズムを実装してごとの符号量に格差があるため，受信を伝送するには，圧縮ストリームが規います．さらに，画像の輪郭情報を残データをそのまま表示すると，動きが格に準拠していることはもちろんですしつつ，ノイズだけ低減させる新たな不自然にカクついて見えてしまいます．が，伝送レートや遅延時間も一定値以適応ノイズ除去フィルタを搭載し，低そこで，安定した映像再生を行うため下に抑える必要があります．画質と相ノイズ，かつメリハリのある絵をつくりに，デコーダ側で符号量の差に起因す反するこれらの要件を満たしつつ，限出しています．る時間的な変動を吸収するためのバッ界まで画質を引き上げるため，主にカ次にエンコーダですが，限られた帯ファリングを行っています．ただし，バッメラ，エンコーダ，デコーダの３点に域を有効活用するため，主にピクチャファサイズを延ばすと表示遅延が起ついてチューニングを実施しています．ごとに割り当てる符号量の配分調整をこってしまうので，試験を重ねて限界まず，カメラの調整ですが，ここで実施しています（同一伝送レートの条まで短く削っています．はカメラ，およびプレ処理部の設定を件下でも，ピクチャごとに割り当てる以上に挙げた項目をさまざまな照明変更することで，低レートでも視認し符号量の配分比率を変えると画質が大環境下で繰り返し試験して調整したこやすい絵づくりを行っています．具体きく変化します）．また，同時に伝送とで，高品質なテレビ電話映像の安定的には，くっきりした絵が出せるよう時のピークレートと遅延時間も変わっした送受信を可能としています．に受光素子の設定を見直し，受光素てしまいますので，通信要件（ピーク子の情報を可能な限り映像データに載レートと遅延時間規定）の範囲で配分せるようにしました．また，広角レン調整を行い，最適点を求めています．ズの特性上，画面周辺が暗く映る傾最後にデコーダですが，こちらでは通信相手との自然なコミュニケーショ向があるため，周辺の明るさを持ち上滑らかに再生されるようにバッファサンを可能にするため，テレビのスピーげて，画面全域でフラットな画質となイズの調整を行っています．フレームカを利用して通信相手音声を再生し，エコーキャンセラ技術テレビを視聴しているような感覚で， NTT技術ジャーナル 2013.12 15 映像コミュニケーション「ひかりリビング」プロジェクトの展開相対的に雑音は大きくなりがち AGC ノイズリダクションマイクまでの距離が遠くなりがちカメラ＋マイクもしもし遅延補正エコーキャンセラテレビ機種ごとに異なる再生タイミングひかりリビング端末図５エコーキャンセラ等構成図通話時にほとんど意識することのないられるように，テレビの機種ごとに異よう，カメラに内蔵している小型マイなる再生遅延時間を自動的に測定し，クで自分側の音声を収音します．この適切なタイミングで逆位相信号を生成ようなスピーカとマイクの環境で，高することを可能としています．品質，かつ快適なハンズフリー通話をまた，マイクを内蔵した小型カメラ実現するために，エコーキャンセラ機は，テレビの上部など，話し手から比能，ノイズリダクション機能，自動音量較的離れた位置に設置されるため，話調整（AGC: Automatic Gain Con- し手の音声が相対的に小さくなり，周 trol）機能を搭載しています（図５）．囲の雑音に埋もれやすくなる問題があエコーキャンセラは，スピーカからマります．そこで，ノイズリダクション機イクに回り込む音（エコー）と逆位相能により，周囲の雑音を低減しつつ，の信号を生成して，マイクで収音した AGC機能により，話し手の音声を適信号に加え合わせ，エコーを打ち消す正な大きさに自動調整することで，通ことにより，通話の障壁となるエコー信相手に聞き取りやすくなるように工の発生を防止する機能です．近年のデ夫しています．ジタルテレビでは，音声がテレビの入力端子に入力されてスピーカから再生されるまでに遅延を生じる製品も多く，おわりにひかりリビングは，使う人にとってまた，その遅延時間もテレビの機種ご分かりやすいもの，便利なものとなるとの構造により異なるため，逆位相信よう，多くの技術とノウハウが注入さ号によるエコーの打ち消し精度が低下れています．そのうえで，チューニングすることがあります．作業を繰り返しながら，利便性や品質ひかりリビングに搭載されているエの向上を実現しています．１人でも多コーキャンセラは，ユーザが持つどのくの方に使っていただくことを願ってようなテレビでも，すぐに通話が始めやみません． 16 NTT技術ジャーナル 2013.12 （上段左から）中川朗/ 中村無心/ 島内末廣/ 中濱清志（下段左から）松本猛/ 谷田隆一/ 小林和則/ 杉浦功一ひかりリビングは，離れて暮らす家族間のコミュニケーションを活性化できると思います．ぜひ一度，ご体験いただければと思います． ◆問い合わせ先 NTTメディアインテリジェンス研究所第一推進プロジェクト TEL 046-859-2407 FAX 046-855-3495 E-mail nakagawa.akira lab.ntt.co.jp