イマーシブテレプレゼンス技術「Kirari!」の研究開発が進展！

2017 年 2 月 13 日
日本電信電話株式会社
イマーシブテレプレゼンス技術「Kirari!」の研究開発が進展！
～屋内競技を高臨場に伝送可能な技術を開発～
日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：鵜浦博夫、以下、NTT）は、
あたかもその場にいるかのような超高臨場な体験をあらゆる場所でリアルタイムに感じることができ
る世界を目指すイマーシブテレプレゼンス技術「Kirari!」のコンセプトを 2015 年 2 月に発表※1 しました。
2016 年 2 月には、個人競技(選手単体)の擬似 3D リアルタイム中継が可能となるレベルまで Kirari!
の技術開発が進展したことを発表※2 し、その後も技術開発を進めて参りました。
この 1 年間の技術開発の成果は、下記の 4 つとなります。
開発成果① ：被写体抽出環境に対して頑健に被写体を抽出する技術、及び、被写体を精緻に
抽出する技術を開発
開発成果② ：視野角 180 度以上の複数 4K 映像をリアルタイムにつなぎ合わせるスティッチング
処理技術を開発
開発成果③ ：映像・音声と共に空間的な情報を低遅延で同期伝送する技術を開発
開発成果④ ：音が飛び出し、かつ、広範囲な受聴エリアに対応した高臨場音像定位技術を開発
（図１）Kirari!の技術要素と今回の開発成果のポイント
１.
Kirari!のこの１年間の開発成果詳細
Kirari!による擬似 3D リアルタイム中継実現に向けた主な技術課題は、下記となります。
（１）競技会場における試合の模様からリアルタイムで選手の映像を切り出す技術の精度向上
（２）切り出された選手の映像に加え、リアルタイムに合成した競技空間の映像、競技や歓声な
どの音声情報、映像・音声以外の様々な情報を同期して伝送し、遠隔地における臨場感の
高い再現
この１年間の技術開発の成果として、（１）については被写体抽出環境に対する頑健化、および、
被写体切り出し後の処理の精緻化を実現しました。また、（２）については、競技空間の映像に対して
リアルタイムでの合成範囲の拡大、メディア同期伝送の低遅延化、遠隔地での音響再生の立体化を
実現しました。今回開発した成果のポイントは以下となります。
■開発成果① ：任意背景リアルタイム被写体抽出技術
奥行き情報の活用と色学習処理により、照明等がコントロールされていない環境においても
頑健に被写体を抽出する技術を開発しました。この技術により、実競技会場において、擬似 3D
表示をしたい選手の映像を安定的にリアルタイムで切り出すことができるようになりました。
また、細部まで精緻かつ自然に被写体を抽出する技術も開発しました。この技術により、伝統
芸能などにおいて、演者を精緻に切り出すことができるようになりました。
■開発成果② ：超ワイド映像合成技術
視野角 180 度以上かつ縦横方向に複数配置した 4K カメラ映像をリアルタイムに合成(横 8×
縦 1、横 4×縦 2 など)する技術を世界で初めて開発しました。この技術により、観客席も含めた
広大な競技会場全体の映像など、包み込まれるかのような高精細サラウンド映像をリアルタイ
ムに作ることができるようになりました。
■開発成果③ ：超高臨場感メディア同期技術（Advanced MMT※3）
映像分割・並列処理により送出処理時間を低減し、遅延時間を大幅に削減、かつ、再生機器
の遅延まで含めた同期合わせの技術を世界で初めて開発しました。この技術により、遠隔講演
中継において、質疑応答など双方向のコミュニケーションを行うことができるようになりました。
■開発成果④ ：臨場感デザイン技術（高臨場音像定位技術）
スピーカーを置いていない客席近くにまで音が飛び出し、かつ、広範囲な受聴エリアに対応し
た高臨場音像定位技術を開発しました。映像の任意の位置に音源を生成するこれまでの技術
に加え、実際には映っていない観客の声を再現するなど、音響効果だけで競技会場との一体感
を感じることができるようになりました。
2.
今後の展開
さらなる Kirari!の研究開発として、超高臨場感ライブ中継における臨場感や一体感を高めるための
取り組みを推進します。
また、スポーツ分野のパブリックビューイングだけではなく、伝統芸能やコンサートといったエンタ
ーテイメント分野でのライブビューイング、セミナーや講演のライブ中継などエンタープライズ分野へ
の展開も視野に、サービス化に向けた取り組みをより一層加速してまいります。
なお、今回、研究開発を実施した技術は、2017 年 2 月 16 日～17 日に開催する「NTT R&D フォー
ラム 2017」にてご覧いただけます。スポーツ分野への Kirari!適用イメージとして、公益財団法人全
日本柔道連盟の協力のもと、柔道の超高臨場感パブリックビューイングのステージを予定していま
す。また、エンターテイメント分野への Kirari!適用イメージもご覧いただく予定です。
「NTT R&D フォーラム 2017」サイト https://labevent.ecl.ntt.co.jp/forum2017/info/
※1 2015 年 2 月 18 日報道発表 http://www.ntt.co.jp/news2015/1502/150218b.html
※2 2016 年 2 月 16 日報道発表 http://www.ntt.co.jp/news2016/1602/160216b.html
※3 MMT（MPEG Media Transport）
国際標準化団体である、ISO/IEC JTC 1/SC 29/WG 11 MPEG で制定するメディアトランスポート規格。IP を
含む多様なネットワークに柔軟に対応できるトランスポート規格を目指し、2009 年より検討開始。2014 年 6 月、
コアパート（23008-1）が国際標準化。
＜本件に関するお問い合せ先＞
日本電信電話株式会社
サービスイノベーション総合研究所企画部広報担当
E-mail：[email protected]
Tel：046-859-2032

Download Report