2016 年 2 月 16 日 日本電信電話株式会社 2020 年に向け、注目する選手個人を 擬似 3D でリアルタイム中継！ ～ イマーシブテレプレゼンス技術「Kirari!」の研究開発が進展 ～ 日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：鵜浦 博夫、以下、NTT）は、 昨年より、あたかも競技場にいるかのような体験をあらゆる場所で感じることができる世界を目指す “イマーシブテレプレゼンス技術「Kirari!」の研究開発に着手し、技術開発を進めて参りました。今回、 注目する選手個人を擬似 3D でリアルタイム中継可能な技術を開発し、超高臨場感視聴体験を実現 することに成功しました。 1. 取り組みの背景 昨今、オリンピックやワールドカップなどの世界的なスポーツ大会や、国内でのプロ野球やサッ カーなど、人気の高いスポーツ競技の試合が開催される際には、テレビ中継に加えて、インターネッ トにおけるライブ配信や街中などにおけるパブリックビューイングなど、スポーツ視聴のスタイルは多 様化してきています。また、2020 年には、4K・8K 放送の普及により、多くの視聴者がテレビやパブリ ックビューイングなどで、スポーツの感動を共有されることが予想されます。 こうした世の中の視聴スタイルの多様化をとらえ、高精細かつ超高臨場感を実現するための技術 として、あたかもその場にいるかのような超高臨場な体験をリアルタイムかつ遠隔で実現するイマー シブテレプレゼンス技術「Kirari!」のコンセプトを 2015 年 2 月に発表いたしました※1（図１）。Kirari!に よる超高臨場感リアルタイム中継の実現に向け、技術課題を解決するための要素技術を図２のよう に整理し、これまで各要素技術の研究開発を推進してまいりました。 （図１）イマーシブテレプレゼンス技術「Kirari!」 （図２）Kirari!の技術要素について 2. 超高臨場感視聴体験を実現した Kirari!の成果について Kirari!による擬似 3D リアルタイム中継実現に向けた主な技術課題は、下記となります。 · 競技会場における試合の模様からリアルタイムで選手の映像や競技の音声を切り出す技 術の精度向上。 · 切り出された選手の映像や競技の音声に加え、リアルタイムに合成した試合全景の映像や 音声情報に加え、様々な情報の同期伝送と、遠隔地での臨場感の高い再現。 今回開発した技術により、注目する選手個人を擬似 3D でリアルタイム中継することに成功しまし た。今回開発した要素技術の概要、および成果のポイントは以下となります。 ■超高臨場感メディア同期技術（Advanced MMT） これまで NTT は、輻輳などの影響で発生するバースト的なパケットロスを訂正可能な誤り訂 正技術（FireFort-LDGM 符号※2）を研究開発し、国際標準のメディア伝送規格 MMT※3 に適用す ることで、IP 網を利用した、超高精細映像などの大容量コンテンツの低コストで安定・高信頼な 伝送に取り組んでまいりました※4。 一方、昨年発表した「競技空間をまるごとリアルタイムに配信する」コンセプトに基づき、MMT の枠組みの中で、撮影対象の大きさや位置関係、競技音声の方向などの三次元情報を記述で きる MMT シグナリングの記述子を定義することで、映像・音声と共に空間的な情報を同期伝送 できる技術を開発しました。この技術により、例えば映像提示デバイスのスクリーンサイズ/解像 度/設置位置/姿勢などの物理的空間位置とアセット情報(フレーム内のピクセル情報)との対応 付けが可能となり、競技会場を構成する複数の映像や音声と共に、映像の空間的な大きさや音 像の定位情報などを遠隔会場に伝送し、伝送先に応じて高臨場に競技空間を再構成することが できるようになりました。 ■任意背景リアルタイム被写体抽出技術 距離や温度のセンサ情報を用いた輪郭検出技術と、高速高精度に被写体の境界を特定する 画像処理技術を組み合わせることで、単純な背景の中、少人数が写るシーンでリアルタイムに 被写体映像を抽出する技術を開発しました。この技術により、一定の条件下において、屋内外 のフィールド環境で行われる個人競技等において、擬似 3D 表示したい選手の映像だけをリアル タイムで切り出すことができるようになりました。 ■臨場感デザイン技術（高臨場音像定位技術） 広範囲な視聴エリアに少ないスピーカ数で仮想的な音源を臨場感高く定位させる高臨場音像 定位技術を開発しました。この技術により、大画面に等身大で投影した被写体映像の任意の位 置に音源を生成することができ、あたかも被写体そのものから声や競技音が発生しているかの ような効果をより経済的に実現できるようになりました。 ■超ワイド映像合成技術 複数台の 4K カメラを並べて撮影した映像をリアルタイムに補正しつなぎ合わせるスティッチン グ処理技術を開発しました。この技術により、広大な競技会場を写した映像や、陸上競技等の 横方向に長いフィールドを使う競技の高精細ワイド映像をリアルタイムに作ることができるように なりました。 3. 今後の展開 今回研究開発を行った技術を活用し、今後個人競技を中心に、競技のリアルタイム中継のトライ アルを進めてまいります。具体的なユースケースとして、空手やフェンシングなどの競技や、ピッチャ ー、バッターなど個人のプレイにフォーカスがあたる野球などへの展開に挑戦してまいります。 さらなる研究開発として、2017 年には、Kirari!で実現する競技の幅を広げるため、選手複数人での 競技（被写体の重なりの大きい競技）へ対応するための研究開発を推進してまいります。将来的に は競技者が大人数、もしくは複数の被写体の移動の大きい競技などへ対応することにより、現在で は実現の難しい柔道サッカーなどへの適用を目指します。 また、Kirari!の適用分野は、スポーツだけではなく、超高臨場感視聴体験に新しい価値を持つこと が想定される伝統芸能や、コンサートのパブリックビューイング、講演のライブ中継などへの展開も 視野に進めてまいります。 なお、今回、研究開発を実施した技術は、2016 年 2 月 18 日～19 日に開催する「NTT R&D フォー ラム 2016」にてご覧いただけます。公益財団法人 全日本空手道連盟の協力のもと、空手の形の演 武におけるリアルタイム中継や、本フォーラムの中で実施される講演のライブ中継を予定していま す。 「NTT R&D フォーラム 2016」サイト http://labevent.ecl.ntt.co.jp/forum2016/info/ ※1 http://www.ntt.co.jp/news2015/1502/150218b.html ※2 FireFort-LDGM 符号 LDGM（Low Density Generator Matrix）符号に基づくパケット伝送用誤り訂正符号の一つで、演算負荷が少 なく強力な誤り訂正能力が特長。低解像度映像から超高解像度映像まで様々なビットレートの映像伝送にお いて、高い誤り訂正能力による安定した伝送を可能とし、スマートフォンなどの処理能力や消費電力に制約 のあるモバイル端末でも動作可能。 ※3 MMT（MPEG Media Transport） 国際標準化団体である、ISO/IEC JTC 1/SC 29/WG 11 MPEG で制定するメディアトランスポート規格。IP を 含む多様なネットワークに柔軟に対応できるトランスポート規格を目指し、2009 年より検討開始。2014 年 6 月、 コアパート（23008-1）が国際標準化。 ※4 http://www.ntt.co.jp/news2014/1405/140515a.html ＜本件に関するお問い合せ先＞ 日本電信電話株式会社 サービスイノベーション総合研究所 企画部広報担当 E-mail：[email protected] Tel：046-859-2032
© Copyright 2024 ExpyDoc
