巻頭言スポーツ放送2020年の夢馬場口登大阪大学大学院工学研究科教授私はスポーツ放送映像と縁が深い。1996年秋，陽光きらめくカリフォルニア大学サンディエゴ校（UCSD：University of California，San Diego）のカフェテリアでの会話である。 R「こちらに滞在している間に何をする予定かね」 N「テレビ放送のスポーツ番組の内容解析と構造化を考えているのだが，どうだろう」 R「それは面白い。だが，アメリカンフットボールのタッチダウンシーンを抽出するとしたらどうする」 N「映像から選手の動きを解析して，ゴールラインを検出して，ボールを持った選手がゴールラインを越えるのを検出して……」 R「アメリカンフットボールのタッチダウンはいろいろある。あらゆるモデルを画像から作れるのか？テレビ放送には音声やクローズドキャプション＊１，オーバーレイ＊２などマルチメディア情報が満載だ！それを使う方が筋のいい研究じゃないか」実は，この会話が，私をマルチメディア処理に踏み込ませる契機となった。Rはマルチメディア研究の大家である Ramesh Jain教授＊３，Nは私である。以後，私はUCSDでクローズドキャプションにおけるコンテンツを表すキーワードと音声，映像との対応付けに興味を持ち種々調べ始めた。ライブのスポーツ映像では，クローズドキャプションより音声は必ず時間的に先行する＊４が，映画ではクローズドキャプションが音声に先行する＊５など，いろいろな小さい発見をして実に楽しかったのを覚えている。日本に帰ってから，UCSDでの考察に基づき，マルチモーダル解析＊６によるスポーツ映像におけるイベント検出，３時間のライブのスポーツ放送映像から自分の好みに合った３分の要約映像を自動的に作る方法，ライブとリプレイのシーンを対応付ける方法，などスポーツ放送映像を相手に随分，研究を楽しませてもらい，曲がりなりにもマルチメディアの分野で認知されるようになったのもこの頃の研究のおかげである。さて，映像・画像解析がスポーツ放送に果たした役割は極めて大きい。私が研究のネタとしたアメリカンフットボールはいわゆる「見る」スポーツの花形であり，「見る」人の多さゆえに，米国での新しいスポーツ放送技術は，アメリカンフットボールで試されると言われている。CMU（Carnegie Mellon University）の金出武雄先生による多視点映像撮影からの自由視点画像が放送されたのは，2001年のスーパーボウルであった。また，「仮想10ヤード線表示」も大きなインパクトを与えた。アメリカンフットボールでは，１回の攻撃でボールを10ヤード前進させられるか否かが大きな分かれ目となる。その線がライブ映像画面の芝生上に引かれたことに大変驚いた記憶がある。この仮想10ヤード線表示の登場は，もうすぐ2000年になろうとする時期であっただろうか。それから数年して野球場のフェンスや競技場の芝生グラウンドに仮想広告が出るようになった。さらに近年では，水泳会場のレーンに国旗や泳者名が重畳され，泳者の動きに合わせて世界新記録のラインが表示されるようになった。これらはまさに，拡張現実（Augmented Reality）の放送への応用である。また，錦織選手の活躍で沸いたテニスの放送映像ではフォールトやアウト／インの判定に，ワールド杯サッカーの放送映像ではゴールの判定に，多カメラを用いた画像解析システムHawkEyeの判定結果が組み込まれていた。NHKは，ロンドンオリンピックの放送で，TWINSCAMなるシステムによってシンクロ水泳の水中と水上の選手の姿を合体させた斬新な映像を作ってみせた。このようにスポーツ放送の高度化と画像解析・処理は不可分な関係になりつつある。 2 NHK技研 R&D/No.149/2015.1 1979年大阪大学工学部通信工学科卒業 1981年同大学院前期課程修了 1982年愛媛大学工学部助手 1987年大阪大学工学部助手 1991年大阪大学工学部講師 1993年大阪大学産業科学研究所助教授 1996∼97年 UCSD文部省在外研究員 2002年大阪大学大学院工学研究科教授現在は，マルチメディア処理，視覚的プライバシー保護処理に関する研究に従事。PCM2006 Best Paper Award， IAS2009 Best Paper Award，FIT2009論文賞をそれぞれ受賞。電子情報通信学会フェロー。電子情報通信学会パターン認識メディア理解研究専門委員会・専門委員長，同マルチメディア情報ハイディング・エンリッチメント研究専門委員会・専門委員長，映像情報メディア学会・関西支部長，MMM2008，ACM Multimedia 2012 General CoChairなどを歴任。工学博士。 2020年に東京で２回目のオリンピックが開かれる。官民挙げての盛り上げが期待されている。科学技術においても，産官学が一丸となって，技術立国日本の先進性，優位性を世界に発信することが望まれており，放送・映像技術も例外ではない。例えば，文部科学省の夢ビジョン2020では，超臨場感で新たな観戦を実現するための技術や，高臨場感で別空間を体験できる技術（テレイグジスタンス）の開発が挙げられている。ウェアラブル端末等でいつでも・どこでも・誰でも超臨場感で観戦できるようにするのである。 2020年にはどのようなスポーツ放送映像が登場するのか夢想してみよう。第一に，映像の解像度は，どこまで極限に突き進むのだろうか。私自身，８K映像を見たことがあるが，それこそ選手の汗が滴り落ちる様も映し出されるくらいの鮮明さである。一説には，８Kでようやく人間の網膜の解像度を超えたと言われているので，更なる技術革新により２のべき乗で解像度が上がるのもしれない。高解像度映像は，臨場感の伝達には必須で，どこにいても競技場の臨場感が味わえることになる。その他の映像表現では，任意視点の映像生成は理論的にはほぼ完成しており，ウエアラブルデバイスの発展とともにリアルタイムの高精細な映像が現実のものとなろう。第二は，より楽しいメディアへの展開である。マルチ画面化がどの程度進むか微妙なところであるが，いわゆる通信と放送の融合が進めば，体験共有メディアとしての放送が進化するであろう。そのための基盤を形成するものがIoT（Internet of Things）＊７センサーやソーシャルメディアである。仮に非侵襲の生体信号センサーが開発されたら，選手の呼吸数や心拍数がライブで中継され，一層の迫真性を伝えるであろう。一方，ソーシャルメディアは仲間同士や同好の集団で，喜怒哀楽を分かち合うのに極めて適したメディアである。ソーシャルメディアがどこまで進歩し，どのように変貌するのか予想もできないが，多人数で感動を共有・共感できるアミューズメントメディアであることは疑いない。第三は，先にも述べた拡張現実のさらなる革新である。現状の水泳放送の新記録ライン表示は，過去のデータと映像との関連付けに過ぎない。しかし実際は，過去の新記録を達成したときの選手や優勝したときの選手の姿が映像として記録されているはずである。過去の映像データベースとライブ映像を視覚的に不整合なく合成できるならば，東京の街を走る2020年のマラソン選手と一緒に，1964年のアベベ選手が並走する映像を作ることも不可能ではないであろう。今からどんな映像が出てくるのか，ワクワクする。きっと想像もつかないような映像で我々を喜ばせてくれるのであろう。そして，このような技術の実現に向けて，NHK放送技術研究所がその旗手となっていただきたいと願っている。＊１聴覚障害者用の字幕情報で，音声のトランスクリプト（書き起こし）。＊２映像に補助情報を重ねて表示すること。＊３当時はUCSD，現在はUCアーバイン校に所属。＊４ライブ放送であるので当たり前であるが，ライブ音声を驚くべきスピードでクローズドキャプションにする「技」にも感動した。＊５シナリオがクローズドキャプションの原データであるため。＊６映像だけでなくテキストや音声など複数種のデータを用いた解析。＊７さまざまなモノがインターネットにつながる技術。 NHK技研 R&D/No.149/2015.1 3