エンコーダ 送信バッファ部

講義状況と帯域に適応する
映像伝送方式
* 森村吉貴 * *八木啓介 * * 美濃導彦
*京都大学 情報学研究科
* *京都大学 学術情報メディアセンター
映像伝送
 インターネットによる映像伝送が普及
 映像伝送方式
従来は映像の内容(伝送の目的)を問わない
目的に応じた映像伝送方式を提案
 講義、スポーツ、報道など多様な目的
 目的によって重要な情報が異なる
 限られた帯域の中で重要な情報を優先する
例)講義であれば、板書が読めることが重要
講義映像伝送
ここで、「講義」という目的を考える
 同じ目的でもその状況は変化する

 板書、口述、解説など
→状況によって重要な情報は変化する
例)単に口述だけをしている状況では、
板書は必ずしも読めなくてよい
講義状況

本研究では以下の四つに講義状況を分類
講義状況
説明
重要な情報
1.板書
講師が白板に文字などを書いている 文字・図情報
2.口述
講師が喋っている
動き情報
3.解説
講師が板書などを指示しながら解説
文字・図・動き
全ての情報
4.その他 講師が間合いなどを取っている
重要な情報なし
状況認識

講義室内にセンサを設置、その情報から状況認識
 センサ
電子白板
 超音波位置センサ
 マイクロフォンアレイ

:白板への入力の有無
:講師の3D位置、白板との距離
:講師の発話の有無
白板入力 白板距離 発話有無
1.板書
2.口述
3.解説
4.その他
有
無
ー
ー
遠
近
(上記以外)
無
有
有
映像の時空間解像度
状況に応じて情報の優先度を変更したい
 そのために、映像の時空間解像度を考える

 映像は静止画(フレーム)の系列である
時間解像度:毎秒当たりのフレーム数
 空間解像度:フレーム当たりのデータ量

映像の時間解像度
単位時間(1sec)あたりのフレーム数(fps)
 大きくすることで動き情報を優先する
 小さくすることで動き情報を抑制する

(ただし、下限は存在する)
時間解像度:小
時間解像度:大
映像の空間解像度

フレームあたりのデータ量(KB)
 画素数・圧縮率など多くの要因を統合
大きくすることで文字・図情報を優先する
 小さくすることで文字・図情報を抑制する

(ただし、下限は存在する)
空間解像度:小
空間解像度:大
状況と時空間解像度
講義映像として許容範囲かどうかそれぞれの状況を主観評価
時間解像度
1.板書
2.口述
3.解説
4.その他
空間解像度
1.板書
2.口述
3.解説
4.その他
1
5
10
15
20
30(fps)
×
×
×
○
○
×
×
○
○
×
×
○
○
×
×
○
○
×
×
○
○
○
○
○
(1
1.5
2
4
5 )(Mbps:30fps時)
4
6
8
16
20(KB)
×
×
×
○
×
×
×
○
×
○
×
○
×
○
×
○
○
○
○
○
時空間解像度と帯域
空間解像度
○
×
現在の
帯域
× ○
時間解像度
伝送するデータ量は空間解像度と時間解像度の大きさに比例
許容される時空間解像度の組み合わせを伝送モードと呼ぶ
「板書」における伝送モード
帯域2Mbpsの場合
空間解像度
映像データ量の表
(単位:Mbps)
(KB)
○ 20 ×0.2 ○0.8 ○1.6 ○ 2.4 ○ 3.2 ○ 5
× 16 ×0.1 ×0.6 ×1.3 ×2
×2.6 ×4
8 ×0.06 ×0.3 ×0.6 ×1.2 ×1.3 ×2
6 ×0.04 ×0.2 ×0.5 ×0.7 ×1 ×1.5
4 ×0.03 ×0.2 ×0.3 ×0.5 ×0.6 ×1
1
5
10
15
20
2Mbps
30(fps)
時間解像度
×○
10fps, 20KBの伝送モードで、1.6Mbpsのデータを伝送
「口述」における伝送モード
帯域2Mbpsの場合
空間解像度
映像データ量の表
(単位:Mbps)
(KB)
20 ×0.2 × 0.8 × 1.6 × 2.4×3.2
16 ×0.1 ×0.6 ×1.3 ×2 ×2.6
8 ×0.06 ×0.3 ×0.6 ×1.2 ×1.3
○ 6 ×0.04 ×0.2 ×0.5 ×0.7 ×1
× 4 ×0.03 ×0.2 ×0.3 ×0.5 ×0.6
1
5
10
15
20
○5
○4
○2
2Mbps
○1.5
×1
30(fps)
× ○時間解像度
30fps, 8KBの伝送モードで、2Mbpsのデータを伝送
「解説」における伝送モード
(KB)
○ 20 ×0.2 ×0.8 ×1.6 ×2.4 ×3.2
× 16 ×0.1 ×0.6 ×1.3 ×2
×2.6
8 ×0.06 ×0.3 ×0.6 ×1.2 ×1.3
6 ×0.04 ×0.2 ×0.5 ×0.7 ×1
4 ×0.03 ×0.2 ×0.3 ×0.5 ×0.6
1
5
10
15
20
○5
×4
×2
2Mbps
×1.5
×1
30(fps)
×○
30fps, 20KBは帯域2Mbpsに収まらない
バファリングして伝送
バファリング伝送

許容される下限の解像度でも帯域に収まらない
 送信側でバファリングして伝送
 受信側で蓄積してデコード
 エンコード・デコードはリアルタイム
伝送時に遅延が発生するが、それを許容
データ量
データ量
送信側
ネットワーク

帯域
遅延
受信側
「その他」の状況の利用
(KB)
20 ○0.2 ○ 0.8 ○ 1.6 ○2.4 ○3.2
16 ○0.1 ○ 0.6 ○1.3 ○2 ○2.6
8 ○0.06 ○0.3 ○ 0.6 ○1.2 ○1.3
6 ○0.04 ○0.2 ○0.5 ○0.7 ○1
4 ○0.03 ○0.2 ○0.3 ○0.5 ○0.6
1
5
10
15
20
○5
○4
○2
2Mbps
○1.5
○1
30(fps)
伝送しなくても許容される
データを廃棄することでバファリング伝送の遅延を補償
システム構成図
受信側講義室
送信側講義室
カメラ マイク
センサ類(カメラ・マイク・ビーコン)
モニタ スピーカ
センサ情報
から
状況認識
動
画
音
声
MPEG2
エンコーダ
空間解像度
制御
制御部
時間解像度制御
バファリング制御
映像
データ
送信バッファ部
動
画
帯域
情報
音
声
MPEG2
デコーダ
映像
データ
受信バッファ部
ネットワーク
動作実験
MPEG2 ハードウエア・コーデックを使用
 帯域情報

 一定値(2Mbps)が得られているものとする
 実際の帯域はこれよりも十分に広い

状況の変化に従った伝送モードの変化を確認
状況:発話
状況:板書
「指示」から「その他」への移行
まとめ

目的に応じた映像伝送方式を提案
 講義を目的とする

状況によって重要な情報は変化する
 状況に応じて伝送モードを変更
各状況で時空間解像度を変更して重要情報を優先
 優先すべき情報が帯域内に収まらない場合

→バファリングすることで帯域内に収める
→必ずしも重要でない映像を廃棄することで、遅延を補償
画像:空間解像度の保証結果
通常のMPEG2による伝送
提案手法
講義状況に応じた伝送方式を実現