画像符号化規格とMPEG4-AVC/H.264の位置づけ ISO/IEC 標準規格と ITU-T 勧告 1990 1992 1994 1996 1998 2000 2002 2004 ISO/IEC MPEG4--AVC/H.264 MPEG4 AVC/H.264の概要の概要 Storage Media ∼1.5Mbps 1.5Mbps Generic ∼80Mbps 80Mbps MPEG--1 MPEG Generic AV 10k∼40Mbps 10k 40Mbps 2003年3月作業完了 MPEG--4 MPEG MPEG--2 MPEG MPEG--4 MPEG Part2 Part10 Minoru Etoh, PhD. 以下の資料をベースにドラフト NTTドコモマルチメディア研究所メディア制御研究室 Common Text ITU-T H.262 H.261 2003年12月（更新）2005年10月 Technically Aligned H.26L H.263 H.264 ISDN TV phone B-ISDN Comm. PSTN TV Phone p×64kbps ∼80Mbps ∼28.8kbps NTT DoCoMo Confidential NTT DoCoMo Confidential 1 MPEG4-AVC/H.264標準化経過 2 H.264/AVCのプロファイル 2001年12月Pattayaにて、ITU-T (VCEG)とISO/IEC (MPEG)の専門家が協力し次期動画像符号化標準規格を検討するため、JVT (Joint Video Team)を発足。目的：既存のコーデック(H.263v2 or MPEG-4 ASP) より50% 以上の効率改善 Baseline：リアルタイム通信・地上波デジタル1セグ放送 Main/High：ハイビジョンまで対応：Blu-ray, IPTV。 1997 1998 1999 2000 2002 2001 `01/12 ITU-T (VCEG) `99/10 H.26L 提案募集 H.26L 第1草案 `98/10 (MPEG) MPEG-4 MPEGPart 2 Ver. 1 FDIS `99/11 `01/07 MPEG-4 MPEGPart 2 Ver. 2 FDIS 新規提案評価 High g 高色解像度画像対応 Extended 飛び越し画像対応 Main エラー耐性機能算術符号化最終標準規格案 ISO/IEC Extended： Media Flo(2006年3月Qualcomm資料) 加えて各種の拡張がされている（scalable coding, multi-view coding) H 2 6 4 / A V C J V T 共同作業班発足 `98/01 2003 `03/03 Baseline 基本符号化機能エラー耐性機能 FDIS: 最終標準規格案 NTT DoCoMo Confidential NTT DoCoMo Confidential 3 H.264/AVC の要素技術(他の方式との比較) H.264/AVCの技術的特徴冗長度削減空間方向の従来技術と同様、動き補償＋変換符号化(DCT) (従来よりも多くの)複数予測モードに特徴があり、最適モード選択手法(Rate-Distortion optimization、規格外)により性能を最大限に向上ﾌﾚｰﾑ内予測空間方向の冗長度削減変換＋画像の復元逆変換エラー耐性ツールフレーム内予測動き補償フレームメモリブロック歪除去フィルタ MPEG-4から変更した機能 MPEG-4を拡張した機能 VC-1 (Simple) H.264/AVC (Baseline) 画素値の予測変換方法 8x8画素単位の離散コサイン変換(DCT) 4x4, 8x4, 4x8, 8x8 画素単位の整数変換 4x4画素単位の整数変換 (high profileは8x8変換を含む) 動き補償の単位 16x16画素のブロックと 8x8画素のブロックの 2種類 16x16画素のブロックと 8x8画素のブロックの 2種類 16x16画素のブロック∼4x4 画素のブロックの7種類画素のブックの種類動きベクトルの個数 1または4個 1または4個 1, 2, 4または16個動き補償の精度 ½ 画素精度まで ¼ 画素精度まで ¼画素精度まで輝度補償なしなし(Main profile以上あり) なし(Main profile以上あり) 参照画像の枚数 1枚 1枚 5枚ループフィルタなしなし(main以上あり) ありエントロピー符号化ハフマン符号化ハフマン符号化適応ハフマン符号化* エラー耐性ツール組込み型？組込み型時間方向の冗長度削減動き検出 MPEG-4 (Simple) 変換係数の予測冗長度削減時間方向の − 画像を複数のブロックに分割エントロピー符号化要素技術変換係数の予測量子化逆量子化 4 (overlapped) MPEG-4になかった機能 * H.264/AVC main プロファイルには算術符号化が含まれる NTT DoCoMo Confidential 5 NTT DoCoMo Confidential 6 1 H.264/AVCの主観評価結果 H.264/AVC Baseline Profileの客観的性能 MPEGで行われた主観評価(対象コンテンツ：モバイルからハイビジョンまで)では、H.264/AVCは性能が優れている結果が得られている。 (2倍以上の画質改善が得られている場合が多く、4倍以上の場合もあり)。ドコモで行われた主観評価においても、Real Video, Windows Mediaより優れていることを確認 Y-PSNR [dB] Akiyo QCIF 15Hz 42 41 40 39 38 37 36 35 34 33 32 31 30 29 28 Overall Coding Efficiency Improvements of AVC H.263-Base 58% MPEG-4 SP 16% H.264/AVC BP between 1x and less than 1.5x between 1.5x and less than 2x 0 8 16 24 32 40 between 2x and less than 4x 48 4x or greater Bit-rate [kbit/s] Codec H.264/AVC Baseline MPEG-4 SP H.263 Baseline 29.37% 40.59% - 15.69% MPEG-4 SP 21% 5% By courtesy of Heinrich Hertz Institute Berlin, Germany NTT DoCoMo Confidential NTT DoCoMo Confidential 7 H.264 Baseline と MPEGMPEG-4 Simpleとの比較 Simpleとの比較 8 H.264 Baseline と MPEGMPEG-4 Simpleとの比較 Simpleとの比較 H.264 Baseline Profile MPEG-4 Simple Profile H.264 Baseline Profile MPEG-4 Simple Profile 画像サイズ：352x288 フレームレート：15fps ビットレート：96 Kbps 画像サイズ：352x288 フレームレート：15fps ビットレート：96 Kbps 画像サイズ：176x144 フレームレート：10fps ビットレート：48 Kbps 画像サイズ：176x144 フレームレート：10fps ビットレート：48 Kbps NTT DoCoMo Confidential NTT DoCoMo Confidential 11 H.264/AVC Baseline Profileの客観的性能 H.264/AVCの主観評価結果 MPEGで行われた主観評価(対象コンテンツ：モバイルからハイビジョンまで)では、 H.264/AVCは性能が優れている結果が得られている。 (77%のケースにおいて、2倍以上の画質改善が得られている)。マル研で行われた主観評価においても、H.264/AVCはReal Video, Windows Mediaより優れていることが確認されている。 Akiyo QCIF 15Hz Y-PSNR [dB] 12 42 41 40 39 38 37 36 35 34 33 32 31 30 29 28 Overall Coding Efficiency Improvements of AVC H.263-Base MPEG-4 SP H.264/AVC BP 0 8 16 24 32 40 48 58% Bit-rate [kbit/s] 16% between 1x and less than 1.5x between 1.5x and less than 2x Codec H.264/AVC Baseline MPEG-4 SP MPEG-4 SP H.263 Baseline 29.37% 40.59% - 15.69% between 2x and less than 4x 4x or greater 21% 5% By courtesy of Heinrich Hertz Institute Berlin, Germany NTT DoCoMo Confidential 13 NTT DoCoMo Confidential 14 2 H.264のcomplexity – MPEG2との比較 H.264/AVC関連プロダクツエンコーダ：MPEG2より8倍の処理能力が必要 * デコーダ * ：【報道発表のあったH.264/AVC関連プロダクツ】カテゴリー Rough decoder complexity increase over MPEG2 Efficiency improvements Over MPEG2 Baseline 2.5x 1.5x Main 4.0x 2.0x Extended 3.5x 1.75x H.264 Profile 2003年10月現在企業・団体名 Polycom：iPower 9000/9400/9800はH.264に対応テレビ会議システム Tanberg：全てのプロダクツがH.264に対応 Sony：PCS-1がH.264に対応予定(2003/6発表) France Telecom R&D IPベースシステム開発中コンシューマエレクトロニクス Sony：PlaystationがH.264に対応予定(2003/7発表) y y 定( 表) LSI Logic (2003/9発表) シリコン・FPGAプロトタイプ * Harmonic Inc. 社の資料による Sand Video (2003/9発表) ST Microelectronics (2003/10発表) Pixsil Tech コメント：上記のデータより、H.264のcomplexityは高いことがわかる。処理能力に加えて、フレームメモリによる違いが大きいため、考慮する必要がある。 TI社DM270におけるH.264デコーダプログラムサイズ：32kword (1 word = 16bit) (MPEG4-SPエンコーダ＋デコーダ：32kword) NTT DoCoMo Confidential PC&DSP Software Envivio(2003/10発表) HHI, UBVideo, FastVDO, Moonlight, Mcubeworks, VSoft Sony以外の日本メーカーは、LSI開発、OMAP/Xscaleのソフト開発を行っているが、報道発表はされていない。 15 ご参考／Complexity増加をもたらす要因 NTT DoCoMo Confidential 16 エミー賞（団体）の受賞 (Baseline profileの場合) 動き補償を行うときにブロックサイズが小さい Æ キャッシュのアクセス(?) H.264/AVC映像符号化標準規格のHigh Profileへの貢献に対して、米国のエミー賞(Primetime Emmy Engineering Awards)を団体で受賞。 ½画素精度の動き補償を行うためのフィルタが長くなっている Æメモリアクセスの問題複数参照フレ複数参照フレームによる動き補償ムによる動き補償 Æ参照画像を格納するためのメモリの増加 ITUとISO/IECのビデオ・エキスパート・グループの共同検討チム (通称JVT、ドコモを含む全9団体）が受賞。チーム (通称JVT ドコモを含む全9団体）が受賞ブロックを任意の順序に並べ替えて、任意の順序で送出 Æフレームメモリはさらに一枚増、メモリアクセスは倍 Emmy賞とは：米国テレビ芸術科学アカデミー（The Academy of Television Arts & Sciences）の主催で、アメリカのテレビドラマを始めとする番組のほか、テレビに関連する様々な業績に与えられる賞である。過去1996 年に ISO/IEC SC29（代表，安田浩元東大教授，現東京電機大学）JPEG、 MPEG-1、MPEG-2の国際標準化活動の功績に対して、第50回米国エミー賞（技術開発部門）を受賞複数のモードによる予測(イントラ・インターフレーム) Æ動き検出とモード決定時の処理増(エンコーダ部) NTT DoCoMo Confidential 23 Technology and Engineering Emmy Award NTT DoCoMo Confidential 24 受賞後の記念撮影エミー賞技術部門授賞式出席模様(8/23 18:00-22:00) 受賞に名を連ねた9社: 1) HHI 2) Microsoft 3) Motorola 4) Broadcom 5) Panasonic 6) Docomo 7) Thomson 8) Sony 9) Dolby 先進技術研究所の栄藤次長が出席。 Motorola Dolby HHI SONY Thomson Microsoft Docomo 出席者：技術部門賞の関係者200人ほど NTT DoCoMo Confidential 受賞会場：Renaissance Hollywood Hotel and Spa, 栄藤次長(左から11人目), ITU Malcolm Johnson 氏(同9人目), ISO/IEC James Scott氏(同7人目) 25 NTT DoCoMo Confidential 26 3