マルチメディア情報のディジタル表現と処理古坂和義１マルチメディア • メディア – 表現メディア • 情報を表現する手段（例：文字、音声、図形、画像） – 伝達メディア • 情報を物理的に伝達する手段 – 通信メディア（LAN、ISDN等） – 放送メディア（地上波放送、衛星放送、CATV等） – 蓄積メディア（ＭＤ、ＣＤ、ＤＶＤ、ビデオテープ）１マルチメディア • 表現メディアの分類 – 離散メディア：時間独立なテキスト、静止画等 – 連続メディア：時間依存の動画、音声等 • マルチメディア – 複数の表現メディアを同一の伝達メディアによって扱うこと – 狭義の意味では、離散メディアと連続メディアを同時に扱うこと２アナログとディジタル • ディジタルとアナログ • ディジタル化の長所と短所アナログとは • 物質・システムなどの状態を連続的に変化する物理量によって表現すること • 人が普段接するものの多くはアナログ的なものであるディジタルとは • 物質・システムなどの状態を、離散的な数字・文字などの信号によって表現すること • 曖昧な中間部分をなくすことディジタル化の長所と短所（１） • 長所 – 画像、音声、動画などの情報を同一の次元で加工処理できる – 情報の圧縮や暗号化することができる – データの劣化がない – 情報の再利用や保存、取り出しが容易であるディジタル化の長所と短所（２） • 短所 – 音声や画像、動画の場合、標本化や量子化によって一部の情報が失われる – 情報の劣化なしに複製することができる – 情報を不正に書き換えることができる – 個性が失われる３アナログデータのディジタル化 • • • • • • 標本化量子化音声のディジタル化画像のディジタル化エイリアシング標本化定理標本化標本化とは？連続するデータを一定間隔ごとに、その区間の代表的な値に変換すること 音声の場合 一定の時間間隔で標本化 画像の場合 一定の面積ごとに標本化量子化量子化とは？アナログ信号の大きさを数値として変換すること音声のディジタル化２０１５１０５０画像のディジタル化標本化・量子化に伴う誤差 • 標本化を行う際に発生する誤差 – エイリアシング • 量子化を行う際に発生する誤差 – 量子化誤差エイリアシングエイリアシング標本化を行った時に発生する元のデータには含まれていないデータのこと 音声の場合 本来無いはずの音が現れる 画像の場合 ジャギー（図形の縁がギザギザになっている）の発生エイリアシングの例標本化定理標本化を行う際に、原信号に含まれる周波数成分をすべて正確に標本化するには、原周波数の２倍以上のサンプリング周波数が必要となる •音声の場合 人が聞き取れる最大の周波数は22KHzであるとされている よって、この時のサンプリング周波数は22KHzの２倍である４４ＫＨｚあれば全ての音声情報を正確に標本化できる ＣＤは４４ＫＨｚで標本化されている標本化定理信号周波数は0.25Hz サンプリング周波数は0.5Hz 標本化定理信号周波数は0.25Hz サンプリング周波数は0.33Hz 量子化誤差仮にこの目盛りを1mmの定規の目盛りとすると、この量子化によって、±0.5の誤差が生ずる標本化定理の演習 • サンプリング周波数の変更による音の変化を耳と目で観察する • 量子化ビットの変更による音の変化を観察してみる • 電話の音声をディジタル化するときにもっとも適切なサンプリング周波数を求めよデータの圧縮 • 圧縮の分類 – 可逆圧縮 • 圧縮されたデータを伸張したときに元のデータに完全に復元できる • 汎用的に用いることができる • 主にデータの圧縮に用いられる – データの圧縮ではLzh、Zip等 – 画像データのGif,PNG形式は可逆圧縮であるデータの圧縮 – 不可逆圧縮 • 圧縮されたデータを伸張したときに元のデータには復元する事ができない • 圧縮対象となるデータの特徴を利用して圧縮することが多い • 汎用的なデータの圧縮には不向き – 音声：MPEG-１ Audio Layer3 – 画像：Jpeg – 動画：MPEG-1、MPEG-2 JPEG • Joint Photographic Expert Groupという委員会でまとめられた • 特徴 – 人は輝度の変化に比較して色の変化を認知する能力が低い事を利用し、色差情報を間引く – 緩やかに変化する部分の輝度、色の階調差には敏感だが細かく変化する箇所では少ない階調でも不自然さを感じないＲＧＢとＹＣｒＣｂ • ＲＧＢは色の３原色赤、緑、青 • Y= 0.299R+0.587G+0.114B • Cr= -0.169R-0.3316G+0.500B • Cb= 0.500R-0.4186G-0.0813B JPEG • カラー画像をＹＣｒＣｂへ変換する。この時Ｙを基準としてその周囲４点のデータを平均した値をCb、Crの値にするＹ成分Ｃｂ、Ｃｒ成分 JPEG JPEG • ８×８画素ごとの小ブロックに分割する • 各ブロックについてDCT（離散コサイン変換）を行う • ＤＣＴの結果から高周波成分を間引くか取り去る JPEG • ブロックノイズやモスキートノイズが発生する • 圧縮する度に画質が劣化していく • 絵（ＣＧ等）の様な物は、写真に比べて、劣化が目立つのでPNG形式等を用いる方がよい • JPEG２０００という新しい規格も存在する圧縮による画質低下元画像圧縮後拡大 GIFとPNG • GIF – LZW(Lempel Ziv Welch)圧縮アルゴリズムの改良した物を用いている – ２５６色までしか使用できない – 写真より絵（ＣＧ）の圧縮に向いている – 特許の問題から最近ではPNG形式への移行が進んでいる – アニメーションや透明処理ができる GIFとPNG • PNG – zip圧縮アルゴリズムを用いている – 理論上最大で280兆色まで使用できる – GIFに比べ１０～３０％ほど圧縮率が高い – 写真より絵（ＣＧ）の圧縮に向いている – 複数色の透明処理ができる – ライセンスフリーであるデータ圧縮の演習 • 画像（写真と絵）をJpeg、Gif、PNGを用いて圧縮し、ファイルサイズや画質等の特徴を比べる • Lzh、Zipを用いて圧縮し上と比較する