高能率符号化動画像の画質に関する基礎的研究半谷精一郎東京理科大学工学部電気工学科助教授 1 . はじめに高能率符号化画像の画質評価に S N R ( S i g n a l t o N o l s e R a t i o ) を用いることが不適切であることは一般によく知られている〔1 〕。これは、符号化時に生じる雑音が、輝度が大きく変化するエッジ付近に集中したり、ブロック状に分布して、雑音量が同じでも主観的にはまったく異なって感知されるからであるc そのため、人間の視覚の空間周波数特性を正眩波グレーティングを用いて測定し、雑音量を計算する際にこのことを考慮する方法〔2 〕や、実画像に加えた空間周波数選択性雑音に対するM O S ( M e a n o p i n l o n S c o r e ) をもとに導出した重み付け関数を利用する W S N R ( W e i g h t e d S N R ) 〔 3 〕などが提案されている。このうち、後者のW S N R に関しては、さらに原画の局所的なフラクタル次元を利用して改良した AWSNR(Advanced W S N R〔 4 〕) が M O S と C o s i n e T r a n s f o r m )5 〔〕のような変換符号化や V Q 一 0 , 9 3 の相関を与えており、 D C T ( D i s c r e t e PE(Vector QuantiZatlon of Prediction Error)〔 6 〕のような予測符号化によって高能率符号化された画像の8 0 % の M O S を ±0 . 5 の確度で推定できることを明らかにしてきた〔7 〕。そこで、本研究では動画像符号化の国際標準規格であるH . 2 6 1 〔 8 〕をもとに符号化した動画像の画質をA W S N R を用いて評価し、フレームの進行とともにM O S がどのように変化するかを推定するとともに、実際に主観評価を行った結果と比較する。 2 . フラクタル次元を利用するA W S N R に WSNRはついて画像の空間周波数領域における雑音成分に視覚の空間周波数特性に相当する重み付け関数を乗じ、人間には認知されにくい高周波雑音を評価しないようにした客観評価尺度である。静止画像を数種類の符号化方式により符号化し、その画質をW S N R に WSNRのほうが S N R よ種類によってはM O S をりM O S をより評価すると、推定しやすいことが判明している。ただW S N R は画像の推定しにくいということもわかっており、何らかの対応が望まれていた。そこで、フラクタル次元を用いて画像の局所的な複雑さを考慮し、複雑な絵柄の上の雑音は検知しにくいという人間の特性をW S N R と組み合わせて改善して A W S N R を提案してきた。すなわち、多数の様々なフラクタル次元 ( F l 高m ) をもったテクスチャ画像を用意し、これに様々な大きさのランダム雑音を加えた画像の主観評価実験を行なうことにより、図 1 のようなM O S ―W S N R ― F I 町の関係を求めた上で〔4 】、次のような手順によりA W S N R を定めることにした。 ( 1 ) フラクタル次元の求めやすさと局所的な特徴を反映させるために、原画像を3 2 画素 X 3 2 画素の大きさのブロックに分割する。 ( 2 ) 原画像と符号化画像とから各ブロックのフラクタル次元とW S N R を -13- 求める。 (3)WSNRとフラクタル次元から各ブロックのM O S を 2 の時のW S N R 2 から、W S N R 2 / W S N R で推定し、そのM O S を与えるF l 市 = 与えられる雑音のマスキング係数を求め、各ブロックの雑音を軽減する。り０〓 1 40 WSNR 30 2 Fdim 1 2 枚のテキスチャから求めたM o s ― 図 1 F Ⅲ Ⅲの関係〔4 〕 WSNR― ( 4 ) 全ブロックの雑音をこうして軽減し、画像全体の平均から求めた s N R を AWSNRとその画像のする。図 2 に 4 種類の画像 ( I T E H A I R B A N D , I T E C H U R C H , S I D B A M I しK D R O P , C C I T T B A R B A R A ) に 5 種類の符号化方式 ( D C T , A D C T , D C T V Q , A D C T V Q , V Q P E 2 ) およびランダム雑音を付加した合計 2 0 0 枚の画像に対するM O S 一 WSNR特性とM O S ― AWSNR 特性を示す。図中の一点鎖線は、測定値との 2 乗誤差を最小にする次式のようなロジスティック曲線〔9 〕を与えるもので、 ,イ」 θS= MOS一 +1 1+exp〔一α(WSNR一 β)} 性においては α= 0 。2 8 , β= 2 5 , 0 9 、M O S ― WSNR特 0 . 3 4 8 、β= 2 7 . 8 0 となった。また、これらの結果からW S N R もを ±0 . 5 の確度で推定するとすればW S N R で AWSNRで (1) AWSNRにおいては α= しくはA W S N R からM O S は5 6 % の画像しか該当するものがないが、は8 0 % の画像に適用できることも判明した〔7 〕。 ′ ′ 松総出子 :ず晶◇蛇即 co rrolation.o928 variance・018 轟聯十十 15 20 25 30 35 W S N R 〔d B l 40 45 1o WIOS― ヽ VSNR 図 2 MOS― WSNR特 I T EH‐ AlRBAND lTE‐ CHURCH S i D B A ‐M i t K D R O P C C l T T ‐B A R B A R A 15 20 25 30 35 A‐ WSNR idB〕 40 十ズロ ◇ lT糾11!il131111111111: SlDBA‐MiLKD ROP C CiTT、 BARBARA 10 十ズロ ◇ 二 45 M O S ―A I V S N R 性とフラクタル次元を考慮して改善したM O S 一 -14- AWSNR特性 3 . 動画像の動的 M O S の推定符号化された動画像の画質を主観的に評価することは、国際規格を定める際などは必ず行なわれるようであるが、その客観評価尺度となるとS N R 以外は見当たらない。しかし、 S N R が高能率符号化動画像の適切な評価尺度となりうるかといえばやはり否定的である。そこで、視覚の胸上画像であるM i s s A m e r i c a ( 1 5 0 フレー時間周波数特性などを考慮せずに上記の A W S N R をム) の各フレーム毎に求め、その値からM O S を推定することを試みた③ その際の符号化方式としては、H 。 2 6 1 で規定されているM C t t D C T 方式 ( 以降、これを方式 1 と呼ぶ ) と、リフレッシュ直後はM C 方式により符号化し、途中からM C t t D C T 方式に切替 10〕える方式〔 ( 以降、これを方式 2 と呼ぶ ) の 2 つを扱った。この時の、伝送符号量は2 5 6 k b p s 、フレームレート3 0 f r a m e / s e c とし、 D C T を施すブロックサイズ : 8 × 8 画素、動きベクトル探索範囲 : ± 7 画素、リフレッシュフレーム : 6 1 フレームロとした。図 3 に、方式 1 ならびに方式 2 により符号化した動画像のM O S をた結果を示す。また、図 4 に方式 1 ならびに方式 2 の S N R が AWSNRをもとに推定しフレームの進行とともにどのように変化するかを示す。どちらの方式でも第 2 フレームまでは、伝送符号量の制約から推定M O S 、も悪く、かなりの画質劣化が生じていることがわかる。一例として、第 2 フレームの原 SNRと画像と符号化画像 ( 方式 1 および 2 によるもの) を図 5 に示す。この図から、主観評価した場合には、ほとんどの評価者のM O S が 1 もしくは 2 となることが予想され、図 3 の推定 M O S とよく一致すると思われる。 44 42 ︻０こにＺののＯ〓や０もも０﹂﹂ 40 M athodl ― M othod2 ― -― ― 40 図 3 60 80 100 ,rame numbo「 120 38 M othodl ― ――― M ethodl ― 140 40 AWSNRから求められた動画像の推定 M O S 図 4 60 80 100 ,「 amo ntrmbo「 120 動画像の S N R また、第 3 フレーム以降についても実際に主観的に画像を観察したところ、第 6 0 フレームまでは両方式の画像にはあまり劣化がみられず、図 3 および図 4 の結果はいずれも主観評価値を反映したものとなった。ただし、第 6 1 フレームのリフレッシュ後、第 6 4 フレームまでは、方式 1 の劣化が主観的にも顕著にわかった。一例として、図 6 に第 6 3 フレームの原画像と符号化画像 ( 方式 1 によるもの) を示す① これは方式 1 がリフレッシュ時に低ビットレートで I N T R A 符はM C で号化を行ない、それ以降得た動きベクトルを用いながら予測誤差も符号化するためで、伝送容量の上限である -15- 図5 第 3フレーム画像 (左から、原画像、方式 1による画像、方式 2による画像) 図 6 第 63フレームの画像 (左か、原画像、方式 1による画像) 256kbps以上の情報が発生しているためである。このことは、図 3の推定MOSがの後除々に回復しているが、64フレーム辺りまでMOS<4で図 4では第 63フレーム以降の SNRが 37dB以上となり、 SNRが 1.8になり、そあることと一致している。一方、 37dB以上だと画質の劣化が認められないという一般的な見解からは画質の低下は読みとれない。このように方式 1による符号化画像に関しては、 SNRよりもAWSNRをもとにして求めた推定MOSの方が主観評価値に近いことがわかった。これに対し、方式 2では、リフレッシュ前の画質は、実際は劣化がわかる場合は少なくMOS は 5に近いはずである。実際、図 3より、リフレッシュ前の推定MOSはおり、MOSを 4.7前後の値をとってよく反映しているといえる。また、図 7で示したようにリフレッシュ後の画像中図 7 第 97フレームの画像 (左から、原画像、方式 2による画像) -16- 第 9 7 フレーム辺りではほとんどの人が劣化に気付いており、 3 . 9 という推定M O S は果をよく反映していることがわかった。一方、 S N R は一般的な見地からはM O S が SNRに主観評価結 3 9 . 5 d B ∼4 3 d B の変化しか示しておらず、 4 以下であるというのは難しく、本研究で提案した A W S N R が比べ、より我々が感じる劣化量に対応していることを裏付けている。 4 . まとめフラクタル次元を用いて画像の局所的な複雑さを考慮しつつ符号化画像の画質の客観評価を与えるA W S N R によれば8 0 % までの高能率符号化画像のM O S 値を ±0 . 5 で推定できることを示し、2 つの動画像符号化方式の特性を与えることへ応用してみた。その結果、従来の S l kR‐ よりもM O S を一直後推定でき、その値も主観的なものに比較的よく致することがわかった。今後は、時間方向の視覚の特性を考慮した評価尺度を確立し、より精度の高いM O S の推定を行えるようにする必要があると考える。謝辞本研究を遂行するにあたり、働高柳記念電子科学技術振興財団より多大のご援助を賜りました。ここに、理事長はじめ関係の皆様に深謝致しますとともに、謹んで御礼申し上げます。参考文献 ", コロナ社, 1 9 8 6 〔1 〕宮川, “テレビジョン画像の評価技術 ",信学技報, I E 8 7 〔2 , 宮原, 小谷, 西村, “画像の客観評価尺度 ―画質の劣化要因の貢献度 -112, pp.1-8, 1987 〔3 〕半谷, 和国, 宮内, “静止画の画質を評価するための空間周波数領域上の重み付け関数の ",テレビ誌, v o l . 4 6 , N o . 3 , p p . 2 9 5 2 9 9 , 1 9 9 2 実験的導出 Advanced WSNR for Coded Monochrome Picture 〔4 〕 H a n g a l , S u z u k i a n d M i y a u c h i , “ Evaluation using Fractal Dimenslon", Proc, of Picture Coding Symposium, Sacrament, CA, pp92-95, Sep. 1994 〔5 〕相澤, 原島, 宮川, “画像信号適応的離散コサイン変換ベクトル量子化 ",信学論 ( 8 ) , J69-B, No.3, pp.228-236, 1986 〔6 〕伊東, 内藤, 佐藤, 宇都宮, “画像の予測誤差信号ベクトル量子化法 ",信学論 ( B ) , 」7 0 -B, No.3, 1987 〔7 〕白井, 半谷, 宮内, “画像のフラクタル次元を考慮したW S N R に ",画像符号化シンポジウム予稿集, 2 . 3 , O c t 。 1 9 9 4 討 ",オーム社, 1 9 9 1 〔8 〕原島, “画像情報圧縮よる動画像の画質の検〔9 〕半谷, 石川, 宮内, “静止画の客観評価尺度について ( その 5 ) " , 画像符号化シンポジウム予稿集, p p . 7 8 , O c t . 1 9 9 0 1 0 〕鎌田, 半谷, 宮内, “低遅延動画像符号化を実現する効果的なリフレッシュ方式の提案〔画像符号化シンポジウム予稿集, 1 1 . 3 , O c t 。 1 9 9 4 -17- ",