Visual班早稲田大学基幹理工学部情報通信学科甲藤研究室 1 Visual班とは • 画像処理の研究を扱っています • 主な研究分野 ▫ 動画像圧縮符号化 ▫ 圧縮動画像の画質推定 ▫ 画像認識 ▫ 車載画像処理 • 画像信号処理からコンピュータビジョンまで、動画像に関する研究を幅広く扱っています ▫ 動画像に関係するものであれば、何でも研究できる！ 2 動画像圧縮符号化 • 符号化とは ▫ 情報をデジタル化し、データの圧縮を行う技術のこと ▫ 現行の方式として、MPEG-2（地上デジタル放送）や、 H.264/AVC（インターネット動画共有サービス、ブルーレイディスク）等がある MPEG-2方式 746Mbps ⇒ 20Mbps 約1/40に圧縮！東京タワー H.264/AVC方式 746Mbps ⇒ 10Mbps 約1/80に圧縮！ブルーレイディスクレコーダ 3 動画像圧縮符号化 • 最新の動画圧縮符号化方式 → H.265/HEVC ▫ 2013年1月に国際規格として承認された ▫ H.264/AVCの約2倍の圧縮効率を実現している ▫ 4Kや8K（2020年本放送）等の、高解像度動画像の圧縮に対応地上デジタル放送の16倍の解像度【H.264/AVC】【H.265/HEVC】引用：https://www.ntt-at.co.jp/product/rfs_hevc_sdk/detail.html 4 動画像圧縮符号化 • 甲藤研の研究内容 ▫ H.265/HEVCの性能をさらに改善する手法の提案 ▫ H.265/HEVCに対し、最新の8K動画像をテスト動画として使用しながら研究しています！ • 甲藤研における研究例 ▫ 奥行き情報を用いて、圧縮による画質劣化が起こりやすい部分（オクルージョン領域）を検出、劣化を防止 ▫ 動き予測が当たりにくい動きを予め検出し、対策する原画像符号化ブロック分割画像フレーム間・内予測画像動きベクトル画像 5 圧縮動画像の画質推定 • 画質推定 ▫ 動画像を圧縮すると、様々なノイズが発生 ▫ 人間が画質の劣化を判別するのは簡単だが、機械には高度な技術となる • PSNR（Peak signal-to-noise ratio） ▫ 原画像と圧縮画像の画素値を比較することで、圧縮画像の劣化度を評価する指標 ▫ PSNRの計算には、原画像が必要となってしまう格子状のノイズが発生！ 6 圧縮動画像の画質推定 • 甲藤研の研究内容 ▫ 原画像を用いずに、圧縮画像のみから画質（PSNR）を推定する手法の提案 ▫ あらかじめ様々な圧縮動画とそのPSNRをSVMに学習させておくことで、与えられた動画のPSNRを推定テスト動画学習動画＋PSNR テスト動画の PSNRを推定 7 圧縮動画像の画質推定 • 甲藤研の研究内容（画質推定の応用） ▫ BM3Dによる圧縮動画像の画質改善  BM3D → 似たブロックを集め、3次元変換によりノイズを除去するフィルター Original Video Compressed Video (3500kbps) (A) (B) (C) (D) (E) (F) Frame of Compressed Video Applied by BM3D with Input Sigma(a)5(b)10(c)25(d)30(d)35(e)40(f)50 8 画像認識 • 画像認識（コンピュータビジョン）とは ▫ 人間が当たり前に行っている視覚の機能を、なんとかコンピュータに持たせようという研究分野 • 甲藤研における研究例 ▫ KinectとPCLを用いたindoorの3Dレジストレーション ▫ 低出生体重児・新生児・乳児の身長推定？？？女の人だ！人間コンピュータ 9 画像認識 • KinectとPCLを用いたindoorの3Dレジストレーション ▫ Kinectで部屋を撮影し、Point Cloudを作成 ▫ レジストレーション（位置合わせ）により合成 ▫ 合成する際のレジストレーション精度には問題点が多く、その改善を目指す KINECT 10 画像認識 • 低出生体重児・新生児・乳児の身長推定 ▫ 新生児・乳児の身長発育データは重要だが、幼児と異なり、身長の測定に手間がかかる ▫ そこで、画像・映像から正確な身長測定法を提案する  Kinect により被写体を撮影し、寝ている状態で身長を推定する 11 車載画像処理 • 自動車、鉄道の車載カメラによる画像を用いた処理 ▫ GPSデータ等、他のセンサ情報を用いることも ▫ 自動車・列車の走行改善と、走行データから新たなものを生み出すという、2通りのアプローチがある • 甲藤研における研究例 ▫ 自動車の車載画像処理  道路交通標識の自動認識  パノラマ画像の生成  道路案内標識の文字抽出 ▫ 鉄道の車載画像処理  レールの検出  黄色い線の検出 12 車載画像処理 • 道路交通標識の自動認識道路画像から標識を自動認識する処理の流れ道路画像入力円形部分抽出特徴点抽出特徴点のマッチング 13 車載画像処理 • パノラマ画像の生成（イメージモザイキング） ▫ 複数の画像を合成し、1枚の画像を生成特徴点の検出と記述特徴点のマッチング画像変換行列を求め、投影 14 車載画像処理 • 道路案内標識の文字抽出 ▫ 自動運転システム、地図の自動更新などに利用可能入力画像青色・標識座標抽出文字抽出標識抽出文字認識 15 車載画像処理 • レールの検出 ▫ エッジの探索により、曲線を含むレールを検出マスク処理、平滑化エッジ抽出レール検出 16 いざ、Visual班へ！ • Visual班で学べること ▫ 画像処理プログラミング：Matlab、C、C++ ▫ 画像処理・機械学習等の知識  技術研究所や学会で、最先端の画像処理を学べる • 外部機関との連携 ▫ 日本放送協会（NHK）  符号化に関するインターンシップ ▫ サムスン電子  画質推定に関する共同研究 ▫ グローバル・サーベイ株式会社  自動車車載画像処理に関するデータ提供 ▫ 情報通信研究機構（NICT）  鉄道車載画像処理に関する共同プロジェクト 17 いざ、Visual班へ！ • 主な就職先 ▫ 日本放送協会（NHK） ▫ TBSテレビ ▫ NTTコミュニケーションズ ▫ KDDI株式会社 ▫ パナソニック • 画像処理は、今後も大きな需要がある分野 ▫ 解析のためのツールやデータも充実しており、実験結果が可視化できるため、取り組みやすい画像処理の最先端を、一緒に研究しよう！ 18