コンピュータビジョン特論第2回コンピュータでの画像の扱いとＯｐｅｎＣＶの使い方加藤丈和 2006年10月11日今回の内容 • コンピュータビジョンについて学ぶ準備として、画像の撮影のしくみ、コンピュータ上での画像の扱いについて学ぶ。 • OpenCVのインストール方法、基本的な使い方について学ぶ。画像の撮影のしくみについて • カメラで画像を撮影して、コンピュータに取り込む仕組み – ここでは取り込みまでの仕組みの概要について • 色についての詳細は第6回 • カメラモデルや幾何的なしくみの詳細は第9回から第 11回画像の撮影のしくみ（モノクロ）カメラ同期信号（30Ｈｚ、２４Ｈｚなど）レンズ絞りメモリ同軸ケーブル（NTSC） IEEE1394(DCAM, DV) USB(motion jpeg)などエンコーダ被写体受光素子が二次元配列上に並んでいるキャプチャカードインタフェースデコーダ撮像素子（ＣＣＤ，ＣＭＯＳ）メモリに取り込む受光素子：フォトトランジスタなど光を電荷に変換する素子受光素子の数を画素数と呼ぶ画像の撮影のしくみ（カラー、３ＣＣＤ方式）絞りレンズＣＣＤ（赤）入射光ＣＣＤ（緑）分光器（プリズム）ＣＣＤ（青）ＣＣＤ３ＣＣＤ方式：分光器（プリズム）で分光して赤、緑、青それぞれの光を3個のＣＣＤで撮影する各色の解像度が高い（色にじみがない）コストがかかる小型化が困難画像の撮影のしくみ（カラー、単版式）カラーフィルタの例 (ベイヤー配列）絞りレンズＣＣＤカラーフィルタ入射光各画素ごとに3色均等配置するのが理想的だが3倍の素子が必要画素数Ｎに対して赤と青はN/4の解像度緑はN/2の解像度変換式によって各画素をＲＧＢに変換（フィルタの配列と変換式は各メーカーがしのぎを削っている）各色不均一な配列 →ベイヤー配列、ベイヤーパターン低コスト、小型化が容易人間の目には自然（色の分解能が低い）単版式：ＣＣＤの前にカラーフィルタを置いて1個のＣＣＤで各色を撮影コンピュータ上での画像の取り扱い高さ（height）左上が原点の場合が多い幅（width）画像は、二次元配列上にならんだデータの集まり一個のデータを、画素（pixel）と呼ぶ画像サイズ：幅×高さや画素数で表す 640x480 100万画素カラー画像は、複数の画像の重ね合わせで表現するそれぞれの画像のことを、プレーン（plane）、もしくは、チャンネル(channel)と呼ぶＲＧＢ（赤、緑、青）の3プレーンを用いることが多い他にも、ＹＵＶやＨＳＶなどや αチャンネル（透明度）を用いる場合がある画像のメモリ配置１つの画素の１つのチャンネルのデータのビット数をデプスと呼ぶ例。256段階ならデプスは8ビット R G B １画素のビット数を bps(ビットパーピクセル)と呼ぶ bps = デプス×チャンネル数 R G B R G B (n,0) (0,1) 次の行の先頭までのバイト数をラスタスキャン：ラインステップと呼ぶ左上から右に順番にメモリ上に配置され右端までくると一段下の左端から順に配置される R G B R G B (0,0) (1,0) 複数チャンネルの場合は画素ごとに各チャンネルを並べることが多いチャンネルごとに並べる場合もある動画の取り扱いフレーム t • • • • 画像が時間軸上に並んでいる一枚一枚の画像をフレームと呼ぶ 1秒間のフレーム数をフレームレート（ｆｐｓ）と呼ぶ必要なメモリが膨大になるので、通常1から数フレーム分の画像のみメモリにおいて処理する OpenCVによる画像処理プログラミング • ＯｐｅｎＣＶのインストールに関する解説 • 前述のコンピュータによる画像の扱いを踏まえて、ＯｐｅｎＣＶによる基本的な画像の扱いを学ぶ OpenCVのインストール方法、プログラムのコンパイル方法 • テキスト参照注意： • Fedora Core 5のopencvパッケージは、カメラまわりのライブラリが組み込まれていないので、ソースからコンパイルしなおすか http://vrl.sys.wakayama-u.ac.jp/CV/opencv-fc5/ においてあるパッケージを利用すること • Opencv-0.9.9のサンプルプログラムのビルドはmakeで行なう • Opencv-0.9.5以前ではpkg-configの変わりにopencvconfigを使うプログラムで画像を扱う（IplImage構造体） • テキスト4.2節 R G B R G B (0,0) (1,0) R G B R G B (n,0) (0,1) 新しい画像の作成 640×480の画像サイズ、デプス８、３チャンネルの画像を作るファイルからの画像の読み書き IplImage *image; 読み込み書き込み isColor １：カラー画像として読み込み 0：濃淡画像として読み込み -1：画像ファイルに従う画像ファイルのフォーマットはsuffix(拡張子)から自動的に判断する読み込めるフォーマットは、ppm, pgm, pbm, png, jpeg, tiff, bmpなどセーブできる画像は、デプスが8（符号なし）、１か３チャンネルの画像のみそれ以外の場合は、cvSave(マニュアル参照）を使うか、自分で保存用の関数を作成すること画素へのアクセス • ある画素のメモリ上のアドレスを計算 x座標×チャンネル数×デプス y座標 unsigned char *pixel; /* デプスが8ビット符号なしの場合 */ *depth x座標 y座標×widthStep デプスが8以外の場合ＲＧＢ３チャンネルの場合赤：pixel[0] 緑：pixel[1] 青：pixel[2] 画素の型と変数の型の関係 unsigned char *pixel; /* デプスが8ビット符号なしの場合 */ こちらが使える環境ならこちらのほうが安全 uint8_t *; or unsigned char * sint8_t *; or signed char * uint16_t *; or unsigned short * sint16_t *; or signed short * uint32_t *; or unsigned int * sint32_t *; or signed int * float * double * どのＣでも使えるがサイズは環境依存サンプルプログラム（前半）サンプルプログラム（後半）実行結果 • 画素値を反転動画像処理 • ムービーファイルを読みこんで処理 • カメラから直接キャプチャ – Windowsの場合：VFW(Video for Windows)に対応したカメラ（ほとんど） – Linuxの場合：Video4Linux対応のカメラ、もしくはDCAM（IEEE1394非圧縮）のカメラ – MacOSXの場合：QuickTime対応のカメラ（iSightなど）動画の処理（Capture構造体）（テキスト図１１のサンプルより） • Ｃａｐｔｕｒｅ構造体で動画の取り込みを行なう • ムービーからの取り込みもカメラからの取り込みも可能 IplImage *image; カメラの番号（-1にすると自動選択） →cvCaptureFromAVI(“ファイル名”)；画像を1フレーム読み込む課題レポート • • • OpenCVもしくは、その他の画像を処理する環境をインストールするテキスト図３（Example3.c）程度の簡単なプログラムを作成し、動作を確認する。（処理内容は何でも良い）レポートには次の内容をまとめる 1. 動作環境 • • • • ＯＳとそのバージョン使用ライブラリとそのバージョン（ライブラリを使用しない場合はなし）コンパイラとそのバージョン実験に使えるカメラの有無 2. プログラムリスト（長い場合は主要部分のみ） 3. 実行結果 4. 処理内容の説明と考察