H18卒業論文pdf

風力選別モデル実験装置
新
倉
直
也
(Naoya Niikura)
(指導 : 太屋岡 篤憲)
本稿では,風力選別機のモデル実験装置を試作し,解析を行うために,選別状況を視覚的に確認するための画像
処理システムについて検討した.まず,静止画データの RGB データから YUV データを計算し,それをもとに閾
値処理を行うことで,選別する物体(擬似試料)を色で識別した.更に,実際に選別する様子を撮影し,その動画
像を用いて選別塔内を移動する物体の抽出を試みた.その結果,静止画から擬似試料の色を抽出し,また,動画か
ら移動物体の抽出を行うことができた.
キーワード:風力選別機,画像処理,YUV 表色系,フレーム間差分法
1. ま え が き
& #$ ' %
() 風力選別法は,乾式選別であるため湿式選別に比べて低
コスト処理が可能であり,かつ各種金属や有機物の水溶液
中への溶出,微生物の繁殖,それに伴う腐敗臭の発生もな
いなど,環境への影響も少ない.風力選別は,廃自動車,廃
タイヤ,廃配線コード,ビル廃材などの各種廃棄物や都市
ゴミからの資源回収プロセスにおいて使用されている.
! " 風力選別プロセスでは,オンラインでの歩留まりや品位
のモニタリングが困難なことから,一般に操業は空気流速
を一定にして行われており,運転者の経験に基づきマニュ
(a)
(b)
アルで 1 日に数回空気流速を調節して運転する.
図1
そのため,歩留まり及び産物品位はかなり変動する場合
風力選別機の原理
が多く,空気流速を自動制御することにより選別効率を向
上させるシステムの開発が望まれている.
!)& * ' + ( %
本研究では,風力選別機のモデル実験装置を試作するた
めの要素技術である,画像処理により選別状況を確認するシ
ステムを作製し,解析や試作に役立てることを目的とする.
&,!) - *( / %.
2. 風力選別機
0123
終端速度とは,物体が自由落下中に重力と空気抵抗がつり
あい,ある一定以上速くならない速度であり,風力選別機
においては,物体が上向きに受ける風力と,下向きに受け
(a)
体それぞれの終端速度の違いを用いて選別を行う.ここで,
AE
!" # $ %
図 1 に,風力選別機の原理図を示す.風力選別機は,物
(b)
る重力と空気抵抗がつりあった時,終端速度となる.
図 2 本研究が目指す風力選別機
選別塔内に選別対象となる混合物(例:粉砕処理したペッ
トボトル本体とラベル)を入れ,ブロワにより上向きに風
を起こすと,比重の小さい物体は風速が終端速度より大き
風速でしか選別作業が行われていない.本研究では,図 2
いので上方へ飛ばされ,比重の大きい物体は風速が終端速
(b)のように,選別物体の壁への衝突音を観測する AE セ
度より小さいので下方にとどまる.
実際の選別工場における風力選別では,逐一選別物の成
ンサを用いて,選別塔内の状況を観察し,インバータを用
分比率が変わるが,図 2(a)のように,運転者の経験と勘
いてブロワ内の誘導電動機に加える電圧の周波数を制御す
に基づき,スライダックを手動で調節し,ブロワ内のコン
ることにより,供給原料の成分比の変動に対してロバスト
デンサモータに加える電圧を変化させており,常に一定の
な制御系の構築を試みる.
平成 18 年度 卒業研究論文集
151
3. システム構成
図 3 に,本研究で試作する風力選別機モデル実験装置を
1 インバータにより制御され,アクリ
示す.この装置は,°
2 選別状態をコ
ルパイプ製の選別塔内に風を送るブロワ,°
ンピュータに取り込むための AE(Acoustic Emission) セン
3 選別状態を視覚的に把握するための USB カメラなど
サ,°
から構成される.なお,本研究では,アクリルパイプ内の様
子を USB カメラを用いて撮影し,PC(OS:Windows XP)
を用いて,OpenCV という API により画像処理を行った.
+ 01, -2 ! " #
.
/
'()*
$ % &
USB
(
AE
)
PC
OS:Windows XP
:C
AE
A/D
図 4 インバータ
COM
(RS232C)
図3
(
風力選別機モデル実験装置 システム構成
200[V])
(OpenCV)
〈3・1〉 インバータ
図 4 に,実際に実験装置で用いるインバータを示す.イ
ンバータは,直流から交流への変換や,交流周波数の変換
に用いる装置である.200[V] の三相交流電圧の周波数を変
換し,ブロワに搭載された三相誘導電動機の速度およびト
ルク制御を行う.なお,本研究では,インバータの制御は,
シリアル(RS232C)通信を介して,PC 上の VisualBasic
で作成した制御プログラムを用いて行う.
〈3・2〉 ブ ロ ワ
図 5 ブロワ
図 5 に,実際に実験装置で用いるブロワを示す.ブロワ
は,モータ軸に取り付けられた羽により,周囲から空気を
る.図 7 に示すように,固体が他の物体と衝突する時,弾
取り込み,上向きに風を吹出す装置である.
ブロワに搭載されている三相誘導電動機は,交流モータ
性波と呼ばれる音波を発する.AE センサはその弾性波を
の一種で,直流モータの問題点であるブラシによる磨耗が
検出するセンサである.検出された弾性波は,AE テスタに
ないため,保守面で優れており,実際の工場等の現場で多
より検波及び増幅され,さらに,A/D 変換を行うことで,
く採用されている.固定子に三相交流を流すことにより,回
コンピュータに取り込まれる.
転磁界を作り出し,フレミングの右手法則により,回転子
4. 静止画からの色の抽出
導体に電流を流す.さらに,フレミング左手法則により,電
本研究では,まず,実験装置の試作に先立ち,CCD カメ
流−磁界間にトルクが発生し,回転子が回るという仕組み
ラと静止画像処理によって,選別塔内のペットボトル本体,
を利用している.
〈3・3〉 AE センサ
ラベル,両者の中間比重物の擬似試料の分布状況を確認す
図 6 に,実際に実験装置で用いる AE センサと AE テス
るシステムを作製した.
〈4・1〉 開発環境
タを示す.擬似試料が選別塔内壁と衝突する際の衝突音を
検出し,選別塔内の状況観察用として用いる AE センサは,
AE(Acoustic Emission:音響の放出)現象を利用してい
プログラムの開発は,PC(OS:TurboLinux10),CCD
カメラ,ライブラリとして,カメラからの画像キャプチャ
152
風力選別モデル実験装置
以下に,Imlib が持つ代表的な機能を示す.
• PPM,PGM,TIFF,PNG,XPM,JPEG,EIM フ
ォーマットの画像の読み書き
• 画像キャッシュ(何度もロードする必要がない)
• 32767×32767 ピクセルの大きさまでの画像の取り扱い
• ガンマ,輝度,コントラスト調整,RGB 別の色調補正
• 反転や 90 度回転
• 高度に最適化された描画ルーチン
〈4・2〉 YUV 表色系
画像から色の抽出を行う際,各画素の持つ色情報を用い
て,それぞれの値が任意の値を超える場合,超えない場合
で処理を分岐させる閾値処理を用いる.一般に,キャプチャ
された画像は各画素が赤成分 R,緑成分 G,青成分 B を
持っているが,それらを単純に用いて閾値処理を行うと,明
図 6 AE センサと AE テスタ
るさ(輝度)が低い部分は無視されてしまうなど,特定の
色を正確に抽出できない場合がある.
本研究で抽出を行った擬似試料の色は,ボトル本体は白,
AE
ラベルは青,両者の中間比重物は赤であった.そこで,そ
れらの色を識別しやすくするために,キャプチャされた画
像の各画素の持つ RGB データから (1) 式,(2) 式,(3) 式
を用いて,明るさ成分 Y ,青成分 U ,赤成分 V を求め,そ
れらに対し閾値処理を行い,元の画像の RGB データを操
作することで色の抽出を行った.この操作により,各画素
について色の成分と明るさの成分を分離して考えることが
可能となり,RGB データを用いて閾値処理を行う場合に
図 7 AE センサの原理
比べて,抽出率の向上が予想される.
明るさ Y = 0.299R + 0.587G + 0.114B · · (1)
に Video4Linux,ウィンドウやメニューの表示など GUI に
青成分 U = 0.564(B − Y )
GTK+,画像の表示に Imlib を採用した.
〈4・1・1〉 Video4Linux
Video4Linux は,Linux においてビデオキャプチャボー
= −0.169R − 0.331G + 0.500B · · · (2)
赤成分 V = 0.713(R − Y )
ドを用いて,ビデオ画像のメモリへの取り込みに対応する
= 0.500R − 0.419G − 0.081B · · · · (3)
API 群である.Video4Linux を用いると,/dev/video な
〈4・3〉 実験結果
どのデバイスを通じて,ビデオキャプチャデバイスを操作
1 ビデオキャプチャデバイ
できる.この際,ビデオ画像は,°
2 ビデオキャプチャデバイスの諸設定,°
3
スのオープン,°
行ったため,蛍光灯の光が机で反射し,その部分までが白
キャプチャデータの転送の手順でメモリ上にキャプチャさ
として認識されてしまっているが,ペットボトルの白い領
れ,Video4Linux はこれらすべての手段を提供している.
域,ラベルの青い領域,中間産物の赤い領域が,静止画中
図 8 に,識別の結果を示す.本研究では,机上で実験を
〈4・1・2〉 GTK+
から識別されていることがわかる.
Video4Linux でキャプチャした画像を画面に表示するた
めのウィンドウ作成のツールとして採用した GTK+は,C
5. 動画像からの移動物体抽出
言語で記述されたライブラリでありながら,オブジェクト
本研究では,静止画からの色の抽出を,さらに発展させ,
指向の概念を取り入れているなど,機能的かつ洗練された
あらかじめ選別する様子を撮影した動画(AVI 形式)から,
インターフェースを持つ使い勝手の良い GUI ライブラリで
選別塔内を移動する物体を抽出する画像処理プログラムを
ある.Linux をはじめ,Windows でも利用が可能である.
作成した.
〈5・1〉 開発環境
〈4・1・3〉 Imlib
プログラムの開発にあたって,PC(OS:Windows XP),
GTK+で用意するウィンドウにおいて画像を表示するの
に用いたライブラリ Imlib には,画像ファイルのデコード
画像処理ライブラリに Intel 社が提供する OpenCV を,開
や画面への表示,画像の色調整など画像の操作に関する様々
発ソフトとして Microsoft 社の Visual C++を採用した.当
な API が用意されている.
初は,先述の色識別実験と同様,PC(OS:TurboLinux10)
平成 18 年度 卒業研究論文集
153
• テンプレートマッチング
〈5・3〉 動画像ファイル (AVI) とコーデック
AVI は Audio Video Interleave の略で,Microsoft 社が
開発した,Windows で音声付きの動画を扱うためのフォー
マットである.Windows 上でマルチメディアデータを格
納する際に用いられる RIFF というフォーマットを応用し,
画像データと音声データを交互に折り混ぜた構造になって
いる.
AVI ファイルの作成や再生には,コーデック(CODEC)
が必要となる.コーデックは COmpresser DECompressor
(a) 識別前
の頭文字をとったもので,データの圧縮及び伸長に用いる
ソフトウェアのことである.PC 内に再生する AVI ファイ
ルに対応したコーデックがインストールされていないと,
AVI ファイルは再生できない.
〈5・4〉 フレーム間差分法
動画像処理において画像中の移動物体の抽出には,差分
画像を求めることが有効である.差分画像を求める方法と
しては,
( 1 ) 背景画像との差分を求める方法
( 2 ) フレーム間差分を求める方法
(b) 識別後
がある.本研究では,
( 2 )フレーム間差分を求める方法で
図 8 画像処理による色の範囲の識別
移動物体抽出を行った.
フレーム間差分法は,背景画像が取得困難である場合に
での開発を検討していたが,動画(AVI ファイル)再生の
用いられる手法である.静止物体については差分画像を求
ためのソフトウェア ffmpeg に含まれるライブラリ(libav-
めると,”0 ”となるため,背景画像を用意する必要もなく,
codec)のインストールが必要であった.TurboLinux10 に
容易に移動物体の抽出を行うことができる.フレーム間差
おいて,ソフトのインストールには各ライブラリ間の依存
分法は,以下の
関係があり,すべてを解決しなければ安全なインストール
( 1 ) 2 枚のフレーム間差分を求める方法
はできない.また,インストールができたとしても,正常
( 2 ) 3 枚のフレーム間差分を求める方法
の 2 つに分類されるが,2 枚のフレーム間差分を求める方
に動作しない場合があった.
これに対して,Windows XP での開発環境は,OpenCV
法では,移動物体の速度が大きいほど,差分画像中の移動
開発環境の構築が容易で,C 言語プログラムの統合開発環境
物体の輪郭を明瞭に抽出することが一般には困難であるこ
も整っている.さらに,インバータの制御を,VisualBasic
とから,本研究では( 2 )3 枚のフレーム間差分を求める
で行う点からも開発環境の統一が必要であり,本研究では,
方法を採用した.
図 9 に,3 枚のフレーム間差分法の手法を示す.この方法
Windows XP 上で開発を行うこととした.
〈5・2〉 画像処理ライブラリ OpenCV
OpenCV は,Intel Open Source Computer Vision Library の略で,C 言語及び C++言語によるオープンソー
れらの論理積(AND)を求めることにより,中間のフレー
スの画像処理ライブラリである. ライブラリには入出力関
ムにおける移動物体抽出が可能となる.
では,それぞれ連続する 2 枚のフレーム(グレースケール
画像)間の差分から求めた 2 枚のマスク画像を 2 値化し,そ
〈5・5〉 実験方法
数や,テンプレートマッチングなどの画像処理アルゴリズ
ムなどが豊富に用意されている.Intel 社製の x86 系 CPU
本研究では,以下に示す手順で,移動物体の抽出を行った.
( 1 ) ディジタルビデオカメラで実際の選別の様子を撮
搭載の PC があれば,OpenCV により画像処理システムの
構築が容易にできる.OpenCV は Windows,Linux どち
影する.
( 2 ) 撮影した動画を PC に取り込む(WMV 形式).
らの OS でも使用することができる.
( 3 ) 一般的な動画変換ツールで AVI 形式に変換する.
以下に,OpenCV が持つ代表的な機能を示す.
• 基本処理(サイズ変換,回転,フィルタリング,色変換)
• エッジ検出
• 画像の膨張・収縮
• 輪郭抽出
• 動作解析・物体追跡(オプティカルフロー)
( 4 ) 作成したプログラムにより,動画像処理を行う.
〈5・6〉 実験結果
図 10 に,フレーム間差分法による抽出前の画像を,図 11
に,抽出処理過程及び結果の画像を示す.物体が移動して
いるにもかかわらず,抽出できていない部分もあるが,移
154
風力選別モデル実験装置
(
)
(a) 抽出前
図 9 フレーム間差分法
動物体を抽出できていることがわかる.
また,本研究では,実際に風力選別機上部よりオーバー
フローした産物の比率を求めるため,各物体の分布を調べ
た.図 12 に,この結果を示す.青の球に関しては,色が
鮮明ではなく,閾値の設定が難しいため,抽出が不完全で
あるが,抽出ができていることがわかる.これをフィード
バックし,ブロア制御に利用することも有効と考えられる.
6. 結
(b) 1 枚目(グレースケール)
論
以下に,本研究の結論を示す.
( 1 ) 静止画像処理によって,色の抽出を行うことによ
り,選別物体の分布領域を把握することができた.し
かし,閾値の設定を細かく設定していなかったため,
正確に色の抽出することができなかった.色の抽出
を正確に行うために,キャプチャした画像から各色
の画素がどのように分布しているかを表すヒストグ
ラムを作成し,それに基いて閾値を定める方法が考
えられる.また,本研究で扱った画像のような複雑
(c) 2 枚目(グレースケール)
なものでは,ひとつの色の情報のみで色抽出を行う
ことは難しい.そこで,RGB や YUV など 3 種の
色情報すべてを有効に活用すれば,より正確な色抽
出が可能となると考えられる.
( 2 ) フレーム間差分法により,動画像における移動物
体の抽出を行うことができた.しかし,物体が移動
しているにもかかわらず,一部抽出されなかった部
分があった.これは,2 値化する際の閾値の値が適
切ではなかったことが原因ではないかと考えられる.
抽出率を上げるために,多くの画像を取得し,それ
らから最適な閾値を求めることが必要となると考え
(d) 3 枚目(グレースケール)
られる.
図 10
また,今後の課題として,以下の点が挙げられる.
( 1 ) 物体比率のフィードバック フレーム間差分法による移動物体抽出 (抽出処理前)
オーバーフローした産物の比率を画像から求め,
それをフィードバックし,選別制御に利用すること
選別塔内を移動するひとつの物体を画像処理によ
を検討する.
り追跡し,選別塔内の気流分布の解析を行い,ブロワ
( 2 ) 移動物体の追跡
平成 18 年度 卒業研究論文集
で発生する風力の制御及び選別等の構造を検討する.
155
(a) 1 枚目と 2 枚目の差分画像(2 値化後)
(a) 物体抽出前
(b) 2 枚目と 3 枚目の差分画像(2 値化後)
(b) 物体抽出後
図 12 各物体の分布抽出
文
(c) 抽出後
図 11 フレーム間差分法による移動物体抽出 (抽出処理過程及び結果)
( 3 ) オンラインでの画像処理
選別塔内を撮影した映像を,オンラインで解析し,
例えば,選別塔内の中間産物の位置を,ブロワ制御
のためのセンサとして用いることを検討する.
( 4 ) 実験装置を用いた制御実験
シリアル通信によるインバータの制御や,AE セ
ンサによる衝突音と産物品位との関係を検討する.
( 5 ) 再生可能な動画の種類
本研究では,AVI ファイルのみを再生の対象とし
ていたが,使用したディジタルビデオカメラから PC
に取り込む際は WMV 形式であったため,様々なファ
イルフォーマットに対応できるよう,プログラムの
機能の追加及び改良を検討する.
156
献
( 1 ) 平島剛,西田卓史,片岡憲治,恒川昌美,朝倉國臣:資源と素材,
Vol.116,No.11,p913-917(2000)
( 2 ) 平島剛,片岡憲治,豊嶋隆太郎,恒川昌美:資源と素材,Vol.117,
No.7,p.573-578(2001)
( 3 ) 平島剛,片岡憲治,西田卓史,豊嶋隆太郎,恒川昌美:資源と素材,
Vol.118,No.10,11,p.681-686(2002)
( 4 ) 飯尾淳:
「Linux による画像処理プログラミング」,オーム社(2000)
( 5 ) 安居院猛・長尾智晴:
「C 言語による画像処理入門」,昭晃堂(2000)
( 6 ) 井上誠喜,林正樹,三谷公二,八木伸行,中須英輔,奥井誠人:
「C
言語による実践画像処理」,オーム社 (1999)
( 7 ) IT 用語辞典 e-Words http://e-words.jp/
( 8 ) 竹田大祐,高鹿陽介:Interface,Nov,p186-192,CQ 出版(2006)
( 9 ) FrontPage - OpenCV@Chihara-Lab
http://chihara.naist.jp/people/2004/kenta-t/OpenCV/puki
wiki/
(10) OpenCV による画像処理
http://www-cv.mech.eng.osaka-u.ac.jp/ hamada/openCV/
(11) OpenCV Reference Manual