画像から言語/音声への変換に 関する研究 4年 山本 愛彦 目次 研究背景 システムの概要 自然物画像認識について 対象領域抽出 特徴抽出 展望 進捗状況 研究背景 近年のインターネットの普及 大量のメディアと接する事になる 結果 メディア管理の自動化が求められる 管理にはメディアの内容認識が必要 今までは人手で行っていた 内容認識の作業を人からコンピュータへ メディアの種類が画像であれば 画像認識技術が必要 システムの概要 画像入力 領域抽出 参照 データベース 特徴抽出 結果 結果出力 結果は言語にして出力 自然物画像認識 自然物画像の「花」を認識の対象とする 自然界に生えている花は、他の花や、草 等が写ってしまい背景が雑然としている そこで 入力画像の花領域と背景領域を切り離す 花領域抽出方法１ 背景画像だけの写真と、花の写った同じ場 所の写真とを撮影し、その2枚の写真の差 分をとって花領域を求める方法 背景画像 対象物画像 対象領域抽出 差分 花領域抽出方法２ 正確には領域抽出を楽にする方法 対象物の後ろに色紙等をおいて、背景を 統一してしまう 背景が雑然と していて、認識 が難しい 背景を統一す る事で、認識 を容易にする 本研究で用いる領域抽出方法 花と背景とが持っている特徴を用いる 花と背景とが持つ特徴 花は、花びらの部分はバラやチューリップ、コスモス 等、色相がほぼ一定である場合が多い．そして、葉や 茎は花びらと同じ色相であることはほとんどない． 更に花びらは彩度において背景の彩度よりも高いと 言う特徴を持っている． 具体的に抽出する色領域 １．葉の色等背景に多いと思われる色領域 以外を抽出する. ２．全体に対してある程度の画素数を持って いる色領域を抽出する. ３．画素の画像中心からの平均距離が最も 近い. これらに属する色領域のうち、上位2つの色領域を抽出する 上位二位の色領域を取る理由 花は極彩色，または無彩色であることが多 い. ほとんどの花が一色分布，二色分布から なっている. そのため 上位二つの色領域を取得する事で 花に関する大まかな色情報を取得する事ができる HSVカラーモデル magenta hue red yellow white saturation value blue green cyan black 特徴抽出 植物学における花の分類は雄しべや雌し べなどによって分類される 二次元情報である画像から、雄しべ、雌し べを認識する事は難しい 二次元から得られる外形情報から特徴を抽出する 特徴量 第１位色の割合 花領域画像における色情報のうち、一 番目に面積が大きい色の割合 第２位色の割合 花領域画像における色情報のうち、二 番目に面積が大きい色の割合 特徴量 第一位色ｘ座標 HS空間上において最大分布区画のｘ座標 第一位色ｙ座標 HS空間上において最大分布区画のｙ座標 第二位色ｘ座標 HS空間上において二番目の分布区画のｘ座標 第二位色ｙ座標 HS空間上において二番目の分布区画のy座標 その他に考えている特徴量 明度平均 全体の色の明るさを特徴量として取る 彩度平均 全体の色の鮮やかさを特徴量として取る 展望 色情報だけで花を区別できない事もあるた め形状情報からも特徴量を求める 形状情報が最も得られる場所は、花びらで ある 花びらから特徴量を得る方法を考える必 要がある 形状からの特徴量 花弁形状 花弁幅を波形における平均谷間距離、花弁の 長さを平均の山の高さとし、花弁の形状を平均 谷間距離/平均の山の高さと定義したもの.花弁 が細長いほど小さくなり太く短いほど大きくなる 花弁数 植物学上の花びらの数ではなく、一次元波形 の山の数を数える 形状からの特徴量 モーメント 次式で定義されたモーメントMを用いる 1 M i j S i g i 2 j g j 2 円形度 花弁の外周形状が円にどれくらい近いかを示す情報とし て次式により求める R 4S / L2 Lは花の周囲長 0＜Ｒ≦１ 形状情報について 形状情報は、撮影角度の違いや花びらの ゆがみ等によっても変わってくるため、色 情報よりも重要度を低く設定する 色情報よりもたらされる選択肢の中から、 より近いものを選択する時程度に使用す ればいいと考えている その他の特徴量 葉や茎等から特徴量を抽出し認識結果に 役立てようとする方法もある ある実験において、花の特徴量の重要度よりも葉 や茎の特徴量の重要度が全体的に低い事が分かっ ているため本研究では使用しない 進捗状況について 現段階では論文をまとめたり，画像処理に 関する本を読んで，行うべきことを知っただ けなので，システムの構築，データベース の構築，およびそれらを用いた実験が必 要 システムの構築はＶｉｓｕａｌＣ＋＋でデータ ベースの構築はＳＱＬで行う予定
© Copyright 2024 ExpyDoc
