リアルタイム単語認識技術を利用したカメラベース情報取得システム辻智彦岩村雅一黄瀬浩一大阪府立大学大学院工学研究科発表の流れ      背景文字認識手法の概要単語認識の提案手法実験まとめ提案システムカメラリアルタイムで動作認識結果関連情報 “University” 翻訳・大学画像ノートPC 音声環境中文字列のリンクアンカー化インタラクティブデモ 16:15～（本発表のすぐあと）有望な応用例視覚障害者への音声案内『押ボタン信号があります』関連情報取得システムタンブラー新デザイン発表!! 単語の認識が必要多フォント対応・レイアウトフリー単語の認識認識対象既存手法 (Myers 2004) 行ごとに認識提案手法 1文字ごとに認識平行な文字行行を成さない問題設定       同一平面上の紙面白紙に黒色の文字連結成分を容易に切り出すことが出来る単語間がスペースで区切られる左から右に記される文字行を成さない認識の流れ岩村雅一, 辻智彦, 黄瀬浩一: “カメラ撮影文字の事例に基づく実時間認識” テーマセッション4 19日 11:45予定 ① １文字ごとに文字認識概説 ② 文字を連結して単語を推定本発表の主題どこにどんな文字があるかどんな単語があるか “School” 発表の流れ      背景文字認識手法の概要単語認識の提案手法実験まとめ文字認識の特徴実時間処理が可能射影歪みに頑健レイアウトフリー多種フォント登録可能クラスレベルの識別  互いにアフィン変換の関係にある文字群は識別できない１つのクラスに統合認識結果キャプチャ画像類似クラス1 Z N z クラス2 0 O o データベースクラス3 A 姿勢推定  認識時にアフィン変換パラメータが計算可能キャプチャ画像アフィン変換 A テンプレート画像歪みを取り除くパラメータ紙面の姿勢独立変倍文字の姿勢シアー回転単語推定で利用拡大・縮小発表の流れ      背景文字認識手法の概要単語認識の提案手法実験まとめ単語領域の推定   画像をぼかして隣接文字を結合させるぼかし画像の連結成分を単語領域とする文字間距離・連結成分面積によって逐次的にぼかし強度を決定構成する文字の決定  単語領域内に含まれる文字を調べるクラスレベルの識別結果 d or p ? M or W ? ①② ⑤ ④ ③ 各文字の字種は一意に決定していない 14 文字の並び順の推定仮定読む方向が急激に変化したり文字を飛ばして読んだりするデザインは存在しないこれを“①②⑤④③”の順で読むワケがない!! ⑤ ④ ① ② ③ 文字の並び順の推定全ての文字を最短で通る経路を求める短長 ⑤ ④ ① ② ③ ⑤ ④ ① ② ③ 最短は“①②③④⑤” および“⑤④③②①” Media  “Media” か “Media” か分からない単語候補の生成  ⑤ ④ 各文字のクラスが属する字種を組み合わせる ① ② ③ 文字番号 ① M W 単語候補 ② e ③ d p ④ ⑤ i a 単語候補の中から尤もらしい単語を推定する Media Wepia aideM … etc. 文字の向きを利用した単語推定 “Wepia” の場合一部だけ180度回転しているのはオカシイ!! “aideM” の場合左向きには読まないと言ってたのに!! 文字の向きに関するペナルティを設けるペナルティの計算① 文字の向きに関するペナルティ  「急激に変化しない」という仮定を利用 “Media” “Wepia” ペナルティ① 隣接文字間の角度差小大ペナルティの計算② 単語の読む方向に関するペナルティ  「右向きに読む」という仮定を利用 “Media” “aideM” 上ペナルティ② 右上右仮定した上方向と文字の上方向との角度差小大単語の推定  候補をペナルティの昇順にソート “Media” “aideM” “aideW” “Wedia” “Mepia” “aipeM” “aipeW” “Wepia” 17 185 359 361 365 533 707 709 高尤度低発表の流れ      背景文字認識手法の概要単語認識の提案手法実験まとめ実験対象  英字が書かれた文書を３方向から撮影 144文字 0度 30単語 30度 45度実験条件  最大10フォント登録フォント数を増やし，認識性能を評価データベース使用した計算機 CPU Opteron 2.8GHz 認識メモリ 16GB 文書認識実験条件  単語認識率小ペナルティ大 “Media” “aideM” “aideW” “Wedia” “Mepia” … 17 185 359 361 365 … 上位１単語または上位10単語の中に正解の単語が含まれるかどうか単語認識率認識率 (%) 上位10単語上位1単語フォント数単語認識の失敗例   クラスレベルでの認識失敗 ⇒後で検証単語領域取得の失敗分離している処理時間 (ms) １単語あたりの単語認識時間１クラス内の字種増加フォント数同一クラスに統合された字種  Arialの場合 0Oo 69 7L Cc Em Il NZz Ss Vv Ww bq dp nu 認識率 (%) 検証 - １文字あたりのクラス識別率フォント数文字認識の失敗例   誤認識連結成分取得の失敗結合している実用性に関する性能評価  10フォント登録，正面から撮影の場合単語認識率(上位10個を見た場合) 92.3% １文字あたりの文字認識時間 3.44ms １単語あたりの単語認識時間 6.14ms メモリ使用量 397MB 100フォントの場合約4GB (実測値) メモリ削減が課題 1秒あたり42単語の認識が可能 3.44ms × 5 発表の流れ      背景文字認識手法の概要単語認識の提案手法実験まとめまとめ提案手法  リンクアンカー化システムに有効な単語認識  文字の向きを用いた単語認識今後の課題  文字領域・単語領域の抽出法の改良  メモリ削減リアルタイム単語認識技術を利用したカメラベース情報取得システム辻智彦岩村雅一黄瀬浩一大阪府立大学大学院工学研究科