電子漫画および電子化された漫画の読書体験をより豊かにする新しいツールの開発 最近，漫画が電子化されたり電子出版されたりすることにより，電子漫画の読者に新しいサービスを 提供することが可能となった．本プロジェクトの目的は，漫画画像に関する情報を解析したり検索し たりできる，高速なツールを新たに創造することである． 1） ）背景 プロジェクトの背景と目的 電子出版や紙媒体の電子化による電子漫画市場の成長によって，膨大な量の漫画画像が利用できるよ うになった．しかしながら，読者へのサービスはごく限られている．例えば，読みたい漫画を探すと き，作者名や漫画のタイトルもしくは本に関連付けられたメタデータを使って検索するに留まってい る．漫画に登場する主な登場人物やシーンの雰囲気あるいは世界観などを使って，より便利に漫画画 像データベースを検索するためには，それらを利用できるよう開発された，新たなツールが必要とな る．さらに，このツールは，膨大な量の漫画画像を対象とした場合でも十分高速に動作しなくてはな らない．本プロジェクトの目的は，このような用途に有用な特徴量を漫画画像から抽出するために， 漫画画像を高速に解析できるツールを新たに開発することである． パートナー・関係機関 - L3i 研究室，ラ・ロシェル大学 - 知能メディア処理研究グループ，大阪府立大学 科学の面から見た問題の状況 科学の面から見た問題は，漫画やバンド・デシネ，アメリカン・コミックスといった文化的財産を専 門的に扱うための特別な応用分野としての，大規模画像データベースを対象とした情報検索と関連付 けられる．一般に，画像を解釈することは複雑なタスクである．その上，漫画画像では，登場人物な どの様々な要素が黒い線の集合体によって表現されている．したがって，シーンを理解するためには， 漫画画像に含まれるコンテンツを解釈できるように，線を適切に抽出・統合できる方式を開発する必 要がある．このような方式を開発することによって，例えば，登場人物の顔領域を抽出し，その登場 人物の台詞が書かれた吹き出しと関連付けることなどが可能となる． 国際的、日仏の技術水準 文書解析は国際コミュニティにおいてありふれた問題である．しかしながら，漫画やコミックの解析 に関する研究は，非常に新しいものである．2011 年にラ・ロシェル大学の L3i 研究室がコミック解析 に関する研究を始めたとき，このトピックを扱う学術論文はきわめて少数であり，スマートフォンや タブレット上で漫画をコマごとに表示することを目的としたコマ検出手法が提案されている程度で あった．しかも，この手法は高速ではなかった．このころ，大阪府立大学の知能メディア処理研究グ ループは漫画の違法コピーを検出する手法や，高速な印刷文書解析手法を開発していた． 登場人物や，登場人物と吹き出しとの関連付け，シーンの雰囲気など，さらに複雑で高度な情報を検 索可能にすることは，独創的な研究トピックである． 2） ）得られた結果と期待される効果 結果 第一に，基本的な要素を漫画ページから検出することを目的とした研究結果がある．バンド・デシネ やアメリカン・コミックスを対象とした既存手法は色情報を使っているため，主に白黒で描画される 漫画には適用できない．そのため，漫画ページに含まれる基本要素（コマ，吹き出し，吹き出し内に 縦書きで書かれた日本語テキストなど）を検出するためには，新しいアプローチが必要であった．ま た，リアルタイムでの検出を可能とするほどに高速なアプローチとなることをもう一つの目標として 開発を進めた． 第二に，登場人物の検出と認識を目的とした研究結果がある．これらを実現するために，二種類の情 報を用いた．一つは，吹き出しに関する情報である．最初に吹き出しを検出することによって，登場 人物が描かれていそうな領域を推定できる．実際，一般的に，吹き出しのしっぽはその台詞を話して いる登場人物を指し示している．もう一つは，登場人物の顔に関する情報である．吹き出しによって 推定された登場人物領域を，顔検出のための特徴量（目，口，対象性など）を用いて解析することに よって，より頑健に登場人物の顔領域を抽出できる．さらに，抽出された登場人物と吹き出しに書か れたテキストとの間に，意味的なつながりを生成できる．もちろん，吹き出しのしっぽにおる前知識 なしにコマ全体やページ全体を対象として顔検出処理を行うことは可能だが，そうした場合には精度 が低下し，検出誤りが増加する． 最後に，読者の視点追跡に基づいた双方向システムを使った研究結果がある．アイトラッカーを用い れば，読者の視点の軌跡を解析することができ，読者がページ内の要素を読んだり見たりしていると きの視点の留まり方を推定できる．このアプローチを用いれば，読者が興味を示している異なる種類 の要素（テキスト，登場人物，シーン要素など）を検出 できる．この研究結果は興味深いものの，こ のシステムによって可能となる応用分野を広げるためには，さらに深く研究を進める必要がある． 期待される結果 漫画ページから基本的な要素（コマ，吹き出し，テキスト，登場人物の顔領域）を抽出することは， 既に実現できた．しかも，意味的な解析によって，吹き出しとキャラクターのつながりも生成できた． 開発した方式のほとんどは，リアルタイム処理が可能なほどに高速である．現在，私たちはさらに深 く解析を進めて，シーンの種類（例えば，戦闘シーンなど）を識別したり，登場人物の感情（驚き， 恐れ，喜びなど）を識別したりしようとしている． 効果（科学・技術・産業・経済などの点から） 科学的な見地からの効果として，二編の論文を二つの国際会議にて発表した．いくつかの研究内容に ついて，私たちは引き続き共同研究を進める予定である．さらに，私たちは，漫画の解析と理解に専 念した国際的なワーキンググループの発足を望んでいる． 産業および経済の見地からの効果として，開発による研究成果のおかげで，フランス側ではコミック や漫画の電子出版に携わるフランス企業と面識を持つことができた．その企業の経済的発展のための 革新的なツールを創造することを目的とした « Programmes d’Investissements d’Avenir (PIA) »という枠 組に基づくプロジェクトを提案し，採択された． 将来の日仏または国際的な共同研究の可能性 この二年間，私たちはコミックや漫画に関する研究を通して，私たちの研究と関連する科学論文を発 表した様々な研究者ら（日本，韓国，中国，香港，米国）と知り合うことができた． 私たちは，このトピックに関する国際ワーキンググループを発足しようと計画している．最初の一歩 として，コミックや漫画の解析と理解に関する国際ワークショップの開催を予定している． 期限 私たちは，さらに共同研究を続けていく予定である．そのために，新たなプロジェクトを支援するた めの財源を確保しようと考えている．現時点ではまだプロジェクトの募集要項は公開されていないが， 特にフランスと日本の共同研究に関するものに応募する予定である．残念ながら，H2020 ヨーロッパ プログラムの ICT 分野に関するプロジェクトの募集には，日本が公式のパートナーとして含まれてい ない．しかしながら，まだ正確な日程は定まっていないものの，私たちは日本と共同研究をできるほ かの方法を探っていくつもりである． 3） ）SAKURA プログラムを振り返って SAKURA プログラムは，下記の理由により，有益なものであった． まず，SAKURA プログラムの支援によって，私たちは二つの研究室間での共同研究を進展させること ができた．特に，フランス・日本の博士課程の学生や研究者の交換留学が容易となった．実際に，お 互いに相手国に一か月ほど滞在して，互いの研究チームに所属し，研究ミーティングやセミナーへの 参加を通じて本当に有益な時間を過ごすことができた．参加した研究者は互いにアイデアを出し合っ て興味深い解決法を提案するなど，実りある交換留学であった．博士課程の学生についても，彼らの 研究を進展させられる出来事であった． そして，参加者らは互いによく知る間柄となり，引き続きともに研究することを望んでいる．本プロ グラムを通じて，いくつかの新しい研究トピックも見出された．現在，他の国のパートナーもかかわ る別のプロジェクトについても検討中である． 結論として，SAKURA プログラムがきっかけとなり，私たちの共同研究は望ましい形で強化され，今 後も継続されていくものにできたといえる． 大阪府立大学知能メディア処理研究グループ 黄瀬浩一教授
© Copyright 2024 ExpyDoc
