マルチモーダルノベライズシステムの提案 Proposition of Multi-modal Novelize System データベースシステム学講座 0312011161 指導教員： 村田 嘉利 佐藤 永欣 1. はじめに スマートフォンやタブレット端末，電子書籍リー ダの普及により，電子書籍が一般生活に浸透してき た．特に，小説や漫画など，手軽に楽しめるジャンル は電子書籍化されやすく，数多くリリースされてい る．電子書籍における小説のほとんどは，紙媒体の 本と同様のテキストから，端末に合わせて EPUB1) や XMDF2) などのフォーマットに変換されて利用さ れている．これらのフォーマットでは既存の紙媒体 の本を再現しているにすぎず，スマートフォンやタ ブレット端末が持つマルチモーダルなインタフェー スを活用できていない． その一方，プレーンなテキストの文章を読者が読 む場合，ある文字列が持つ意味として，喜怒哀楽が はっきり表現しきれない場合があり，作者の意図し たものとは異なる感情を想起してしまうことがある． そこで本研究では，マルチモーダル処理により， 感情がより正確に伝わり，多様な表現が可能なノベ ライズシステムを提案する． 2. エディタアプリケーション リーダアプリケーション 図 1 マルチモーダルノベライズシステムの概要 関連研究 メールや SMS などの電子的なコミュニケーショ ンシステムでは，プレーンなテキストで文章を送る だけでなく，絵文字や顔文字，エモーティコンなど の顔を用いた表現や，文字のサイズや色を変える表 現がある．これらの表現は，紙媒体の小説において はあまり利用されておらず，それを変換した電子書 籍でも同様である．また，このようなシステムを用 いたコミュニケーションにおいても，必ずしも書き 手の感情が正確に伝わっているとは限らない． 藤原らは，BBS (Bulletin Board System) の利用 において，書き込みを行っているときのタイピング 操作から書き手の感情を自動的に判断した上で，そ の感情に合わせて掲示板に書き込まれる内容に装飾 を行うシステムを提案している 3) ．書き込んだ内容 の文字について，背景の色・文字の色・文字の大き さを変更し，感情を表現している．しかし，書き手 の感情入力の正確性については議論されていない． 3. 吉田 尚平 鈴木 彰真 マルチモーダルノベライズシステム 以上の背景を踏まえて，マルチモーダルノベライ ズシステムを提案する．システムの概要を図 1 に示 す．本システムは，2 つの機能に分かれている．作 家が感情を文章に付与することができるエディタア プリケーションと，読者が入力された感情を読み取 ることができるリーダアプリケーションである．作 者は，エディタアプリケーションを用いて，後述す る顔プレビューを見ながら感情タグが付加された文 章を生成する．読者は，リーダアプリケーションを 図 2 エディタアプリケーション画面 用いて，文章に付加された感情を，後述する色の変 化によって感じ取る． 3.1. エディタアプリケーション 小説等の作者が，文章に対して感情を入力し表現 するためには，作者が意図した感情を数値化して入 力する必要があり，基準がなければ感情値を決める ことは難しい．顔の表情は感情を最も効率的に発す ることから，感情を文章に与えるための補助手段に する．提案手法では，Ekman による人類普遍の 6 つ の基本表情 4)「喜び，驚き，恐怖，嫌悪，怒り，悲 しみ」を感情として利用した． エディタアプリケーション実行中のスクリーンを 1 には，顔プレビューが表示されてい 図 2 に示す．⃝ 2 には，感情のスライダーが表示されている． る．⃝ 2 の感情スライダーを動作させることで，⃝ 1 の顔プ ⃝ レビューが変化する．感情は 0 から 1 の範囲で指定 できる．また，複数の感情を合成することも可能で ある．感情ごとの最大値を適用した顔プレビューを 図 3 に示す．作家はこれを見ながら，文章に対する 感情を決める． このプレビューが正確に入力したい感情を表して いるかを確認するために, 評価実験行い, 6 つの感情 それぞれについて, 表情プレビューが有用であるこ とが分かった. 喜び ニュートラル状態 恐怖 驚き 悲しみ 怒り 嫌悪 図 3 感情別顔プレビュー 図 4 ずれが 3 行以内に収まっている例 表 1 感情と色の対応 感情 驚き 恐怖 嫌悪 怒り 悲しみ 喜び 3.2. 色 橙色 黒色 紫色 赤色 青色 黄色 R,G,B 255,106,0 0,0,0 170,0,204 255,0,0 0,12,153 238,255,51 リーダアプリケーション 入力された感情をマルチモーダルに表現する方法 として，背景や文字の色の変化，文字の大きさの変 化，エフェクトやアニメーション，バイブレーショ ン，サウンド再生，表情の表示などが考えられる． 本リーダアプリケーションでは，Schaie の研究 5) か ら得られた表 1 に示す感情と色彩の関係を用いて， 本を読んでいる行における文字と背景の色を変化さ せる． 色の変化によって入力された感情が正確に伝わる かを確認する評価実験を行った結果，恐怖，嫌悪，怒 りの感情については，感情がより伝わりやすくなっ たと評価できた．しかし，喜び，驚き，嫌悪の感情に ついて，色の変更を行う必要があることが分かった． 4. 読書行の推定 読者の本を読んでいる行を推定するために，画面 のスクロールを用いて読者の読書行を推定する．視 線の縦の位置を，仮想視線カーソルの動きによって 表現する．縦スクロールのログを取得し，その進み 方を読書のスピードとして変換し，仮想視線カーソ ルの動きとする．仮想視線カーソルの位置を利用し て，感情の表現を行えるようにする． 仮想視線カーソルの動作が，実際の視線とどの程 度近いかを測定するために，Eye Tribe Tracker6) を 利用して 10 人に対して実験を行った．その結果，10 人中 9 人については，3 行以内のずれの範囲内で視 線を推測することができた．仮想視線カーソルの動 作とセンサから得た値のログの一例のグラフを図 4 に示す．横軸が時間で，縦軸が画面の最上部からの 距離である．点線は仮想視線カーソルの動作を表し， 実線はセンサから得た視線を表す．実線と点線の間 隔がずれの距離である．残りの 1 人については，5 行以内のずれの範囲内で視線を推測することができ た．仮想視線カーソルの動作とセンサから得た値の ログの一例を図 5 に示す．他の 9 人と比べて 2 行ぶ んのずれが生じている．これは，常に画面の上端を 読んでいることと，内容を再確認するために読み直 し，小説を連続で読まないことが原因と考えられる． 図 5 ずれが 5 行以内に収まっている例 5. おわりに 本論文では，マルチモーダル処理によって感情の 入力と出力を行うことができるノベライズシステム を提案した．エディタアプリケーションは，作者が マルチモーダル処理によって文章に対して感情を与 えることができる．感情を与えるために，入力する 感情に応じて表情が変化する表情プレビューを作成 した．リーダアプリケーションは，感情が入力され た文章を読み込み，その感情に応じてマルチモーダ ルに感情表現を行う．本論文では，背景色と文字色 の変化を用いて感情表現を行った．画面のスクロー ル操作を用いて読者の読書行を推定し，感情が入力 された文章が読書行に近づくにつれて，感情の表現 を強く出力する実装を行った． 参考文献 1） EPUB — International Digital Publishing Forum, 入手先: http://idpf.org/epub 2） XMDF 情報スクエア, 入手先: http://www. xmdf.jp 3）藤原光照，山根信二，村山優子: 書き手の感情を グラフィカルに表現する BBS の構築, インタラ クション 2004 予稿集, pp.239-240 (2004) 4） Ekman, P., Friesen, W.V.: Constants across cultures in the face and emotion, Journal of Personality and Social Psychology 17, pp.124 129 (1971). 5） Schaie, K. W.,: On the relation of color and personality, Journal of projective techniques & Personality assessment, Vol.4, No.6, pp.512 524 6） The Eye Tribe, 入 手 先: https: //theeyetribe.com/
© Copyright 2024 ExpyDoc
