研究計画構想・概要（重要課題） ○課題分類 「デジタルコンテンツ創造等のための研究開発」 ○提案課題名 「新映像技術ダイブイントゥザムービーの研究」 ○研究代表者名 「森島 繁生」 ○責任／中核機関名 「早稲田大学」 研究の目標・概要 １．研究の目的 提案者らはこれまで参加者自身の顔を瞬時に３次元CG化し、映画のキャストとして演技させる 「フューチャーキャストシステム」を開発し、「愛・地球博」で実証実験を行った。本提案では、こ のシステムを発展させ、参加者の全身を３次元CG化し、役者に成り代わって映画に参加でき、役者の 視点に合う音場・映像合成を行い、さらに参加者全員がこの体験を実時間共有できる新映像技術「ダ イブイントゥザムービー」とそのプロトタイプシステムの研究開発を目的とする。これは、映画のス トーリー性、ゲームのインタラクティブ性、演劇のパフォーマンス性すべてを有する革新的なエンタ テインメントの創成である。さらなる目的として、「ダイブイントゥザムービー」のプロトタイプシ ステムを用いて作品を制作し、世界に向け発信する。開発した技術は、ゲーム・映像制作の効率化に も寄与でき、基盤技術をアウトリーチ活動で公開することで我が国のデジタルコンテンツ業界全体の 技術力活性化を図る。 ２．内容 「フューチャーキャストシステム」は参加者の顔のみを取り込み、映像として合成する技術である。 一方、本提案は参加者の全身を映像として合成し、参加者全員が登場人物になりきって映画を観賞す ると同時に、役者が感じた音場・映像で没入感を体感する技術の提案である。本提案では、①配役モ デリング・映像処理技術、②映像合成技術、③音声音響処理技術の研究開発を行う。さらに、これら 技術を集約させたプロトタイプシステムを構築し実証実験を行う。 ３．ミッションステートメント 本研究期間内に、表情、動作、歩容、声をターゲットとして、参加者への負担を最小限に抑えた個人 データ計測方法を提案し、１０分から１５分程度の待ち時間内に、参加者の特徴を計測して個人性を 反映しカスタマイズした登場人物モデルを自動構築して、ムービー上映時には、参加者個人の特徴を 表現したキャストとして演技させる技術の構築を行う。またプロトタイプシステムを構築して個人性 再現や没入感に関する実証実験を実施し、新しいエンタテインメントの形態を発信する。 ４．実施体制 責任機関である早稲田大学が新映像技術「ダイブイントゥザムービー」の研究統括、また「ダイブイ ントゥザムービー」のための映像合成技術に関する研究開発を担当する。サブテーマ責任機関である 大阪大学は「ダイブイントゥザムービー」のための配役モデリング及び配役中心映像処理技術に関す る研究を担当する。サブテーマ責任機関である株式会社国際電気通信基礎技術研究所は「ダイブイン トゥザムービー」のための音声・音響処理技術に関する研究を担当する。 諸外国の現状等 １．現状 参加者自身が瞬時に映画のキャストになるというシステムは世界に類を見ない。「愛・地球博」、三 井・東芝館で発表した「フューチャーキャストシステム」における研究代表者らの試みはまさに世界 初の画期的な試みであった。 ２．我が国の水準 本提案は世界初のシステムである。また、「愛・地球博」において、163万人の入場者を集め、老若 男女問わず未体験の感動を与えるシステムとしてとしてすでに実証されている。 研究進展・成果がもたらす利点等 プロトタイプシステムと試験映像を制作し、実証実験を行った後も実用化のための継続的研究開発を 行う。本提案システムを実用化することにより、世界に先駆けて現在の映画に代わる新しい映像・娯 楽コンテンツを創造する。本システムは、自分の分身が演技している姿を他の参加者に披露すること ができるパフォーマンス性を有し、他人と感動や経験を共有することが可能であり、より大きなイン パクトを与えるエンタテインメントを実現することができる。世界の映画館のシステムを置き換える ことができ、将来的には、家庭用としても普及させることができる。さらに、本システムを教育用途 に利用して臨場感を伴った教育コンテンツを作ることで、高い教育効果をもたらすことが期待できる。 したがって、本研究の成果がもたらす市場規模は極めて大きい。 研究内容 本提案 ダイブイントゥザムービー ２００６年現在 実写、アニメ等、映像のジャンルを問わず、 ストーリーに没入し、名優と共演可能な 新エンタテインメントの創成 フューチャー キャストシステム 観客全員＝登場人物 「愛・地球博」で成功 １６３万人が体験し、感 動をもたらした しかし、 実時間合成は顔のみ 個人の特徴は反映されない 観客の顔をCG化 作品 実現イメージ （シアター上映） 家族や友人と感動を同時にシェアする スクリーン 観客の個人特徴を反映した キャストの全身像を実時間合成 表情 歩容 動作 音声 短時間にカスタマイズする技術 さらに、臨場感を高めるための基盤研究として： コンポジット 観客席 名優が耳元で囁きアイコンタクトできる 音場、視点再現技術 音場再現 装置 全方位 カメラ 観客A 観客B 研究内容 本提案： ダイブイントゥザムービー 2009年度 実現イメージ 2006年度現在 新しいエンタテインメントの創成 フューチャーキャストシステム 「愛・地球博」で実施 （実写・アニメ等、映像のジャンルを問わず、 ストーリーに没入して名優と共演可能） ・観客全員が登場人物に扮する ・163万人が体験し、感動をもたらす シアター上映 しかし、 スクリーン ・家族や友人と感動を同時にシェアする ・実時間合成は顔のみ ・個人性特徴のすべては反映されない ・キャストの全身像を実時間合成 ・観客の個人性特徴を反映する （ 表情、 表情 歩容、 歩容 動作、 動作 音声 ） システム内容 観客の顔をCG化 あらかじめ用意されたコンテンツ ・10分∼15分でカスタマイズ 観客席 臨場感を高めるための基盤研究 コンポジット 作品 ・キャストの視点での映像、音場を再現 ・名優が耳元で囁きアイコンタクトできる音場、視点再現技術 音場再現 全方位カメラ １．ミッションステートメント 表情、動作、歩容、声をターゲットとして、参加者への負担を最小限に抑えた個人データ計測方法を提案し、１０分から１５分程度 の待ち時間内に、参加者の特徴を計測して個人性を反映しカスタマイズした登場人物モデルを自動構築して、ムービー上映時に は、参加者個人の特徴を表現したキャストとして演技させる技術の構築を行う。また、これらの技術を適用したプロトタイプシステ ムを構築して個人性再現や没入感に関する実証実験を実施し、新しいエンタテインメントの形態を発信する。 ２．年次計画 基盤技術 1年目（H18年度） 個人全身モデル構築法 全身モデル評価 歩容計測システム開発 標準身体モデル構築 オンライン身体獲得システム 音声の個人性特徴量獲得 コンテキスト依存特徴量獲得 評価 台詞音声データベース化 個人声質変換システム試作 大規模データベース・評価 表情筋を用いた 表情モデリング 個人性を考慮した 表情モデリング 表情モデリング評価 標準顔モデル構築のための BRDF計測システム マルチモーダル顔モデル 獲得システム 頭髪モデリング法 頭髪運動モデリング 頭髪リアルタイム レンダリング 配役中心映像撮影システム 試験撮影・評価 カスタマイズ対象 表情 頭髪 視点 3年目（H20年度） 身体計測及びモデリング 身体 声 2年目（H19年度） 音響 音場再現・収録システム 音場 映像揺れ補正システム 評価 原音場収録 評価 登場人物位置 音場再現システム 評価 プロトタイプシステム構築 ：研究項目 ：研究成果 ３．実施予定のアウトリーチ活動 ・年度ごとの活動 １）初年度（Ｈ１８年度：１０月頃） 本研究の目的、研究内容を中高生を含む一般の人々に知ってもらうため、本研究のベースとなるフューチャーキャストシステ ムの縮小版デモ展示とセミナー開催 ２）２年度（Ｈ１９年度：２月頃） 研究の進捗状況を広く公開するため、中間成果発表と最終年度に向けた研究説明をかねたセミナー開催 ３）３年度（Ｈ２０年度：３月頃） 研究成果を実体験してもらう目的で、プロタイプシステムの公開と体験会の開催 要素技術研究成果を一般向けに説明をするセミナーを同時期の開催 ・年度にかかわらない活動 研究内容に関する情報発信を行い、進捗状況を把握してもらうために、本研究プロジェクトのＷｅｂサイトの作成
© Copyright 2024 ExpyDoc
