1 マルチメディア･データモデルと コンテンツの知的構造化 （龍谷大 有木） JSPS Multimedia Contents Project マルチメディア・データモデルとコン テンツの知的構造化 研究の背景 メディアのディジタル化と統合 マルチメディア環境 放送（テレビ） 出版（新聞、書籍） 娯楽・教養（映画、講義） 通信（インターネット） 電子図書館 仮想博物館 仮想美術館 仮想キャンパス JSPS Multimedia Contents Project 2 3 研究の目的 マルチメディア環境 人間の知的活動を行う情報空間 マルチメディア・データの自己組織化によるコンテンツ抽出 マルチメディアコンテンツの構造化と概念獲得 （龍谷大学 有木） （神戸大学 上原） マルチメディア・データモデルとコンテンツの知的 構造化 JSPS Multimedia Contents Project マルチメディア･データモデルと コンテンツの知的構造化 コンテンツ 構 造 化 ／ 自 己 組 織 化 （ 構 造 の 発 見 ・ 人 手 も 含 む ） データ 概念 記述の抽象化＆意味付け 状況 時空間における関係付け （関係の発見） 記号 認識＆索引付け （表現単位の発見） パターン セグメンテーション＆分類 信号 4 構コ ン 造テ 化ン とツ ビの ュ知 ー的 従来の データベース モデマ デール ルタチ 化ベメ とーデ ビスィ ュのア ー JSPS Multimedia Contents Project マルチメディア・データの自己組織化 によるコンテンツ抽出 研究内容 マルチメディア・データのアーカイビング（平成９年度） マルチメディア・データの収集 マルチメディア・データの自己組織化（平成１０～１２年度） 信号からパターンへ パターンから記号へ 記号から状況へ マルチメディア・データベースの構築と検索（平成１３年度） オブジェクト集合、ラベル集合の関係をハイパーリンクで実現 パターン／記号／状況に関する連想検索 JSPS Multimedia Contents Project 5 6 マルチメディア・データのアーカイビング マルチメディア･データの収集 テレビで放映されている映像･音響データ ニュース、ドラマ、ドキュメンタリ、スポーツ、アニメ、教養 ビデオに収録されている映像･音響データ 講義、映画、旅行 個人が収録した映像･音響データ 特定のイベントやアクション（全体の中の一部）を 検索可能にする JSPS Multimedia Contents Project 7 マルチメディア・データの自己組織化 表現メディアの特質 音声 内容を表現 文字 内容を要約 映像 情景･状況を伝達 状況 関係付け 記号 認識 索引付け セグメンテーション･分類･認識･ パターン 索引付け･関係付け セグメンテーション バイグラム音声認識による内容理解 分類 テロップやフリップ文字認識による 信号 内容理解 顔やシーンの映像認識による情景･状況理解 JSPS Multimedia Contents Project マルチメディア・データベースの 構築と検索 状況 マルチメディア・ データ 映 像 質 記号 問 人 パターン ・ 検 間 音 声 文 字 8 信号 索 JSPS Multimedia Contents Project 9 マルチメディアコンテンツの構造化と 概念獲得 （神戸大学 上原） JSPS Multimedia Contents Project マルチメディアコンテンツの構造化と 概念獲得 研究目標 ビデオデータの内容記述形式の定式化 ビデオデータの意味表現言語の開発 意味内容を考慮した映像検索方式 見たい映像をどのように検索するか ビデオデータの自己組織化方式 ビデオデータの階層的な管理方式の開発 ビデオデータからの概念獲得 ビデオデータの共有と再利用 JSPS Multimedia Contents Project 10 11 動画像データの特徴 基準 テキスト 画像 動画像 情報量 貧弱 静的で 空間が無い 豊富 静的で 空間がある 非常に豊富 時間と 空間がある 構造化 されている されていない されていない 関係 単純かつ 豊富な定義 量 少量 次元 複雑かつ貧弱な定義 中間 多量 JSPS Multimedia Contents Project 12 動画像データの構成要素 音声や画像の内容記述 オーディオ、カラー、テクスチャ 対象物の動き、位置関係 カメラの動き 意味的な内容記述 有木 上原 文脈的な（ストーリに関する）内容記述 JSPS Multimedia Contents Project 内容に基づく映像検索システム （試作版）の機能 ストーリに基づく検索 ストーリ全体を見て必要なサブストーリを選択 登場人物や行動に基づく検索 特定の人物や行動を検索 動画像のダイジェスト化 意味的に余分なシーンを省略して、ビデオのダイ ジェストを作成 JSPS Multimedia Contents Project 13 内容に基づく映像検索システム （試作版） JSPS Multimedia Contents Project 14 15 現在進行中のプロジェクト 「まんが日本昔ばなし」 10 話分のビデオ データベース化 「東映アニメ映画予告編映像」 33 編（将来 2,000 編の予定）のビデオデータベース化 JSPS Multimedia Contents Project
© Copyright 2024 ExpyDoc
