概念メディアベースの構築と応用システム ~全体の方向と目的~

概念メディアベースの構築と
応用システム
連想概念辞書の構築
感性語の収集
ニューラルネットによる実装
マルチモーダル対話システム
漢字フォントの合成
●規模の拡張
刺激語数を 1 0 0 0 語に拡張
現在、 データ の修正作業中
●名詞のイメージ抽出
連想概念辞書を 用いて名詞と その属性を 表す感性語と の距離を 計算
その感性語から 、 名詞の上位・ 下位関係における 属性継承や
カ テ ゴ リ ー内における 典型性など について考察
●被験者に刺激語を
提示して連想語を収集
●Neural Networkによるシステム化
●概念間の距離の定式化
・ 線形計画法によ る 計算式の決定
距離 D=0.27×連想順位+0.81/連想頻度
・辞書における上位/下位階層の概念の
つながりを調査
・既存の電子化辞書との距離の比較
●マルチモーダル対話コーパスの構築
o
a e
音声情報 言語データを含むマルチメディアコンテンツを有効利用
するための構造化技術を研究。広く多くの用途でコン
表情情報 テンツの再利用を可能とする構造化技術を目指す。
・研究 言語・音声・映像研究、etc.
意味情報 ・教育 日本語教育、英語教育、etc.
・エンタテイメント マルチメディアコンテンツの検索・
談話情報 要約・スキミング・翻訳、etc.
概念メディアベースの構築と応用システム
•N N の 各 ニ ュ ー ロ ン に
連想概念辞書の単語を 対応
•コ ン ピ ュ ー タ の単語連想、
比喩表現理解など への応用
•感情のサブ シ ステ ム導入
概要

連想辞書構築

人間の記憶における概念構造を解析し、コン
ピュータ上でのシステム化を図る。

連想概念辞書の構築




概念間距離の定式化
名詞-感性語における定量的関係の抽出
Neural Networkによる単語連想システムの構築
連想感性語辞書の構築

段階性・反意性の抽出
言葉の連想
上位概念 「辞書は~の一つだ」
書物、本、 文献、物、その他…
刺激語
下位概念 「~は辞書の一つだ」
辞書
国語辞典、漢和辞典、
英和辞典、百科事典、その他…
部分材料
類義語
辞典、その他…
動作概念
辞書を構成する要素
引く、使う、買う、
置く、片づける、
編纂する、その他…
見出し語、語釈文、ページ、
表紙、文字、その他…
属性
辞書がどのような様子か
便利、重い、難しい、
言葉がたくさん、
楽しい、その他…
辞書に関係する動作
環境
辞書がある場所
図書館、本屋、
勉強部屋、その他…
線形計画法による概念間距離の定式化
と連想概念辞書の構築

従来の電子化辞書(木構造)



概念間の距離が定量化されていない。
距離は、木構造の粒度に依存する。
連想概念辞書



関連性のある概念が直接つながるネットワーク構造。
その概念間距離を定量化。
連想実験により現実世界で人間が利用している知識を構造化。
関連性の強い語の抽出
概念に関する感性語の抽出
乗り物を中心とした概念配置
物
4.8
2
6.33
3.7
1
機械
2.35
2.35
5.04
10.5
3
4.11
乗り物
3.60
2.35
1.32
6.82
2.24
電車 2.54 2.19
1.38
地下鉄 1.90
4.02
自動車
2.65 2.87
5.53
スポーツカー
新幹線
8.40
3.17
2.07
連想概念辞書の応用

名詞と感性語の定量的関係の抽出



属性継承、カテゴリー内での典型性など
属性、動詞、環境などをふまえ、観点の違い
から捕らえた文脈処理、情報検索など
Neural Networkによる単語連想システムの
構築とメタファー理解システム
Associative Concept Dictionary
Stimulus Word Relation Associative Word Ans. Time Ans. Order Ans. Ratio Distance
Snow
Snow
Snow
Snow
Snow
Snow
Snow
Snow
Snow
Snow
Snow
Snow
Snow
Snow
Snow
Snow
Snow
Snow
Snow
Snow
Snow
:
ISA
ISA
ISA
ISA
ISA
ISA
HAS
HAS
HAS
HAS
HAS
HAS
CAN
CAN
CAN
CAN
CAN
CAN
CAN
CAN
CAN
:
Crystal
Ice
Weather
Water
Nature
Object
Avalanche
Hail
Snowstorm
Hailstone
Sleet
Powdery Snow
Roll
Throw
Gather
Slide
Melt
Round
Thaw
Lie
Fall
:
0.30
0.33
0.35
0.29
0.13
0.34
0.87
0.43
0.68
0.48
0.36
0.47
0.70
0.78
0.55
1.27
0.62
0.92
0.43
0.27
0.35
:
1.00
2.00
1.00
1.00
1.00
1.33
3.00
2.00
2.50
2.50
1.33
1.75
3.00
4.00
5.00
7.00
3.00
2.50
2.75
1.80
1.50
:
0.10
0.10
0.20
0.20
0.20
0.30
0.10
0.10
0.20
0.20
0.30
0.40
0.10
0.10
0.10
0.10
0.20
0.20
0.40
0.50
1.00
:
6.49
6.82
3.41
3.41
3.41
2.49
7.15
6.82
3.91
3.91
2.49
2.12
7.15
7.48
7.81
8.47
4.07
3.91
2.45
1.83
1.11
:
Sleet
Neural Network
7.48
Snow
Fig.3.1: Plantation of Data
12/26
2nd Layer
3rd Layer
(for Verb)
(for Adjective)
1st Layer
(for Noun)
Fig.3.2: Layered Structure of Brain Memory Model
13/26
Melt
White
Snow
Linkage
Module
Cold
Ice
Sleet
Fig.3.3: Function of Linkage Module
15/26
Simile Understanding System
“White”
“Cold”
White
Cold
“White”
=95%
“Cold”
=41%
“Skin”
“Snow”
Brain Memory Model
Fig.4.1: Algorithm of Simile Understanding System
Snow
Skin
19/26
概念メディアベースの構築と応用システム
マルチモーダル対話コーパス

目的


ITを適用してマルチメディアコンテンツを有効利用
するためのコンテンツ構造化技術の研究
応用分野と用途



研究 言語・音声・映像研究、etc.
教育 日本語教育、英語教育、etc.
エンタテイメント マルチメディアコンテンツの検索・要
約・スキミング・翻訳、etc.
概念メディアベースの構築と応用システム
モダリティーとタグセット




統語構造・共参照
対話構造
韻律
表情
GDA
DAMSL
J_ToBI
FACS
・・・


ストーリー
社会的関係
情景描写・ト書き、etc.
血縁関係・職業、etc.
概念メディアベースの構築と応用システム
GDAによる意味構造記述の例
<adp opr=“src”>はねだから</adp>
<v sem=“go”>いく</v>
はねだ
GO
SRC
GOL
ちとせ
<adp opr=“gol”>ちとせへ</adp>
概念メディアベースの構築と応用システム
FACSによる表情記述の例
AU4(眉を下げる)
AU41
(上瞼を下げる)
AU9
(鼻に皺を寄せる)
AU18(口をすぼめる)
概念メディアベースの構築と応用システム
研究分野での応用例

対話文理解技術研究
対話テキスト
単語・品詞情報
概念共起情報
単語辞書
連想概念辞書
形態素解析部
意味解析部
マルチモーダル
対話コーパス
概念辞書
連接規則
概念体系
意味表現
漢字フォントの合成
(例)文字コード未定義字:語
拡張表記
フォント
語
言-(五/口)
生成
入力
漢字部品データ
フォント自動生成エンジン
出力
インターネットの利用
一般的な
Web Server
ユーザー
(Webブラウザ)
インターネット
HTMLコンテンツ
(含:拡張表記)
Font Server
フォント画像生成 (HTMLからの拡
張表記によるフォント要求)
Wow!
漢字部品の結合ルール

大きさ、位置の調節

部品同士の大きさの比
有効性

人名・地名
応用
オンライン漢和辞典(HTMLで作成)
多言語情報解析に関する研究
機械翻訳のための言語解析モデル及び
システムの構築

統計的手法に基づいたインドネシア語解析の研究

正確な訳語生成を目的とする、日英の翻訳ルール
構築に関する研究
日本語複合動詞の日英翻訳における翻訳
ルールに関する研究
Bilingual Corpus
Japanese-English Dictionaries
動詞の構文情報と意味情報の抽出
動詞の意味属性に基づいた分類
複合パターンの解析
Japanese Corpus
Japanese Dictionaries
翻訳ルールの作成
English Corpus
English Dictionaries
翻訳ルールの自動抽出、機械翻訳への応用
コーパスを用いたインドネシア語の形
態素解析システムの構築
インドネシア語コーパスの作
成(品詞・意味情報の付与)
接頭辞・接尾辞の
接続ルールの作成
統計手法
形態素解析システムの構築
構文解析システムへの応用