スライド 1

情報伝達効率に基づく
概念形成機構の解析
２００４年２月２３日
中村研究室澤繁実
[email protected]
主査教官中村清彦
審査教官新田克己，橋田浩一，茂木健一郎，山田誠二
1
１．研究の目的
人間の脳内における概念構造構築の
メカニズムを明らかしたい．
本研究では概念構造構築の学習アルゴリズム
Cobweb Fisher (1987)を人間の概念構築のモデルとし
て取り上げ解析する．
● 教師無し学習
人間の日常
の概念構築と
● 逐次学習
● Category Utility Gluck and Corter, (1985) よく対応よって
を用いた学習
Cobwebを解析
2
２．先行研究 Category Utility
Gluck and Corter, (1985),
Corter and Gluck, (1992)
話し手
「果物」
私は
受け手
を持って
「リンゴ」
います。それは「赤い」と思
いますか？
マスカット？あんず？
デリシャスリンゴ？オレンジ？
予測正解率：低い
デリシャスリンゴ（赤）？マッキン
トッシュリンゴ（赤）？青リンゴ？
予測正解率：高い
最適な概念構造とは
● 特徴の予測正解率が最大化される構造
● そういう構造を持つ概念は
Category Utility が高いとする．
3
Corter and Gluck (1992)
２．先行研究 Category Utility
添え字
果物
i
ｊ
芯があるか
ある・ない
赤・緑・黄・
紫・・・
特徴の値
Feature
色
リンゴ
特徴
Attribute
CU ＝ Category Utility
k
果物・
リンゴ・
概念
Category
Gluck and Corter, (1985),
Corter and Gluck, (1992)
概念Ckに属することが
わかった場合の
特徴予測正解率
概念に属することが
わからなかった場合の
特徴予測正解率

CU (ck )  P (ck )i  j P (ai  f ij | ck ) 2  P ( ai  f ij ) 2

)  P(色  緑 |リンゴ

CU (リンゴ )  P(リンゴ )i  j P(色  赤 |リンゴ ) 2  P(色  赤 | 果物 ) 2
CU (リンゴ )  P(リンゴ
概念の観測
頻度によって
重視する度合
いを変えよう
自乗の
戦略
i
j
) 2  P(色  緑 | 果物 ) 2


自乗の意味
特徴を予測
する確率
×
実際にその
特徴が観測
される確率
=
予測が
正解する
確率 4
２．先行研究概念構造構築機械Cobweb
C：概念
C３
C２
リンゴぶどう
C４
C５
デリジャス
リンゴ
Fisher, (1987)
Category Utility の平均
C１
もも
CUCobweb
この値が最も高くなる構造を
Cobwebは選択する．
青リンゴ
● 人間には，予測正解率を増や
したいという欲求と概念数を減ら
したいという２つの欲求がある．

2
2
P
(
c
)
P
(
a

f
|
c
)

P
(
a

f
)
k 1
k i  j
i
ij
k
i
ij
n
CU Cobweb 
ある階層内のｎ個の概念の
果物
C０
ある階層の
Category Utility

n
概念 Ck の
Category Utility
5
２．先行研究 Cobwebの４つの挙動
事例
root
Fisher, (1987)
Merge
C1
Best Child
root
Merged
Category
C1
C3
Best
Child
C3
root
事例
事例
C2
C1
C2
C3
Second
Child
C2
Create
事例
Split
C1 C2 C3
root
root
root
Split
事例
Best
Child
C4
C1
C5
C2
C3
C4 C5 C2 C3
Grandchildren
これらの挙動，全ての場合についてCUの値を計算し，値が最
も高くなる構造をCobwebは選択する．
6
目次
３．本研究
(1) Cobwebが人間と相似な概念分類である
ことを示唆する．
(2) 情報量の観点からCobwebを考える．
(3) 自乗戦略と情報量戦略の解析
(4) Mergeの必要条件式を求める．
7
本研究１
Fisher (1987)
「豆の病気のデータ」
と「政策と政党の関係」
生物学上の理由や事前知識によりルールが決められて分類された概念
本研究
果物・楽器・家具Tversky, (1985)
それぞれの特徴から人間が成長していくにしたがって
自然に獲得していったと考えられる概念
概念に関する人間の心理学データTversky, (1985)を適用
させ，人間の概念構造構築のモデルとしてCobwebは適
切かを検証した．
8
Tverskyの心理学的分類データの
Cobwebへの適用（Sawa）
入力データTversky, (1985)は
90 秒間，それぞれの概念についての特徴を
列挙・リスト化して，特徴を0 と1 で表記したもの．
果物の特徴データ
・・・
特徴の値 0と1は排反である．
人間が成長していくにしたがって自然に獲得していった概念
の心理学データ(Tversky, 1984)をCobweb に分類させる．
9
果物の概念階層 Tversky, (1984)
Fruit
apple
Delicious
apple
peach
Macintosh Freestone
apple
peach
Cling
peach
grapes
Concord
grapes
Green
seedless
grapes
この構造と同じようにCobwebが分類すれば，
人間と同じ分類ができたとし，分類成功とする．
10
Cobwebの特徴
結果
事例の入力される順番によって構成される概念構
造が変化する．よって，入力する６事例の全順列つ
まり6P6 = 720 通りについて学習させる．
Tree1 80.0%
１ turn
Tree4 1.67%
１ turn
Tree2 15.0%
１ turn
Tree5 1.11%
１ turn
Tree3 2.22%
１ turn
Tree6 96.6%
２ turn
2 turn では96.6 ％，3 turn では99.4 ％が心理学データと同じ構造になった．
人間が成長していくにしたがって自然に獲得していったと
考えられる概念も学習でき，人間の概念構造構築のモデルと11
してCobwebは適切であることが示唆された．
本研究２情報量の導入 Gluck and Corter, (1985)
U：不確実さ(Uncertainty)
CU (自乗戦略) 
n

 P(ck )i  j P( f ij | ck ) 2  P( f ij ) 2

n
k 1
CU (情報量戦略) 
 P(ck )i  j P( f ij | ck )logP( f ij | ck )  P( f ij )logP( f ij )  n
n
k 1
特徴集合Aと概念集合Cの
相互情報量 I(A;C) と等しい．
12
Tverskyの心理学的分類データの
情報量戦略によるCobwebへの適用
(Sawa)
先ほどの実験と全く同じ要領で，
自乗戦略を情報量戦略に変更して概念の心理学データ
(Tversky, 1984)を分類した．
結果
Tree1 77.8%
１ turn
Tree5 1.11%
１ turn
Tree2 14.4%
Tree3 1.11%
１ turn
１ turn
Tree6 3.33%
Tree7 1.11%
１ turn
１ turn
Tree4 1.11%
１ turn
Tree8 98.3%
２ turn
2 turn では98.3 ％，3 turn では100 ％が心理学データと同じ構造になった．
自乗戦略と情報量戦略は同程度の分類性能
(P>>0.05)
13
本研究３自乗戦略と情報量戦略の解析
自乗戦略と情報量戦略は，統計的に独
立な分類方法であるとは言えず，同じよ
うな分類性能があることを示唆した．(Sawa)
しかし，自乗戦略と情報量戦略では全く
同じようには分類されていない．その差
はいったい何なのかを突き止める．
14
自乗戦略と情報量戦略の挙動の差異
同じ事例が
Best Child 離れた場所へ
配置された．
自乗戦略
turn ２の
途中にて
Macintosh
apple
M.A. 2
M.A.１
F.P.１
D.A.１
D.A.１
M.A.１
F.P.１
F.P.2
G.G.１
C.G.１
C.P.１
C.P.2
C.G.2
F.P.2
C.P.１
C.G.１
G.G.１ D.A.１ M.A. 2
C.G.2
C.P.2
同じ事例は
情報量戦略
同じ場所
へ
Merge
配置された．
G.G.１
C.G.１
C.G.2
F.P.１
F.P.2
C.P.１
D.A.１
15
C.P.2 M.A.１ M.A.
2
挙動の差
デリシャス
リンゴ 2
Best Child
事例
果物
Best
Child
果物
Best
Child
Second
Child
事例
デリシャス
リンゴ１
Merge
マッキン
トッシュ
リンゴ 2
ピーチ１
デリシャス
リンゴ１
マッキン
トッシュ
リンゴ 2
ピーチ１
果物
果物
Best
Child
果物
リンゴ
事例
ピーチ
１
リンゴ
デリシャス
リンゴ１
マッキン
トッシュ
リンゴ 2
ピーチ
１
ピーチ１
デリシャス
リンゴ 2
デリシャス
リンゴ１
マッキン
トッシュ
リンゴ 2
デリシャ
ス
リンゴ１
マッキ
ントッ
シュ
リンゴ
デリシャス
2
リンゴ 2
この挙動の違いは何から生まれてくるのか？
16
自乗戦略と情報量戦略の挙動の差異
G
予
測
正
解
率
G (自乗戦略 )   j P ( f ij ) 2
1
0.95
0.9
0.85
0.8
G (情報量戦略 )   j P( f ij )logP( f ij )
0.75
0.7
0.65
0.6
0.55
0.5
0
0.2
0.4
0.6
0.8
CU (自乗戦略) 

n
CU (p^2
情報量戦略

+ ) (1-p)^2
 P(c )  P( f | c )logP( f | c )  P( f
P( f )
1
n
 P(ck )i  j P( f ij | ck ) 2  P( f ij ) 2
特徴の検出確率
曲線の傾きの
k 1
n
k 1
k
i
j
ij
k
ij
k
ij
)logP( f ij )  n
強弱が入れ替
わる値
17
自乗戦略と情報量戦略の挙動の差異
Merge によって作ら
れた新しい概念は子
孫により多くの事例を
含む．よって必ず特
徴の検出確率P(f)は
0.5に近づく．deltaだ
け特徴の検出確率が
下がったとする．
情報量戦略の傾きが
常に緩やかである領域
G1
0.95
0.9
0.85
0.8
0.75
0.7
0.65
0.6
0.55
0.5
inner region
delta
G(自乗戦略)
G(情報量戦略)
0.5
0.6
0.7
0.8
0.9 P ( f )1
曲線の傾きの
p^2 + (1-p)^2
よって，CUの減少が少ないので，情報量戦略の方が
強弱が入れ替
Merge が起こりやすい．
わる値
18
Merge の重要性
Mergeは２つの概念をまとめて新しい概念を作り出し，
概念構造をより深くすることの出来る唯一の挙動なので，
Mergeは概念階層形成に重要な役割を果たしている．
root
C1
C2
事例
C3
root
Merge
事例
Merged
Category
C1
C3
C2
情報量戦略はこのMergeが起こりやすいのでより深い
概念構造が出来上がる可能性を示唆した．
19
本研究４ Mergeの必要条件
下の式の
左辺はBest Child が選択され
た時のCU Cobwebの式そのもので
あり,
右辺はMerge した場合とBest
Childした場合のCU Cobwebの分
子の差分である．
Best Child
B
root
Merge
A
～
B
事例
事例
C1 C2
C
C555
C3C4C
root
CM
A
C3C4CCC555
C1 C2
この式は自乗戦略と情報量戦略のどちらでも成り立つ条件式である．
20
本研究成果のまとめ
1. 特徴から自然に構築される概念に関しての心理学
データであるTversky (1984) をFisher (1987)の
Cobwebに適用し，人間と相似な概念構造構築機
械であることを示唆した.
2. Cobweb に情報量戦略を適用し，Fisher の用いた
自乗戦略と比較して，統計的に同等の性能がある
ことを示唆した．
3. 情報量戦略の方が Merge が起こりやすいことを示
した．
4. 情報量戦略の方が新概念を作り出し，より深い概
念構造が出来上がる可能性を示唆した．
5. Mergeの起こる必要条件式を導いた．
21
博士課程への課題
● 当面の目標
● 既存の情報理論の認知モデルとの比較検討．
CU Sawa 
概念集合
相互情報量－エントロピー
特徴集合と概念集合の
● CUSawの検討
（人間には，予測正解率を増やしたいという欲求と
概念数を減らしたいという２つの欲求がある．）
● 長期的な目標
● 神経回路素子を用いた人間の概念メカニズムへの応用．
● 階層構造にこだわらないネットワーク型の概念構造の理論化．
22
中村清彦研究室
０２M35303 澤繁実
[email protected]
23
Merge は CUの値を必ず増加させないことの証明
F (P )
1
0.95
0.9
0.85
P(C2 )
P( f1 | C2 )
P(CM )
P(C1 )
P( f1 | C1 )
P(CM )
P( f1 | CM )
0.8
0.75
0.7
0.65
0.6
P(C1 )
F P( f1 | C1 ) 
0.55
P(CM )
0.5
0
0.2
P(C2 )
F P( f1 | C2 ) 
P(CM )
F P( f1 | C1 )
0.4
p^2 + (1-p)^2
0.6
0.8
1 P
24
Mergeが行われるとどうなるか
root
事例
変化する部分
C1
変化しない部分
Merge
～
B
事例
root
CM
C
C567
C3C4C
C2
Best Child
A
B
root
A
事例
C3C4CCC555
C1 C2
C
C555
C3C4C
C1 C2
25
自乗戦略と情報量戦略の類似度を検定
χ2検定を行い，自乗戦略と情報量戦略の両戦略においてデータ分類
正解数に統計的に差のないことを示した．
結果
自乗
戦略
情報量
戦略
自乗
戦略
情報量
戦略
自乗
戦略
情報量
戦略
自乗
戦略
情報量
戦略
H0:帰無仮説：各データの正解数と分類方法は独立である．
（正解数は分類法によらない．）
H1:対立仮説：各データの正解数と分類方法は独立ではない．
（正解数は分類法によって変わる．）
有意水準α=0.86 で帰無仮説H0
が採択された．
26
Category Utility
入事例名
力
事
サンマA
例
イモリA
デニホンザルA
ー
インコA
タ
サンマB
は
ヤモリA
与
インコB
え
ニワトリA
ら
れ鳥類に
上記８事例
る属することが
全てを考えた
．わかった
確率
Gluck and Corter, (1985), Corter and Gluck, (1992)
特徴１
移動手段
特徴２
肌
特徴３
受精に関して
特徴４
クチバシがあるか
泳ぐ
鱗
体外受精
無し
はう
湿皮膚
体外受精
無し
歩く
毛
体内受精
無し
飛ぶ
羽
体内受精
有り
泳ぐ
鱗
体外受精
無し
はう
湿皮膚
体外受精
無し
飛ぶ
羽
体内受精
有り
歩く
羽
体内受精
有り
P(泳ぐ)=２／８ P(鱗)=２／８
P(歩く)=１／３
P(はう)=２／８ P(湿)=２／８
P(歩く)=２／８ P(毛)=１／８
P(飛ぶ)=２／３ P(羽)=３／３
場合の確率 P(飛ぶ)=２／８
P(羽)=３／８
P(外)=４／８
P(内)=３／３
P(内)=４／８
P(無し)=６／８
P(有り)=３／３
P(有り)=３／８
27
自乗戦略の場合の挙動
Macintosh
apple
M.A. 2
CU=1.51
CU=1.34 CU=1.64
A
Best
Child
C
B
B
A
D.A.１
D.A.１
M.A.１
F.P.１
F.P.2
M.A.１
G.G.１
C.G.１
C.P.１
C
C.G.2
F.P.１
C.P.2
F.P.2
C.G.１
C.P.１
G.G.１ D.A.１ M.A. 2
C.G.2
C.P.2
C がBest Child でCUは1.64,
AとCを Merge した場合1.63,よって Best Child が選択された。
28
情報量戦略の場合の挙動
Macintos
h apple
M.A. 2
CU=1.69
Merge
M.A. 2
CU=1.46 CU=1.80
A
B
C
B
D.A.１
D.A.１
A+C
A
M.A.１
F.P.2
C.P.１
G.G.１
C.G.１
C.G.2
C.G.１
C.G.2
D.A.１
F.P.１
C.P.2
C.P.１
Best
Child
A+C
B
C.P.2
B
M.A. 2
A+C
A
A
G.G.１
G.G.１
C
C.G.１ C.G.2
F.P.2
M.A.１
Merge
F.P.１
G.G.１
C
F.P.１
F.P.2
C.P.１
D.A.１
C.P.2 M.A.１ M.A. 2
C.G.１ C.G.2
F.P.１
C
F.P.2
D.A.１
C.P.１
M.A.１
C.P.2
C がBest Child でCUは1.80,
A とCを Merge した場合1.85, よって Merge が選択された。 29

Download Report