情報学習理論渡辺澄夫東京工業大学教師なしデータ学習データ X1, X2, …, Xn 真の情報源情報源の何を知りたいのかテストデータ X 教師なし学習 q(x) 「くだもの」の空間の構造？ p(x|w) 2015/9/30 Mathematical Learning Theory 概念の自動生成 3 競合学習 xi i=1,2,3,…,n (1) bk ; k=1,2,…,K 初期化 xi (2) xi に一番近い bk を選ぶ (3) bk := bk + ε( xi – bk ) (2), (3) を繰り返す（ε→０） 2015/9/30 Mathematical Learning Theory bk bk 4 競合学習の様子初期値 k-means とは異なるアルゴリズムであるが目標とする学習結果はほぼ同じである 2015/9/30 Mathematical Learning Theory 5 教師なし学習の目標の例高次元空間にたくさんの例が与えられたとき (1) 代表例をあげる K-Means, 競合学習 (2) 空間の地図を作る自己組織化写像 (3) 情報源の確率分布を推測する混合正規分布ボルツマンマシン 2015/9/30 Mathematical Learning Theory 6 高次元空間を地図にする 2015/9/30 Mathematical Learning Theory 7 高次元空間内のデータ高次元空間のデータが低次元多様体におおよそ乗っていることはよく起こる 2015/9/30 Mathematical Learning Theory 8 自己組織化写像 Self Organizing Map (SOM) 「となり同志」の情報があるものの学習 2015/9/30 Mathematical Learning Theory 9 SOM 学習法 xi i=1,2,3,…,n b1, b2, …, bk (1) bk ; k=1,2,…,K 初期化 xi (2) xi に一番近い bk を選ぶ (3) bk-1 := bk-1 + ε( xi – bk-1 ) bk := bk + ε( xi – bk ) bk+1 := bk+1 + ε( xi – bk+1 ) (2), (3) を繰り返す（ε→０） 2015/9/30 Mathematical Learning Theory bk+1 bk bk-1 10 学習の様子 2015/9/30 Mathematical Learning Theory 11 高次元化 z y x 2015/9/30 Mathematical Learning Theory 「となりどうし」を縦横として学習する 12 3次元以上でもできるが・・・球面やトーラスやメビウスの帯でもできるが・・・ 2015/9/30 Mathematical Learning Theory 13 データの密度データが密集しているところには、比例して多くの点が自動的に集まる 2015/9/30 Mathematical Learning Theory 14 次元が異なると 2次元を 1次元で埋めるとこのようになるデータに相応しい次元を知る方法は確立していない 2015/9/30 Mathematical Learning Theory 15 問題１次の情報に1次元のSOMをあてはめるとどのような学習結果が得られるか。二つ以上の異なる結果が得られたときには両方を描きなさい。（１） 2015/9/30 （２） Mathematical Learning Theory 16 地図を見て世界を考える 2015/9/30 Mathematical Learning Theory 17 どんな役にたつか？ z 高次元空間に埋め込まれた曲がった地図 y x 2015/9/30 Mathematical Learning Theory 情報解析低次元空間なので人間が理解できる 18 情報工学への応用 48 48 48×48 次元の空間認識中間の自体の生成 2015/9/30 Mathematical Learning Theory 19 発見科学への応用ジープ自動車の空間ワゴン乗用車 (車高,車幅,CC,馬力,…) ミニバン１０次元の空間これに昨年と今年の売上を重ね合わせると流行の変化がわかる →商品プラン支援 2015/9/30 Mathematical Learning Theory 20 時系列予測への応用 x(t) t=1,2,…,10000 10 次元の空間 (x(t),x(t+1),…,x(t+9)) x(t) t 起こりやすい時系列と変化の具合がわかる現在がどれに近いかわかれば明日が予測できる？ 2015/9/30 Mathematical Learning Theory 21 神経科学への応用ライオントラ？外界に対応する脳内情報地図が存在？ 2015/9/30 Mathematical Learning Theory 22 心理学への応用育てる夢・神話・伝説・物語に出てくる女性像の地図デーメーテル雪女マリア夢のシリーズが地図内でどのように変化するかを調べて夢見手の心の変化を考える魔女 (白雪姫）ソフィア狂わせる知恵を与える魔女 (お菓子の家）山姥カーリー飲み込む 2015/9/30 Mathematical Learning Theory 23 重要注意１ SOMなどの低次元空間への写像は人間とのVisualなインターフェースに適しデータからの知識発見に役立つがパターン認識・予測・制御において高精度なシステムには結びつかないことが多い。 ⇔ 高精度なものは高次元になることが多く、完全に言語化・知識化することは難しい。 2015/9/30 Mathematical Learning Theory 24 重要注意２「構造の発見」と「最高の予測」は両立しない数理情報学の基礎的な事実予測誤差表現次元人間が理解できる構造の発見 2015/9/30 精度のよい予測ができる Mathematical Learning Theory 25 問題２市区町村人口１ 3000 転入結婚３ 100 5000 200 500 100 60 10 30 ４ 2000 200 20 ５ 3000 100 10 ６ 1000 200 20 3000 ３00 ２0 ２ＳＯＭ学習結果を見てできた地図について基本となる２軸の意味は何かを考察せよ。・・謝辞：独立行政法人統計センターのデータを用いた。 http://www.e-stat.go.jp/SG1/estat/eStatTopPortal.do データの著作権は独立行政法人統計センターのページをご覧ください。このデータは２０１２年の市区町村の人口等である。 2015/9/30 Mathematical Learning Theory 26 沖縄市渋谷区音威子府村会津若松市阿波市町田市永平寺町香美市枚方市１人口２子供３労働者４老人５出生６死亡７転入８転出９昼人口１０結婚１１離婚