情報学習理論渡辺澄夫東京工業大学教師なしデータ学習データ X1, X2, …, Xn テストデータ真の情報源 X 教師なし学習の最初の一歩：データ(非常に多い）代表例（少ない） x1 =(x11,x12, …,x1d) y1 =(y11,y12, …,y1d) X２ =(x21,x22, …,x2d) y２ =(y21,x22, …,y2d) X３ =(x31,x32, …,x3d) y３ =(y31,y32, …,y3d) Xn =(xn1,xn2, …,xnd) yK =(yK1,yK2, …,yKd) 2015/9/30 Mathematical Learning Theory 3 クラスタリングデータ Xi =(xi1,xi2, …,xid) 代表点 yk =(yk1,yk2, …,ykd) データから代表点を選び出してクラスタに分けてみた! で，それで？ 2015/9/30 Mathematical Learning Theory 4 2015/9/30 Mathematical Learning Theory 5 教師なし学習の応用(１) ○ 階層的クラスタリング政治経済数理経済学科学物理学ダークマタ― 化学・・・ 2015/9/30 Mathematical Learning Theory 6 教師なし学習の応用(2) ○ 推薦システム「＿＿＿が好きな人は＿＿＿も好きなのでは」 ○ 共起関係の手がかり (A) は (B) を ( C )する 2015/9/30 Mathematical Learning Theory 7 教師なし学習の応用(3) 出やすい情報を中心に圧縮したい (rk,gk,bk) : k=1,2,…,50 画像代表ベクトルを選んで符号化する領域の分割にも利用できる 2015/9/30 Mathematical Learning Theory 8 実際に応用してみると１．まず「当たり前の構造」が見つかる（注）。２．データのランダムネスに起因する「みかけの構造」が見つかる場合がある。３．「発見」のように見える情報があったとき単なる偶然なのか、真の構造なのかを見分けるにはどうしたらよいかが問題（注）「当たり前の構造」が見つかった場合でもデータに基づいた情報は単なる想像とは異なる意義があります。 2015/9/30 Mathematical Learning Theory 9 真の構造 VS 見かけの構造（注）真の構造かどうかを人間の感覚で判定することはできません。分布を目で見て決めるのは無理です。数理的な基盤が必要になります。 2015/9/30 Mathematical Learning Theory 10 問１Ｋ４ 8 12 １6 20 二乗誤差圧縮率圧縮率 = 縦×横×log2K + K log23 （ビット）縦×横×３×８（ビット） (注意）ＲＧＢの各値は０から 255の整数（28) 2015/9/30 Mathematical Learning Theory 11 教師なし学習の例選手パス成功ゴール・・・走行距離１ 3 2 6 ２ 1 5 0 ３ 5 1 3 ４ 2 2 2 ５ 0 0 1 ６ 10 0 0 3 ３２・・ 2015/9/30 Mathematical Learning Theory （例）サッカー選手には大別して４種類あり FW, MF, DF, GK がある．当たり前（？） 13 教師なし学習の例ビスケット・・・消費者ジュース１ 3 2 6 ２ 1 5 0 ３ 5 1 3 ４ 2 2 2 ５ 0 0 1 ６ 10 0 0 3 ３２ケーキ・・ 2015/9/30 Mathematical Learning Theory （例）顧客には大別して７タイプがありセールを気にする品質を気にするなどがある．商品には大別して２０種類があり固定客のあるもの季節によるものなどがある． 14 教師なし学習の例（例）１２１ C F G ２ C G Am ３ Am Em Dm ４ C ５ C Fm G ６ C G C 歌 Am ・・・ n Em ・・ 2015/9/30 音楽のコード進行には大別して10種類ありカノン、王道、ツーファイブ、・・・などがある．音楽のジャンルには大別して５種類あり、頻繁に用いられるコード進行は・・・である当たり前（？） Mathematical Learning Theory 15 教師なし学習の応用仕事名技術割合折衝割合・・・管理割合研究 80 10 10 生産 60 30 10 コンサル 20 70 10 社長 10 30 60 販売 30 60 10 50 40 10 サービス・・ 2015/9/30 Mathematical Learning Theory （例）仕事には大別して３０種類あり、研究開発、サービス、販売、・・・などがある．当たり前のことですが名称と実務が対応していないこともあるので注意必要． 16 教師なし学習の例俳優名主人公ライバル・・・仲間１ 3 2 6 ２ 1 5 0 ３ 5 1 3 ４ 2 2 2 ５ 0 0 1 ６ 10 0 0 3 ３２・・ 2015/9/30 Mathematical Learning Theory （例）俳優女優には大別して１０種類あり、演じる役柄の傾向は勇ましい主人公、知的な主人公、きざな敵、悪意に満ちた敵、特技で助けてくれる人、主人公を好きになる人、・・・などがある． 17 問２あなたはあるゲームの新しいキャラクターを作る仕事をすることになりました。そのための準備として小説・映画・ゲームに現れる登場人物について典型的なタイプを抽出するためのデータベースを作ることになりました。どのようなデータベースを作成したらよいと思いますか。あなたの好きなジャンルをひとつ決めて、その評価ベクトルの例を示し登場キャラクター５名の例を示してください。（例）ジャンル：三国志登場人物決断曹操 10 劉備 7 孫権 5 呂布 6 諸葛亮 4 2015/9/30 戦略 9 3 6 2 10 戦闘 7 ５ 6 10 1 調整 8 6 10 1 6 Mathematical Learning Theory 温かい 1 10 5 2 6 18