Data Clustering: A Review A.K. Jain, M.N. Murty, P.J. Flynn 院生ゼミ ‘04年6月1日（火曜日）新納浩幸本日の私の担当第5章： 5.7 Artificial Neural Networks for Clustering ニューラルネットワーク（ＮＮ）を用いたクラスタリングＡＮＮ（あるいは NN ） Artificial Neural Network の略． NN と略すことも多い．この30年間，ＮＮを識別やクラスタリングに用いる研究が活発に行われてきた．ポイントとなる重要な特徴（１） NN は数値ベクトルを扱う．結果，パターンは数値ベクトルで表現しなければならない．（２） NN は並列かつ分散型の構成をもつ（３） NN はノード間の適切な重みを学習する．重みの学習によって，パターンの正規化と特徴選択を行っているとみなせるＮＮ（for 識別） N x  R M 入力、 y  R 出力 y  f (x) 訓練データとなるような関数 f を推定する学習方法 ( x1 , y1 ), ( x2 , y2 ),, ( xK , yK ), 特徴＊関数の表現形式がネットワークの重みなので、具体的な関数の形はわからない＊関数自体の表現力は高く、どんな関数でも表現できる＊分類問題の解決は１つの応用、他、様々な応用がある＊多くの研究成果があるがまだ未知な部分も多い関数の表現形式出力ｙ＝（ y (1) ｙ (1) ，ｙ (2) ，･･･，ｙ (Ｎ) ） x  ( x(1) , x( 2) ,, x( M ) ) y (2) y (N) から中間層の各ユニットの入出力をつくり、そこから･･･Ｗ ij ･･･ θｊＷｊｋ･･･ x (1) 入力Ｘ＝（ x (2) x (1) ，x (2) y  ( y (1) , y ( 2) ,, y ( N ) ) をつくる。結局、関数を作っている。 w jk 入力ユニット j から中間ユニット k への重み x (M) ，･･･，x (M) ） wij 中間ユニット i から出力ユニット j への重みＮＮ（for クラスタリング）（１） SOM を例にして，入力例，，，動物が13次元のベクトルで表現されているＮＮ（for クラスタリング）（２）出力似ているものが集まった形で平面状にマップされるＮＮ（for クラスタリング）（３）競合学習パターンがＮ次元ベクトルとすると，出力層の各ノードはＮ次元ベクトルに対応している．入力パターンに対して最も距離の近い出力層のパターンが選ばれ，その近傍が入力パターンに近づくように更新される代表的な NN の例ＬＶＱ（Learning Vector Quantization: ベクトル量子化） SOM （Self-Organizing Map: 自己組織化マップ） ART （Adaptive Resonance Theory model ）ほとんど同じ手法 •ネットワークは単一層の構成 •入力層から入るパターンが出力層で想起される •入力層と出力層の間の重みが学習クラスタリングとの関係学習，重みの更新の方法，が古典的なクラスタリング手法と非常に似ている． K-means と LVQ との関係 [Pal el al. ’93] ART モデルの学習アルゴリズムは leader クラスタリングアルゴリズムとの関係 [Moor ’98] SOM 多次元のベクトルの集合を直感的にわかりやすい 2次元上の点にマップする． LVQ や音声認識で成功した欠点＊初期の重みが適切に選ばれないと部分的に最適な分割しか得られない．＊収束の条件が，さまざまなパラメータで制御される．そのため，ある入力に対して異なる繰り返し回数では出力が異なる． Stability (安定性) 問題安定性と柔軟性システムが安定訓練データ内のパターンは，ある繰り返し回数以上の学習に対しては，同じ識別結果になる Plasticity (柔軟性) の問題，とも関連深い新しいデータに対して適応力がある安定性は，繰り返しに従って，学習の割合が０になることを意味し，これは柔軟性に影響を与える．ＡＲＴモデル安定かつ柔軟である欠点＊データの与えられる順序に依存して出力が変化する＊ART によって作られたクラスターの大きさと数は Vigilance threshold の値に依存する新しいパターンを既存のクラスのメンバーにするかそのパターンで新しいクラスターを作成するかを決めるための値その他 SOM と ART は Hypersoherical cluster を探すには安定 [Hertz et al. ’91] Hyperellipsoidal cluster を取り出すために，正規化したマハラノビス汎距離を使った2階層のネットワークが提案されている [Mao and Jain ’94] NN は出力のノード数（クラスの数）を固定している