155 - ieice

平成 25 年度電子情報通信学会東京支部学生会研究発表会
講演番号： 155
線形パーセプトロンを用いた
相互学習に関する研究
D-2
Study on Mutual Learning Using Linear Perceptron
斎藤大輔 †
原一之 †
Daisuke SAITOH†
Kazuyuki HARA†
† 日本大学生産工学部電気電子工学科
† Department of Electrical and Electronic Engineering, College of industrial Technology, Nihon University
はじめに
本研究では，パーセプトロンの線形的なモデルを用いて
教師あり学習を行い，途中で教師ネットワークを外して相
互学習を行い，相互学習の学習効果を検討する．
1
学習方法
教師ネットワークの出力を v ，結合荷重を Bj ，生徒ネッ
トワークの出力を ui ，結合荷重を Jij ，ネットワークの入
力を xj ，生徒数を SN とする．ここで添字の i は i 番目の
生徒，j は j 番目の要素という意味である．
2
3 と同様な学習方向とする．ここで，A → B は A(生徒役)
が B(教師役) を学習することを指す．図 2 に教師あり学
習の結果を，図 3 に相互学習の結果を示す．図 2 より，教
師あり学習による E1 の減少，R1 の増加の様子がわかる．
また図 3 より，相互学習へ切り替えた後においても，生徒
ネットワークの性能が向上することがわかる．
図 2 教師あり学習 (ER = 0.1)
図 1 ネットワークの概要 (SN = 2)
生徒ネットワークは教師ネットワークの出力を見て，自分
自身の結合荷重を変化させる (教師あり学習)．誤差がある
値に達したら，生徒ネットワーク同士で学習を行う (相互
学習)．式 (1) に生徒ネットワークの出力の式を示す．教師
ネットワークの出力 v は，式 (1) の Jij を Bj に置き換え
ることで計算できる．N は入力の次元とする．
ui =
N
∑
xj Jij
(1)
j=1
誤差は，二乗平均誤差とする．二乗平均誤差 Ei は，二乗
誤差を入力次元数 N 回計算し，その平均により計算する
(式 (2))．
N
1 ∑1
Ei = {
(v − ui )}
(2)
N
2
図 3 相互学習 (ER = 0.1，0.3，0.5，0.7，
SN = 2)
図 4 は相互学習による E1 の減少及び R1 の増加の様子を，
図 5 は最終的な E1 及び R1 を示したものである．相互学
習における生徒数が多いほど，学習効果は高く，最終的な
生徒ネットワークの性能も良くなるものと考えられる．
j=1
学習には最急降下法を用いる．最急降下法を用いて，教師
あり学習を行うときの結合荷重の更新式を以下に示す．こ
こで m は学習回数，η は学習係数を指す．相互学習におい
ては，式 (3) の v は教師となる生徒ネットワークの出力，
ui は生徒となる生徒ネットワークの出力となる．
Jij m+1 = Jij m + η(v − ui )xj
図 4 学習効果
(3)
オーバーラップ Ri は式 (4) で表され，教師ベクトルと生
徒ベクトルの重複度合いを示すものである．
Ri =
B · Ji
|B||Ji |
本稿では，Ei と Ri を用いて学習の効果を評価する．
図 5 最終的な E1 及び R1
(4)
今後の課題
今後は，生徒ネットワークの学習方向を変えて，検証す
る予定である．
4
結果
参考文献
以下に学習結果を示す．ここで，相互学習に切り替える [1] W. H. Press 他，石井出宏嘉，”Numerical Recipes in
時の二乗平均誤差を ER ，相互学習開始前の E1 を E1 (0)，
C ”，技術評論社，(1993)，p.214-217．
最終的な二乗平均誤差を ER ∗ ，相互学習開始前の R1 を
∗
[2]
R.BEALE
，T.JACKSON，”NEURAL COMPUTR1 (0)，最終的な R1 を R1 と呼ぶ．また，相互学習にお
ING
an
introduction”
，Taylor & Francis，(1990)，
いて SN 2 の場合の学習方向は u1 → u2 ，u2 → u1 ，SN 3
p.39-45
．
の場合 (u3 ) → u1 → u2 → u3 → (u1 )，SN 5 の場合は SN
3
-155-
Copyright © 2014 IEICE

Download Report