直交化最小二乗法による階層型ニューラルネットワークの中間層

[i
vi
7'
!
33
6,
N
艶.
$
3
12
q6
72悪賢9
!7F]
牢交化最小二乗法による階層型ニューラルネットワークの
中間層ニューロン数の削減法
楊
子
江*
●
Hi
dd
e
n
La
y
e
rSi
z
eRe
duc
l
n
gf
o
rMu
l
t
i
l
a
y
e
rNe
ur
a
lNe
t
wo
r
k
sUs
i
n
gt
h
eOr
t
h
o
g
o
n
a
l
Le
a
s
t
Sq
ua
r
e
sMe
t
h
o
d
Zi
Ji
angYANG*
●
Thi
spa
pe
rpr
o
po
s
e
sane
wa
ndc
o
mput
a
t
i
ona
l
l
ye
氏c
i
e
nta
p
p
r
o
ac
ht
ohi
dde
nl
a
ye
rs
i
z
er
e
duc
l
ngf
ormu
lt
i
l
a
y
e
r
●
●
●
ne
ur
l ne
a
t
wor
ks
･Thea
ut
ho
r
'
sa
t
t
e
nt
i
o
ni
sf
oc
us
e
donm
i ni
mz
l
nghi
dde
nl
a
ye
rr
e
du
n da
nc
yus
i
ngt
heo
r
t
hog
ona
l
l
e
a
･
s
t
s
qua
r
e
s(
OLS)me
t
hodwi
t
ht
hea
ido
fGr
amSc
hm
i dto
r
t
hog
ona
lt
r
ans
or
f
ma
t
i
o
n.Thene
ur
a
lne
t
wo
r
kw
it
h
al
a
r
gehi
dde
nl
a
y
e
rs
i
z
ei
sf
ir
s
tt
r
a
i
ne
dvi
aas
t
n da
a
r
dt
r
im
a
ingr
le
u
.The
nt
heOLSme
t
hodi
si
nt
r
oduc
e
dt
o
i
de
nt
i
f
ya
n de
hm
i na
t
er
e
du
n da
ntne
ur
onss
uc
ht
ha
tas
i
mpl
e
rne
ur
l ne
a
t
wor
ki
so
bt
a
i
ne
d.TheOLSme
t
hodi
s
e
mpl
o
ye
da
sa●
or
f
wa
r
dr
e
g
r
e
s
s
i
onpr
oc
e
dur
et
os
e
l
e
c
tas
ui
t
a
bl
es
e
to
fne
ur
onsf
r
o
m al
a
r
g
es
e
to
fpr
e
l
i
mi
na
il
r
y
t
r
ine
a
dhi
dde
nne
ur
o
ns
,s
uc
ht
ha
tt
hei
nputt
ot
heo
ut
put
l
a
y
e
ri
sr
e
c
ons
t
r
uct
e
dwi
t
hl
e
s
shi
dde
nne
ur
o
ns
･At
e
ac
hs
t
e
po
fr
e
gr
e
s
s
i
o
n,
t
hei
nc
r
e
me
ntt
Ot
hee
ne
r
g
yo
ft
hes
umma
t
i
o
no
ft
hewe
i
g
ht
e
do
ut
put
so
ft
hehi
dde
n
ne
ur
o
ns(
t
hei
npl
l
tt
Ot
heo
ut
put
l
a
y
e
r
)i
sma
xi
iz
m
e
d.Andt
hewe
i
ht
g
so
ft
hel
i
nksbe
t
we
e
nt
hes
e
l
e
c
t
e
dhi
dde
n
ne
ur
o
nsa
ndt
heout
putl
a
ye
ri
sa
ut
o
ma
,
t
i
c
ll
a
yde
t
e
r
mi
ne
dt
hr
oug
ht
her
e
gr
e
s
s
i
o
npr
oc
e
dur
e
･The
r
e
f
or
et
hene
ur
d
nswhi
c
hc
o
nt
r
i
but
et
r
i
v
i
ll
a
yt
ot
hei
nputt
ot
heout
put
l
l
a
y
e
rc
anbee
l
i
i nat
m
e
dwi
t
ho
utmuc
hdi
s
t
o
r
t
i
o
no
ft
he
ne
ur
l ne
a
t
wo
r
ko
ut
put
･Si
mu
la
t
i
o
nr
e
s
lt
u
sa
r
ei
nc
l
ude
dt
os
ho
wt
hee
f
Rc
i
e
nc
yoft
hepr
o
po
s
e
dme
t
hod.
KeyW or
ds
:ne
ur
a
lne
t
wo
r
k)
hi
dde
nne
ur
on70
r
t
ho
g
o
na
ll
e
a
s
t
s
qua
r
e
sme
t
hod,r
e
du
n da
･
nc
ye
l
i
mi
na
t
i
on
1.
近年 ,適切な中間層ニューロン数を決定する手法は多く
はじめに
の研究者たちによって研究されている 3),8).学習の段階で,
バックプロパグーシヨン学習に基づく階層型ニューラルネッ
ニューロン数を逐次に加減しながら,最終的に最適なニュー
トワークが,パター㌢認識,システム同定と制御などに数多
ロン数を得ようとする方法は盛んに研究されている.大き
く応用されている 1)
∼5
).この階層型ニューラルネットワー
く分けて,小さめのネットワーク構造から出発して,必要な
クを個々の実際問題に応用する場合,問題に適したサイズの
ニューロンを逐次追加していく生成的学習法と,逆に大きめ
ネットワークを用いることが非常に重要である.ネットワー
のネットワーク構造から出発して,不要なニューロンを逐次
クのサイズが小さすぎると十分な学習ができないし,逆に大
削除していく削除的学習法という二つのタイプに分類でき
きすぎると過剰自由度のためオーバーフィッティングをおこ
る 8).この二つのアプローチに関して,数多くの手法が提案
して,ネットワークの汎化能力の低下を招く.理論的に,3
されているが,それぞれの長所と短所があり,簡便で広く応
層ニューラルネットワークの中間層ニューロン数が無限にと
用される手法はまだ多くない.多数の中間層ニューロン数の
れれぼ,任意の連続関数が 3層ニューラルネットワークで任
C
候補に対し,それぞれのネットワークを学習してから,AI
意の精度で近似できることは Fhn
a
ha
s
hi
6)ぉよび Ho
ni
r
k7)
に基づいて最良のネットワークを選択する手法もあるが 9),
などによって証明されている. しかし,中間層のニューロン
全体としての計算量が莫大であるほか,AI
Cの使用に当たっ
数に関しては,入出力のマッピングや,汎化能力に十分な個
て,バックプロパゲ-ションなどの学習アルゴリズムで得ら
数を,試行錯誤的なシミュレーションで決定する場合が大半
れた結合重みの推定値は必ずしも最尤推定値になっていると
であり,多大の労力を必要としているのが現状である.
は限らないといった間選点が指摘されている 10).なお,各手
法の詳細については,文献 3
)
,8)の解説を参照されたい.
本論文は,ネットワークの中間層ニューロンの出ガの線形 ●
*九州工業大学情報工学部飯塚市川津 6
80
4
'
Fa
c
ul
t
yo
fCo
mpu
t
e
rEn
g
l
n
e
e
nn
ga
n
dS
y
s
t
e
msS
c
i
e
nc
e
,
Kyu8
h
uI
n
s
t
i
t
ut
eo
fTe
c
mo
l
l
o
g
y
,
I
i
z
;
u
k
a
1
9
96)
(
Re
c
e
i
v
e
dMa
.
y27,
(
Re
v
i
s
e
dOc
t
o
be
r28,
1
996)
従属性を検出することによって,冗長と思われるニューロン
を削除し, よりコンパクトなネットワーク構造を得る手法に
スポットを当てる.この考えに基づいた手法は近年多数提案
TR 0003/97/3303-0216㊨ 1996SI
CE
計測自動制御学会論文集
第 33巻
第 3号
1
997年 3月
BL7
され,注目を集めている.増田ら 11)は学習の途中,出力の相
関が強い二つのニューロンを合成することによって,ネット
ワークの簡単化をはかったが,3個以上のニューロンの間に存
在する線形従属性を検出することができない.中間層ニュー
ロンの出力相関行列の微小特異値を検出することによって,
適切なニューロン数を決める手法もあるが,具体的に何番目
のニューロンが冗長であるかが分からず,微小特異値を判定
するしきい値の設定とネットワークの近似精度との関係も明
白ではない 12).中間層ニューロンに対する線形重回帰分析に
よって,線形従属の部分を取り除き,最適な中間層ニューロ
ン数を求める方法も提案されており,良好な結果を得ている
が 13),中間層ニューロンの処理順番の影響 ,非線形成分を単
Fi
g.1 A t
hr
e
el
a
y
e
rne
ur
l ne
a
t
wo
r
k.
純に加え合わせて良いとの理論的根拠などをさらに論じる必
要があると思われる.村田ら 14)も線形従属性判定による中間
2. 問題の設定
層ニューロン数の削減法を提案したが,文献 1
1
)
,
1
2)
,
1
3)の
手法と比べて,冗長と思われるニューロンを取り除くことが
ネットワークの近似精度にどのように影響を与えるかを近似
的に数値で検討できること,縮約されたネットワークの中間
層と出力層間の結合重みも再学習することなしにある程度決
めることができるなどの利点があげられる.ただし,削除判
定基準値は事前に決めておかなければならず,その適切な設
走法を検討する必要がある.ほかに,以上にあげた手法と類
似して,中間層ニューロンの主成分分析を用いた手法も提案
されている 15).これらの手法は,中間層ニューロンの出力の
本論文は,簡単のため,一般性を失わず,Fi
g.1に示すよ
うな多入力 1出力の 3層ニューラルネットワークを考える.入
力層,中間層 ,出力層のニューロンの数はそれぞれ ni,nh,
1
であり､入力層ニューロンは入力信号をそのまま出力するだ
けの作用をする.中間層の j番目のニューロンの入力は次式
で表わされる.
n
i
y
i
･
(
k)- ∑ 鴎 I
i
(
k)+埠
(1)
i
=1
線形従属性を中心に検討しているが,実際に,中間層の出力
ただし,I
i
(
k)は
は,各ニューロンの出力の線形結合として,出力層の人力と
k(
k -1,
-,
N)番目の入力データである･wt
%
･は i番
なるので,ネットワークにおける各中間層ニューロンの役割
目の入力層ニューロンと j番目の中間層ニューロンとの結合
はその出力が出力層ニューロンの入力に対する寄与で評価す
ることはもっと適切だと思われる.すなわち,中間層ニュー
は3
'番目の中間層ニューロンのバイ
重みである･また,
アスである.中間層の出力は次のようなシグモイド関数の出
ロンの出力の線形従属性だけでなく,出力層との結合重みの
力である.
影響も考慮して,総合的に判断する必要がある.
本研究は,システム同定の分野で,モデル選択とパラメー
i番目の入力層ニューロンに対する
埠
hJl
(
k)-
1+e
xp(
-y3
1
(
k)
)
(
2)
タ推定において,非常に有力な手法として,広く使われる
出力層ニューロンへの入力は各中間層ニューロンの出力の線
Gr
amSc
hmi
dtの直交化に基づいた直交化最小二乗法 16)-18)
形結合
による階層型ニューラルネットワークの中間層ニューロン数
の削減法を提案する.提案される手法は,ネットワークの学
習を一度行った後,直交化最小二乗法を用いて,出力層ニュー
ロンの入力の自乗和への寄与が大きい順番で,中間層ニュー
ロンを採用して行き,出力層ニューロンの入力を再構成する.
ほかのニューロンの線形結合で表現できるニューロンまたは
出力層との結合重みが小さいニューロンは, 自然に後の方で
選択される.また,選択の過程で,選択された各ニューロン
n
h
d(
k)- ∑ W,
?hj(
k)+b
o
(
3)
3
'
1
である･ただし,w
gは j番目の中間層ニューロンと出力層
oは出力層ニューロンのバ
ニューロンとの結合重みであり,b
イアスである. したがって,ネットワークの出力は
0(
k)-I(
d(
k)
)
(
4)
となる . ここで ,I(
d(
k)
)は問題に応じて ,シグモイド
の出力層との結合重みの新しい値,及び既に選択されたいく
関数 f(
d(
k)
)- 1
/【
(
1+ e
xp(
-d(
k)
)
] または線形関数
つかのニューロンによる出力層ニューロン入力の再構成にお
I(
a(
k)
)-a(
k)とする.
ける誤差も自動的に計算されるので,設計者が要求する表現
一般に,中間層ニューロンが多すぎると,各ニューロンの
力を満たす最小限のニューロン数を簡単に決められる.提案
間に強い線形従属関係が存在し,いくつかのニューロンの出
した手法の有効性はシミュレーションを通して明らかにする.
力がほかのニューロンの出力の線形結合で表現できるので ,
結果的にこれらのニューロンは冗長であり,役割がほかの
ニューロンに肩代わりされることが可能であることは既に報
21
8
T.
SI
CE Vo
l
.
3
3 No.
3 Ma
r
c
h 1
9
9
7
告されている 11)､15). したがって,これらの冗長ニューロン
d = P wo
を削除することによって,ネットワークの表現能力を大きく
a -l
d(
1)
,
d(
2)
,･･･,
a(
N)
]
T
損なわなくても中間層ニューロン数を削減することができる.
そこで,本研究は,直交化最小二乗法 16)-18)による中間
層ニューロン数の削減法を提案する.収束に十分な数の中
-l
pl
,
P,
,
･
･
･
,
Pnh.1
]
hj(
1)
,
hj(
2)
,
･･･
,
h,
･
(
N)
]
T
pj-l
(
i-1,
2,･･･,
nh+1)
(
6)
p
間層ニューロンをもって,ネットワークの学習を一度行った
そこで,直交化最小二乗法でより少ないニューロンで d(
k)
級,教師入力を再入力した場合の出力層ニューロンの入力
を再構成することを考える.いま,何らかの方法で,各中間
d(
k)
(
k- 1
,･･
･,
N)の近似問題を検討する.すなわち, (
3)
･
(
i 1,2,･･･,nh+1)を,そ
層ニューロンの出力ベクトル p,
式において,冗長な h
J
･
(
k)を削減し,必要最小限の項で ,
れぞれが採用された場合の d(
k)の自乗和に対する寄与が大
a(
k)を精度良く再構成する.具体的にいうと,モデル選択
きい順番で並べ替えて,上式を次のように書き直す.
とパラメータ推定において,非常に有力な手法として広く使
われてきた直交化最小二乗法を用いて,出力層入力の自乗和
への寄与が大きい順番で,中間層ニューロンを採用していく.
直交化最小二乗法の実行において,出力層ニューロンの入力
に対する寄与が小さいニューロン,すなわちほかのニューロ
ンの線形結合で表現できるニューロン及び出力層との結合重
みが小さいニューロンは, 自然に後の方で選択される. した
がって,文献
1
1
)
,
1
4
)のように線形従属性判定のしきい値を
事前に設定する必要がなく,a(
k)またはネットワークの出
力 0(
k)を再構成するときの近似誤差を評価することによっ
て,設計者が要求する表現力を満たす最小限のニューロン数
を簡単に決められるので,本手法は極めて柔軟性に富むと思
d =PIco
-l
c
l
,
C
2
,
･.
･
,
C
nh+1
]
T
p'- l
pl
,P'
,,･･･,P'
nh+1]
p
;
.
-l
p;
.
(
1
)
,
p
i
･
(
2
)
,･･･,
p
i
･
(
N)
]
T
(
i-1,
2,
･
･
･
,
nh+1)
co
ニューラルネットワークの中間層ニューロン
数の削減法
1,･
･
･,
nh+1
)を直交基底ベクトル rJ
･
(
3
'- 1
,
･
･
･,
nh+1
)に
変換している.ここで,P′は次のように分解される.
P'=R Ao
(
8)
ただし,
α12
α13
･･･ α1
(
nh+1
)
1
α23
α2
(
nh
+1
)
0
A
｡
-00
OJ
･-
Gr
a
mSc
hmi
dtの直交化に基づいた直交化最小二乗法は,
.
Rは N x(
nh+1
)行列で､その列ベクトル
して,近年注目されている. この手法が最低限の複雑さを持
r,
.- l
r
,
･
(
1)
,
r
j(
2)
,･.･,
r
,
･
(
N)
]
T
(
i-1,2,･･
･
,
nh+1)
つモデルを構築しながら,非線形システムを精度よく同定で
認されている 16),17). ラジアル基底関数ネットワークの基底
関数の選定においても,良好な結果が得られたことが示され
(
9)
･ 1 αnh(
nh+1
)
0
0 1
モデル選択とパラメータ推定において,非常に有力な手法と
きることはシミュレーションおよび実システムへの応用で確
(
7)
'直交化最小二乗法は,回帰行列 P'の列ベクトル p
;
･(
j-
1
われる.
3.
-
(
1
0)
は互いに直交である.
(
ll)
RTR = B
ている 18).本研究は,直交化最小二乗法によるシグモイドタ
ただし,B は (
nh+1
)×(
nh+1
)対角行列で､対角要素 b
j
イプの階層型ニューラルネットワークの中間層ニューロン数
は次のようである｡
b
J
･-rJ
TrJ
･
の削減法を提案する.
〟
-∑
r
,
･
(
k)r
,
･
(
k)
k
=
1
3)式を次のように書き直す.
まず, (
a(
k)-zT(
k)w
o
zT(
k)-【
hl
(
k)
,
h,
(
k)
,
- ,hnh+1(
k)
]
w o -
(
i-1,
2,･･･,
nh+1
)
(
5)
:
h
.
1
]
T
[
W ;,wg,･･･,W
以上より, (
7
)式は次のように書ける.
d -R go
ここで ,出力層ニューロンのバイアス b
o は,出力が常に
hnh+1(
k)- 1 という nh+1番目の仮想中間層ニューロン
と出力ニューロンとの結合重みと見なされている.すなわち,
W:
A+1 - b
o･
本研究では,バイアスは削除の対象とならな
(12)
(
13)
ただし,
-loco
90
-[
91
,
92,
･･
･
,
gnh
+1
]
T
(
1
4)
いとする. さらに,(
5)式を k- 1,- ,N に対して,次式の
は直交変換後の新しいパラメータベクトルであり,その推定
ようにまとめる.
値盲｡は次式で与えられる.
計測自動制御学会論文集
ノ
ヽ
90 - B-1RTd
第 33巻
(
1
5)
第 3号
BL9
1997年 3月
ただし, (
21
)式より
nh+1
すなわち,
∑rj(k)
e
(
k
)-
S
j-r
r
,
f
Tr
J (
i-1
,
2
,
･
･
･
,
nh+1
)
ns+1
-d(
k
)- ∑r
,
.
(
k
)9j
d
基底ベクトル
r3
･は互いに直交であるので,い
g
j
j
- nL
.+2
(
1
6)
くつかの項を
削除したり,新たな項を加えたりしても,すでに計算された
ト∑p
i
･
(
k
)cj
j
1
-d
(
k
盲｡のほかの要素に影響を与えない. また,各基底ベクトル
による d(
k)の自乗和への寄与の計算が可能となる. これら
の性質は,ネットワークの構造決定において,非常に重要で
ある. ここで, nS 個の中間層ニューロンだけを採用した場
(
23)
j-1
ns+1
(
21
)式の右辺の第 1項は採用されたベクトル r
jによる d(
k)
の自乗和への寄与の総合を表わす部分であり,第 2項は中間
+1個の項だけを残し
(
良
)を再構成する場合の自乗誤
層ニューロンの削除による d
て , ほかの項を削除した場合を考える.採用された中間層
差である･したがって,93r,
Trj はベクトル rj を取り入れる
ニューロンの出力層との結合重みベクトル Cの推定値は次の
k)の自乗和の増加分を意味する.そこで,ベク
ことによる d(
関係で簡単に求められる.
トル rJ
･の導入による誤差減少率 (
e
r
r
orr
e
duc
t
i
onr
at
i
o)を
令 ,すなわち,バイアス項を含む
ns
E
:
i
Z
I
A3-9
(
17)
g
j2rJ
TrJ
･
l
e
r
r
]
j
(
24)
drd
と定義する. これより,マトリクス P の列ベクトルの内で ,
ただし,
-【a ,i,,･･･
,
gnB
+1
]
T
盲-【31,読 ,- ,
Sns+1】
T
【
e
r
r
】
jを最も大きくするベクトルを逐次選んで,直交変換を
盲
(
1
8)
e
df
or
war
dr
e
gr
e
s
s
i
onアルゴリズムを用
行っていくという Fe
いて,必要最小限の中間層ニューロンで
d
(
k
)を再構成すれ
ばよい.具体的アルゴリズムは次のようである.
1 α1
2 α1
3 -･ α1(ns+1)
A=
0
1
0
0
α2
3 ･
･
･ α2(n.
,
+1)
●
●
･
0 -･
ステップ A
バイアスによる nh+1番目の仮想中間層ニューロンは削
(
1
9)
除されないので,一番最初に採用される.
'
･ 1 αns(nB+1)
0 0 1
rl =
Pnh+1
rTd
なお, P'は Gr
amSc
hmi
dt法によって､次のように直交化
される.
912rTrl
e
lr
r
]
l
i
l
)
rl
ただし,i
l-
αi
d
rj
(
25)
rTr1
dTd
nh
+1.
ステップ B
rl
Tri
∑
a
pi
･-
i
i
,
･
ri
l
三 i
i` j' ト
(
3
'
-2,･･･,nh+1)
中間層ニューロンの出力ベクトル piから r
e
r
r
j
jを最大に
r
J
･とパラメータ
,
･
･
･
,
ns+1
(
nS ≦nh)
,
推定値 ijを計算する.ただし,i-2
するベクトルを逐次に選び,直交ベクトル
20)
1≦i≦ nh,
i≠ i
l,･･
･,iJ
･
-1
.ここで,il,
-
実際に,列ベクトルに関する直交変換を行う場合 , (
8)式
のような大きいサイズのマトリクスに関する計算を直接行う
必要がなく,ニューロンの出力マトリクス P の nh+1個の
選ばれた piの番号である.
まず j番目に採用されるベクトルの各候補を取り入れた場
合の誤差減少率を計算する.
列ベクトルから,a(
k)の自乗和に対する寄与がもっとも大き
いものを選び,直交変換を行いながら,マトリクス P'と R
の列ベクトルを順次構築していくことが可能である 16)-18).
(
7)または (
1
3)式において,ns+1個の項だけを残して,
k)の自乗和は
ほかの項を削除した場合,d(
,i
J
･
-1 はすでに
αa
)
,
1
≦ <j
)
r
荒
r
m(
rtpi
m
i
-1
r
5
･
i
)-pi-m
∑
(
堤r=1
ns+1
dt
d-
∑
9
,
?
r
,
T
r
j
+ETE
3
'
1
(
21)
となる･ここで,E は d(
k)を再構成するときの近似誤差ベ
クトルである.
E - l(1),
e
e
(
2 ),
･･
･
,
e
(
N)
]
T
(
22)
舅J
:
t
L
:-
l
e
r
r
]
5
i
)-
(
r
l
･
i
'
)T
r,
'
･
i
'
(
g
P
5
･
'
)
)2 (r i T rj
･
i
'
d
T
d
(
1≦i≦ nh,
i≠ i
l,-
,i
jll)
T.
SI
CE Vbl
.
33 No.
3 Ma
r
c
h 1
9
9
7
BBC
次に,誤差減少率を最大にする列ベクトル (3
'番目に採用さ
で β を決めることができる.また,β の値は並べ替えられた
れた中間層ニューロン)の番号 i
jを見つける.すなわち
ニューロンを第何個までとればよいかとの結論だけに影響を
r
r
]
5
･
i
j)- m xtt
er
r
1
5
･,1≦i≦nh,i≠ il
,
･
-,i,
･
-1)
l
e
a
i
)
与えるので,労力のいる試行錯誤的やり直しは必要としない.
したがって,本手法は実用上非常に柔軟性に富むと思われる.
を見つける. この場合,rj は次のようになる.
rj - rJ
(
･
i
j)
-pi,･-
i
l
l
∑
α
m
=
1
実用上,このように d
(
k
)の近似誤差を評価すれば,必要最
小限のニューロンの選定は効率よくできるが,中間層ニュー
(
27)
m,
･
rm
ロン数の削減はネットワークの近似精度にどれほど影響を与
えるのかを調べたい場合,再構成した出力層ニューロンの入
力
ただし,
S
3
i
･
) (m - 1,･･･,i)
(
2
8)
･mj - α
なお･パラメータ推定値は i,
･- 3,
(
i
'
'
) として求まる･また`
･
亡
:
i
:
ヨ
d
(
k
)を用いて,(
4)式より縮約されたネットワークの出力
を計算することができる.すなわち,ネットワークの出力誤
差で評価することによって,ニューロンを何個まで採用すれ
ばよいのかを決めることもできる.
本手法では,削減直後のネットワークの学習誤差は多少大
j番目に選択されたニューロンの出力ベクトルは pi
･- pi,
.
として得られる.(
2
6)
∼(
2
8)式の計算は,d
(
k
)を再構成する
きくなるので, さらに学習を行った方が無難である. しかし,
場合の相対自乗誤差がしきい値 β より小さくなり,すなわち
縮約されたネットワークの結合重みをそのまま初期値とすれ
ns+
1-
ば,さらなる学習が必要とする学習回数はそれほど多くない.
1
∑ 【err1
3
'
-1
5i3
'
'
<p
(
29)
が成立するまで,i-2
,
･
･
･
,
ns+1に対して,繰り返される.
この場合,nS 個の中間層ニューロンが採用され,ほかの冗
以上の議論より,提案した手法の全体のアルゴリズムは次
のようである.
ステップ 1
十分大きな中間層ニューロン数,結合重みなどの初期設定
長と思われるニューロンは切り捨てられる.
を行ってから,収束条件または最大学習回数を満たすまでバッ
ステップ C
クプロパゲ-ションや,ニュートン法などの学習別でネット
選択された中間層ニューロンの出力層ニューロンとの結合
重み及び出力層ニューロンのバイアスを (
1
7)式に基づいて計
算し直す.
ワークの学習を行う.
ステップ 2
直交化最小二乗法を用いて,必要最小限の中間層ニューロ
(
2
6)
∼(
28)式の繰り返し計算は,各繰り返しのステップで,
まだ選ばれていないニューロンの候補の中から,d
(
k
)の自
ンを選定する.ニューロン数の削減が必要でない場合,終了
ステップ 3へ進む.
する.ニューロン数の削減があった場合,ステ
乗和に対する寄与を最大にするものを選び出し,すでに選
∫
p
l
,
･
-,
P
j
1によって
縮約されたネットワークの結合重みをそのまま初期値とし
張られる空間の次元を j-1から jへ拡張している.ゆえ
て,収束条件または最大学習回数を満たすまでネットワーク
に,ほかのニューロンとの線形従属性が強いニューロンま
の学習をさらに行ってから終了する.
択されたニューロンの出力ベクトル
たは出力層との結合重みが小さいニューロンは,貢献度が
提案する手法の実行に当たって,ネットワークの学習アル
小さいので,後の方で選択される.特に,(
2
6)式において,
ゴリズムが局所的最適解に陥る場合や,初期設定の中間層
(
r
5
･
i
'
ニューロン数が非常に多く,過学習の効果が非常に大きい場
)T r5
･
i
'記 0 となる場合,p湖すでに選択されたユニー
ロンの出力ベクトル p'
1
,
･
･
･
,
P
;
･
_1 の線形結合でほぼ完全に
合,1回の学習と削減だけでは十分でなく,上記のアルゴリ
(
k
)の自乗和に対する寄与などを調べなく
表現できるので,a
ズムを 2- 3回繰り返して実行した方が無難である.
ても,すぐ削除すればよい. したがって,直交化最小二乗法
は,冗長な中間層ニューロン数の削減において,非常に簡便
でしかも有力な手法であると思われる.
4. シミュレーション結果
4.1 関数近似間毘
必要なニューロン個数を決めるしきい値 β を適切に決め
提案したアルゴリズムの有効性を示すために, まず,次の
連続関数の近似問題を考える.
になるが,β が大きすぎると, より多くのニューロンを削除
してしまい, ネットワークの表現能力を損なう恐れがある.
著者の経験では,β の値が 0
.
0
01- 0.
01前後 ,すなわち,
a
(
k
)を再構成する時の相対自乗誤差が 0.
1
-
l
g(
x)-0.
5+0.
2t
anh(
l
ox-2)
2t
anh(
20x-1
2) (
30)
-0.
3t
a
nh(
1
5
x-6)+0.
-0･
2t
a
nh(
5x-4)
1
% 前後であれ
1
)
,
1
4)では,冗長性を判定するしき
ば,無難である.文献 1
い値は事前に決めなければならないので,試行錯誤的にやり
直すとき,最初から計算し直さなければならない.一万,本
手法では,各ニューロンをその重要度に応じて並べ替えた後
Tabl
e1 De
t
e
r
mi
ne
dnumbe
rofhi
dde
nne
ur
ons
Ⅰ
ni
t
i
al
30 2
0 1
0 8 6 5 4 3
B
BB
T.
SI
CE Vol
.
33 No.
3 Mar
c
h 1
997
ai
ni
nge
r
r
oro
ft
hene
ur
a
lne
t
wor
k･
Tabl
e5 Tr
Pr
e
l
i
mi
n
.
a
r
yt
r
a
i
n
i
ng
A氏e
rp
r
unl
ng
21
.
1
×1
02 1.
1×1
0
24
.
2
×1
0
2
11
.
1
×1
01
-
1
.
0×1
0
-2 9.
9×1
0
3 1.
0×1
0-2 1
.
0×1
0
-2 1.
0×1
0-2 1.
0×1
02
.
4×1
01 2.
0×1
0-1 6.
0×1
0
-1 5.
0×1
0-2 1.
2×1
0-
4
.
8×1
0-1
Tabl
e4 De
t
e
r
mi
ne
dnumbe
ro
fhi
dde
nne
ur
ons
Ⅰ
ni
t
i
al
た, ネットワークの汎化誤差を e
g- ∑三
o
i2
[
0(
k)-y(
k)
]
2
と定義し,その計算結果を Tabl
e6に示した.Tabl
e6より,
30 2
0 1
0 9 8 7 6 5 4
中間層ニューロン数の初期設定値が大きい場合,ネットワー
ク汎化誤差も大きいが,削減を行った後,汎化誤差も大幅に
4.
duc
e
d 1
0 8 8 7 5 5 5 5 4
Re
2 システム同定間違
減少したことが確認できる.すなわち,提案した手法によっ
ここで ,次式で表わされる非線形システムの同定を考え
てネットワークの汎化能力が向上したことがいえる.なお,
る 20).
y(
k)
+
y(
k+1
)i+y2(
k)
ネットワークの汎化能力をもっと厳密に論じるには,ネット
u3(
k)
(
31)
なければならないと思われる 21).
入力信号を次のように選んだ.
u(
k)-s
i
n(
誓 ).si
n(
筈 )
よく知られているように,一般にニューラルネットワーク
(
32)
出力の観測値に低レベルで,ゼロ平均の白色雑音 n(
k)を加
えた.
Z(
k)-y(
k)+n(
k)
(
33)
用意したニューラルネットワークは,2入力 (
u(
k)
,
y(
k)
)
1出力 (
y(
k+1))3層で,出力層ニューロンを線形関数と
した.ただし,実際に同定を行うとき,出力の真値 y(
k)
のかわりに観測値 Z(
k)を使った.同定に使われるデータは
k-1
,
- ,
1
01の範囲でサンプルした N
ワークのスリム化だけでなく,学習アルゴリズムにも工夫し
-100組のシス
テムの入出力データを使った.ただし,観測雑音の標準偏差
01とした .学習別は前の例題と同じく関数 t
r
ai
dm を
を 0.
000回, または学習誤差
使った.終了条件は最大学習回数 1
-∑ た0
12[
0(
k卜
y(
k)
]
2≦o･
01とした･中間層ニューロ
ン数の初期値を 4,
5,
6,
7,
8,
9,
1
0,
20,
3
0とし,それぞれに対
eL
して学習を行ってから,1回の削減を行った.ただし,必要
の学習において,重みの初期値によって,学習結果が異なる
ことがある.中間層ニューロン数の選定においても,重みの
初期値によっては,選定されたニューロン数が異なる (
大体
,
2個の差 ) ことがあるが,前述のように学習と削
の場合,1
減を 2∼ 3回繰り返したり, または重みの初期値を 2- 3
試したりすると,ほとんどの場合,必要最小限のニューロン
数が得られることを確認した.
5. 終わりに
本研究は, システム同定の分野で,モデル選択とパラメー
タ推定において,非常に有力な手法として,広く使われる直
交化最小二乗法による階層型ニューラルネットワークの中間
層ニューロン数の削減法を提案した.提案した手法は,ネッ
トワークの学習を一度行った後 ,直交化最小二乗法を用い
て,出力層ニューロンの入力の自乗和への寄与が大きい順番
で,中間層ニューロンを採用して行き,出力層ニューロンの
なニューロン個数を決めるしきい値を p- 0.
001とした.結
入力を再構成する.ほかのニューロンの線形結合で表現でき
果を Tabl
es4,5に示した.Tabl
e4の結果から,中間層
るニューロンまたは出力層との結合重みが小さいニューロン
ニューロン数の初期値を 5
,
6,
7,
8とした場合,いずれも適切
は選ばれないので,設計者が要求する表現力を満たす最小限
な中間層ニューロン数 5個という結果を得た.中間層ニュー
,
1
0,
2
0,
30 とした場合,1回の削減だけ
ロン数の初期値を 9
では十分でなかったが,中間層ニューロン数の初期値をそれ
のニューロン数を簡単に決められる.提案した手法の有効性
はシミュレーションを通して示した.本論文は,簡単のため,
多入力 1出力のネットワークについて検討したが,提案され
ぞれ 7
,
8,
8,
1
0 と設定し直してもう 1回学習してから削減す
たアルゴリズムを拡張すれば,多入出力のネットワークの場
れば,最終的に中間層ニューロン数 5個という結果が得られ
合にも対応できる 16).
ることがわかる.Tabl
e5に示されているネットワークの学
習誤差からも,適切な中間層ニューロン数は 5個であること
が確認できる.
ネットワークの近似能力を維持しながら,中間層ニューロン
数を削減してネットワークのスリム化を実現することで,オー
バーフィッティングの防止や汎化能力の向上といったことが期
l
l
待できる･この効果を示すため,新たな入力として,ト 1,
の範囲で一様分布する乱数を (
31
)式のシステムのモデル,削
減前のネットワークおよび削減後のネットワークにそれぞれ
k)とその推定値 0(
k)を計算した.ま
入力し,出力の真値 y(
参
考
文
献
1)D.氏.Hus
ha
ndB.G.Hor
ne:Pr
ogr
e
s
si
ns
upe
r
vi
s
e
dne
ur
a
lne
t
wor
ks
,I
EEE Si
gnalPr
oc
e
s
s
i
ngMa
ga
z
i
ne,
618/39
(
1
99
3)
2)K.
∫.
Hunt
,
D.Sbar
bar
o,
R.
Zbi
ko
ws
kia
ndP.
∫.
Ga
wt
hr
o
p:
Ne
ur
alne
t
wor
ksf
orc
ont
r
ols
ys
t
e
ms
-as
ur
ve
y,
Aut
o
ma
t
i
c
a,
286,1
083/111
2(
1
992)
･
3)阿部重夫 :ニューラルネットとファジイシステム [
理論と応用1
,
近代科学社 (
1
995)
4)馬場,小島,小滞 :ニューラルネットの基礎と応用,共立出版
(
1
994)
1
995)
5)西川,北村 :ニューラルネットと計測制御,朝倉書店 (
計測自動制御学会論文集
第3
3巻
第 3号
EBI
1
997年 3月
Tabl
e2 T
r ai
ni
nge
r
r
oro
ft
hene
ur
alne
t
wor
k.
n
g4.
5
×1
0
-4 4
.
8
×
1
0
44
.
8
×
1
0
44
.
2×
1
0
44.
8×1
044
.
9×
1
0
45
.
0×1041
.
4×10-2
Pr
el
i
mi
na
Ⅳt
r
a
i
nl
A氏er
p
r
u
n
l
ng
1
.
6×1
021
.
2×1
0-23
.
6x103
.2.
3
×1
0
21
.
3×1
024
.
2×1
0
3
Tbbl
e3 Epoc
hsoft
r
ai
nl
ng･
習と削減を 2
-
-
-
3回繰り返せば,すなわち,中間層ニューロ
ン数を 5と設定してもう一皮学習してから削減すれば,適切
Pr
e
l
i
mi
nar
yt
r
ai
ni
ng 33 46 71 71 74 1
43 821 1
000
な中間層ニューロン数 4個という結果が得られるのは明らか
0個のニューロンから一気に 5個まで削減できた
である. 3
ことは提案した手法が非常に強力であることを反映している.
本手法は,中間層ニューロンの出力ベクトルの直交基底ベク
トルによって張られる部分空間の次元数に基づいて,中間層
ニューロンの数を決めている. しかし, この部分空間の次元
数を数えるとき, どうしても人間の主観的 (あいまいな)判
断に頼らざるを得ない.本論文は,(
29)式のように相対誤差
のしきい値 β を使って判断している.前述のように,必要な
ニューロン個数を決めるしきい値 β を適切に決めることも
重要である.βが小さすぎると,冗長性を許すことになるが,
βが大きすぎると,より多くのニューロンを削除してしまい,
ネットワークの表現能力を損なう恐れがある.一般に初期設
0.
4 X 0.
6
8
0.
1
定の中間層ニューロン数が非常に大きい場合, もっと複雑な
曲線を近似することができ,過学習の効果も非常に大きいと
x)
･
Fi
g.2 Tr
ai
ni
ngdat
aofg(
予想されるので,中間層ニューロンの出力が張る部分空間の
次元数も多少 (あいまいであるが )大きくなる傾向がある.
教師データは Fi
g･
2に示されるような,x∈【
0,
1
]の範囲
-0.
0
2でサンプルした N =51組の関数の入
内,刻み S
x
l
abのニューラルネット
出力データを使った.学習別は Mat
ワークツールボックス 19)にある t
r
ai
nl
m という関数を使っ
gMar
quar
dtと呼ばれる Newt
on法の近似を
た.Levenber
使用することによって,勾配降下に基づくバックプロパゲション法より収束がはるかに速いことが関数 t
r
ai
nl
m を使
う主な理由である.中間層ニューロン数の削減という目的
では,Newt
on法とバックプロパゲ-ション法はほぼ同じ結
果を出すことをすでに確認している.t
r
ai
nl
m の使用に当
0
0
0回, または学習誤差
たって,終了条件は最大学習回数 1
∑5
k
- l
=1
【
0(
k)-9(
k)
]
2≦o
･
0
0
0
5とした･また,ほかの
パラメータはすべてデフォルト値を使った.用意した 3層ネッ
el
トワークの出力層ニューロンをシグモイド関数と選んだ.中
間層ニューロン数の初期値を 3
,
4,
5,
6,
8,
1
0,
2
0,
3
0とし,そ
れぞれに対して学習を行ってから,1回の削減を行った.ただ
し,必要なニューロン個数を決めるしきい値を p- 0
.
01と
した.ニューロン数の判定結果を Tabl
elに示した.Tabl
e
5,6,8,
1
0
lの結果から,中間層ニューロン数の初期値を 4,
とした場合,いずれも適切な中間層ニューロン数 4個という
結果を得た. しかし,中間層ニューロン数の初期値を 2
0と
3
0とした場合 ,中間層ニューロン数は 5個であるという結
果になった.前述のように,中間層ニューロン数の初期設定
値が非常に大きい場合,1回の削減だけでは十分でなく,学
したがって,初期設定の中間層ニューロン数が非常に大きい
場合, しきい値 βを大きめに,初期設定の中間層ニューロン
数がそれほど大きくない場合, しきい値 βを小さめにした方
がよいが, このように具体的値を設定することは面倒で難し
い. したがって,削除するのを多少保守的にして,pを小さ
めに設定し, 2-3回にわたって学習と削除を行った方が賢
明である.
削減直前,削減直後,および削減した後さらに学習を行っ
た場合のネットワークの誤差を Tabl
e 2に示した.中間層
,
5
,
6,
8,
1
0,
2
0,
3
0とした場合,学
ニューロン数の初期値を 4
習誤差はいずれも収束条件
e` ≦
0.
0
0
05を満足している.
ニューロン数を削減した後では,誤差は多少上昇しているが,
縮約されたネットワークの結合重みをそのまま初期値として,
さらにネットワークの学習を行うと,学習誤差はまた収束条
件
eJ≦
0.
0
0
0
5を満足しており,提案した手法は必要最小限
のニューロン数を正確に判定していることが分かる.
る.一方 ,
中間層ニューロン数 3個の場合では,学習誤差が収束条件を
満足していないので,ニューロン数が不充分であることが分
e 3に示し
削減前と削減後の必要とした学習回数を Tbbl
た.削減後のさらなる学習は縮約されたネットワークの結合
重みをそのまま初期値としているので,必要とした学習回数
は削減前の学習の回数より少ないことが確認できる.
計測自動制御学会論文集
第 33巻
第 3号
BBB
1
997年 3月
Tabl
e6 Ge
ne
r
li
a
2
;
at
i
o
ne
r
r
oroft
hene
ur
l ne
a
t
wor
k.
Pr
e
l
i
ml
na
r
yne
t
W
一
一
■
Or
k 4.
5×1
0-1 3.
8×1
0-2 i
.
1x1
0-2 2.
1×1
0-2 5.
0×1
0-2 3.
1×1
0-2 1
.
1×10- 2
6)K.F
bna
ha
8
hi
:Ont
hea
ppr
o
xi
ma
t
er
e
a
l
i
2
;
a
.
t
i
onofc
ont
i
n●
ur
a
lNe
t
wor
kS,23,
uouSma
ppl
ng
Sbyne
ur
a
lne
t
wor
kS,Ne
1
83/1
92(
1
989)
7)K.Hom
i k,M.St
i
nc
hc
ombea
n d H.Whi
t
e:Mul
t
i
l
a
ye
r
,
Ne
uFe
e
df
or
wa
.
r
dNe
t
wor
ksa
.
r
eUni
ve
r
s
a
lAppr
o
xi
mat
or
s
l Ne
a
t
wo
r
k
s
,25,
359/3
66(
1
989)
r
8)石川真澄 :ネットワーク学習アルゴリズムの最近の話題 ,計測
と制御,304,285/290(
1
991
)
9)栗田多喜夫 :情報量基準による 3層ニューラルネットワーク
の隠れ層のユニット数の決定法 ,電子情報通停学会論文誌 ,
JT3DI
I
ll
,1
872/1
87
8(
1
990)
1
0)喜多- :ニューラルネットの汎化能力,システム/制御/情報 ,
361
0,625/
6
33(
1
992)
ll)増田,藤井,池谷 ,相部 :隠れユニットの合成による階層型
ニューラルネットワークのコンパクト構造化 ,計測自動制御
学会論文集,284,51
9/527(
1
992)
1
2)pS
i
c
ho
gi
o
SD.C.andL H.Ungar
:SVDne
t
:a
nal
gor
i
t
hm
t
ha
ta
ut
oma
t
i
c
a
l
l
ys
e
l
e
c
t
sne
t
wor
ks
t
r
uc
t
ur
e,I
EEETr
a
nS
.
53,51
3/515(
1
994)
onNe
ur
l Ne
a
t
wor
k,
1
3)鹿山,阿部,武長,諸岡 :多層ニューラルネットの最適中間層
Dll,1064/1
070
ニューロン数決定法,電気学会論文誌,112(
1
992)
1
4)村田,藤井,池田,平沢,相良 :冗長性判定に基づく階層型
ニューラルネットワークの構造決定法,計測自動制御学会論
文集,312,2
36/2
43(
1
995)
1
5)金指正和 :主成分分析を用いた階層型ニューラルネットの縮
約法,電気学会論文誌,115･
C9,105
9/1
065(
1995)
1
6)S.Che
n,S.A.
Bi
l
l
i
ng
Sa
ndM.∫.Xo
r
e
nbe
r
g:I
de
nt
i
丘c
a
t
i
on
o
fMI
MOnonl
i
ne
a
rs
ys
t
e
msus
l
ngaf
br
Ⅳar
dr
e
g
r
e
s
s
i
onor
or
,I
nt
e
r
na
t
i
o
na
lJ
our
na
lo
fCont
r
o
l
,
496,
t
ho
go
na
le
s
t
i
mat
21
57/
21
89(
1
989)
1
7)S.Che
n,S.A.Bi
l
l
i
ng
8a
.
ndW .Luo:Or
t
hogonall
e
as
t
S
qua
r
e
Sme
t
hodsandt
he
i
rappl
i
c
a
t
i
ont
ononl
i
ne
a
rs
ys
,505,
t
e
mi
de
nt
i
ic
f
a
t
i
o
n,I
nt
e
r
na
t
i
ona
lJ
our
na
lo
fCo
nt
r
ol
1
873/1
896(
1
989)
1
8)S.che
n,S.A.Bi
l
l
i
ngs
,C.F.N.Co
wa
n ,a
n dP.M.Gr
nt
a
:
Pr
ac
t
i
c
li
a
de
nt
i
Rc
at
i
onofNARMAX mode
l
sus
i
ngr
adi
a
l
,Internati
ona
.
IJ
our
nalofCont
r
ol
,52-6
ba
Bi
sf
unc
t
i
o
nS
1
327/1
35
0(
1
990)
mut
handM･Be
le
a
:Ne
ur
l Ne
a
t
wor
kTo
oI
Boxチ 1
9)H･De
1
996)
ザ -ズガイド,サイバネットシステム (
2
0)K.S.Na
r
e
ndr
aa
.
ndK.Pa
.
r
t
ha
s
ar
a
.
t
hy:I
de
nt
i
ic
f
at
i
ona
nd
c
ont
r
olo
fdyna
mi
c
als
ys
t
e
msuS
mgne
ur
alne
t
wor
ks
,
I
EEE
r ans
T
･onNe
ur
l Ne
a
t
wor
k,
11,
4/27(
1
990)
21)渡辺英治 :関数近似問題に対する階層型ニューラルネットワー
クの汎化能力改善学習法,電子情報通信学会論文誌 , J79D･
ⅠⅠ5,92
4/
931(
1
996)
3.
2× 10- 3
1.
2× 10- 1
日日日日日日日日川HHH日日川日日川1
日川日日l
川Hl
HHHHH日日川日日川MHM日日川HHHl
川‖川日日日日日日HMH
[
著
楊
者紹介]
子江 (
正会員)
1
992年 3月九州大学大学院工学研究科電気工
学専攻博士課程修了.同年 4月九州工業大学助
辛.
1
996年 4月同大学情報工学部助教授 ,現在に
至る.システム同定およびそれに関連する信号処
理,遺伝的アルゴリズム,ニューラルネットワー
ク, ウェーブレット解析,モーションコントロー
ルなどの研究に従事 (
工学博士 ).システム制御
情報学会,電子情報通信学会,電気学会,ロボッ
ト学会, 日本機械学会会月.

Download Report