Muroran-IT Academic Resources Archive
Title
Author(s)
Citation
Issue Date
URL
閉回路連想形記憶方式についての考察
熊谷, 幸雄
室蘭工業大学研究報告.理工編 Vol.8 No.3, pp.799-812, 1976
1976-01-30
http://hdl.handle.net/10258/3631
Rights
Type
Journal Article
See also Muroran-IT Academic Resources Archive Copyright Policy
Muroran Institute of Technology
閉回路連想形記憶方式についての考察
吉
良
谷
幸
雄本
Considerationsona Closed-Circuit-typedAssociativeMemory
YukioKumagai
A
b
s
t
r
a
c
t
“
A
s
s
o
c
i
旦t
r
o
n
"andi
t
'
sm
o
d
i
f
i
e
dm
o
d
e
l
sw
i
t
ha
s
s
o
c
i
a
t
i
v
ef
u
n
c
t
i
o
nh呂v
ebeenp
r
o
p
o
s
e
d
. Thea
b
i
l
i
t
yo
f
sn
o
tg
i
v
巴nw
i
t
hag
r
e
a
ts
a
t
i
s
f
a
c
t
i
o
n
. Somer
e
a
s
o
n
si
nr
e
g
a
r
dt
ot
h
i
s
a
s
s
o
c
i
a
t
i
o
ni
nt
h
e
s
em
o
d
e
l
s，howeven，i
p
o
i
n
tmightb
ep
o
i
n
t
e
do
u
t
(a) Thesem
o
d
e
l
sa
r
eao
p
e
n
.
c
i
r
c
u
i
t
.
t
y
p
e
dmodel
f
f
e
c
t
i
v
e
l
y
.
(b) Thesem
o
d
e
l
sd
o
n
'
tmakeu
s
eo
ft
h
eknowni
n
f
o
r
m
a
t
i
o
nc
o
n
t
a
i
n
e
dw
i
t
h
i
nt
h
ei
n
p
u
td
a
t
a，e
nt
h
i
sr
e
p
o
r
t，ac
1o
s
e
d
.
c
i
r
c
u
i
t
.
t
y
p
e
dmod
巴1
w
i
t
ha
s
s
o
c
i
a
t
i
v
ef
u
n
c
t
i
o
ni
sp
r
o
p
o
s
e
dt
omakeupf
o
rt
h
e
So，i
s
o
c
i
a
t
i
o
ni
nt
h
e
s
em
o
d
e
l
s，andsomet
h
e
o
r
e
t
i
c丘Ic
o
n
s
i
d
e
r
a
t
i
o
n
swiUb
ep
r
e
s
e
n
t
e
d
a
b
i
l
i
t
yo
f丘s
(概要)
連想、の機能をもっ記憶装置としてアソシアトロンならびにその変形モデルが提案されている。しかしながら，
考えられる
これらのモデルの連想能力は，それ程充分なものとはし、えなし、。この点に関して，いくつかの理由が J
と思うが，二三とり上げれば，次のようなものである。
(a) これらのモデルは，開回路方式のモデルである。
(b) これらのモデルは，入力テーターに含まれている既知の情報を，有効に，使用してはいない。
それ故，この小文では，連想、の機能をもっ記憶装置として，閉回路方式のモデルを提案し，これらのモデルで
の連想能力を改善する。そして，そのための理論的考察を行なうことにする。
1.はじめに
現在の電子計算機の情報処理ー能力の壁を克服するために，種々の試みがなされている。連想
の機能をもっ associativememoryもその一つである。ところで，この associat
Jvememoryに
)以前より行こなわれているのであるが，最近，中野(1)によって，アソシア
関する研究は，可成 1
トロンという連想記憶方式が提案され，上坂等 (2)によって，それの理論解析と変形モデルが提案
されたことにより，新しい立場にたつことができたように思われる
ロンも，その変形モデルも，
(3)，
(叫
(
5
L しかし，アソシト
上坂の解析の結果から知れるように，連想能力が可成リ良いもの
であるとは決していえない。その原因については，種々の事を指摘することができると思われ
るが，我々は，こ、で，次の二点のみを指摘し，この点を改良し，理論的解析を行こなってみ
ることにする。
*室蘭工業大学・電子工学科
(
2
6
7
)
8
0
0
熊谷幸雄
(
1
) アソシアトロンも，その変形モデルも，与えられた入力に対する出力応答を，そのま冶'
入力についての連想出力であるとする開回路の連想方式である。
(
2
) アソシアトロンも，その変形モデルも，与えられた入力の中の既知の部分のもつ情報を，
連想出力について有効に利用していない。
1
)の点についてであるが，我々は，繰り返し同じ連想を行こなう，つまり，出力を入力
まず (
側に帰還させ，同じ連想、を，何度か繰り返して連想し続ける閉回路の連想方式に改めることに
よって，逐次，連想能力を改善してゆくことができるのではないかという点である。
2
)について，入力の中の既知の部分の情報を，積極的にとり入れるために，出力側
そして， (
から入力側への帰還の際，既知の部分は，連想出力がどのような値になろうとも，常に，与え
られた既知の値で強制的に置換える手続きをとり，入力側に帰還させ，連想、を行こなわせるよ
うにしたなら，より有効な情報の使い方になるのではないかということである。
我々は，この手続きを，強制側と呼び，こ冶で提案する連想、モデルを，“強制側を有する閉回
路連想方式モデル"と呼ぶことにする。
2
.
アソシアトロンとその変形モデル
アソシアトロンの連想方式は，次のようなものである。記憶するパターンを
X1，X2，
・
・
XK (ただし Ki土奇数とする)としたとき，記憶形式は，つぎの M'を用いて， M = u (M') で
11
∞ x>0
日
ハ
U11
一
一
rEllldili--
u
x
x
x
kZ
M
一
一
+一
行こなう。
∞ x=0
=x<0
X
i
j
t{
土 11
0
ただし ，Xiニ (
X
i
l， X，
2
i …… ，Xin)t，
また，各 X
i
jは独立で、， X
i
j
二
れを
Xij-
(1)
1となる確率と ，Xij= -1になる確率は，それぞれ%とし，予
B(
Y
z
) と記す。
n行 nヲ
J
I
の行列 M の i行 jj
'
J
I
の要素を Mijと記すと， Kは奇数であるから， MijE l
:
f
:1Iで
ある。
読み出しに用いる入力ノ fターンを Y
二
のわについては，ある記憶パターン
既知の部分と呼ぶ)，
YS+lから
1
Y，
1
Y2，
…
・
・
・ ，Y
n
ltとし， Ylから Ys (S 三
五
Xkの S個の要素と等しい。すなわち
n) まで
Yj二 Xkj とし(これを
Ynまでの Yjについては， Yj二 0，若しくは，
1
土 1Iのランダ
ム
ノ fターンである。
読み出しの形式は，読み出されるパターンを Z とすると，
いま， Yニ
(Xkl
，
Z=
Xk2， …… ， XkS
，
0，……，
(
Z
l
' Z
2，…… ，Zs，Z8+h
z u (M.Y)で行こなわれる。
ニ
0)tを与えて
…… ，Zn)t を 1~子たとする。
(
2
6
8
)
8
0
1
閉回路連想形記憶方式についての考察
読み出し確率 P
r(Zh=Xkh) が
， 1に近い程，一般に連想能力が優れていると考
この時，
えることカぎで、きる。
3
.
本稿で提案する
いま，
閉回路連想方式の連想確率
強制則を有する閉凪路連想モデル
について，その連想、確率を導出する。
[回の繰り返しで読み出されたパターンを，
Z (門 一
(Z
r
)
.
(
r
)
.
••••••" Z
r). Z8+1(γ') ・
------， Z
~n
(吋)
¥
ZI
I(
"
'
，Z
Z2
2
'
'
'
，・
・
2/
'
'')t
8"'， 28+1"'，・
とすると，強制則によって ，ZI(r)から
z(T)s
までの
z(T)J
は，全て
Z
(
r
)j = Xkj
，Z(r)8+1から Z(r)n ま
では，そのま冶で([ 十 1)回目の繰り返しのための入力とされるから， ([ 十 1)回目の読み
(件
出しパターン Z
Z
(
件
1
)
(M・y
(吋)
・
-(
2
)
巧ペリ
…… ，Z(T)n)t
)
(
t
)
n
7
μ
T
(
+
s
+
'
l
}
ヲU
S
Xk2， …… ，XkS，Z(T)S+l
，
ー
{
+
T
1
ヲ
白
十
T
(
ワ
ん
2
1
+T
7u
，
(
(Xk1
，
1
1
+T
ー
7L
+
T
(
として，
y
(吋二
[=0， 1， 2，……に対して，
は
，
1)=U
・
-(
4
)
である。
こ冶で，
Y(O)=(xhI，xhh--…
・
，XkS，Z(O)8+1，……，
Z(O)n)tは，開回路としてのアソシアト
ロンの出力応答 Z(O) の強制則によるものとし以後，繰り返しのための初期値を設定するもの
とする。
つまり，入力 Y ニ
(Xkl
，
Xk2，…… ，Xk8，0
，…
・
・
・ ，O)t，若しくは，
Xk8' Y8+1
，
・
・
…
・ ，Yn)t(こ、でわ
(Z(O)l
，……，
Y=
(Xkh Xk2，…
…，
ε
l:
I
:11
のランダムパターン)に対する出力応答を，
2(0)s，Z(O)8+1，.
，
…
，
Z(O) 士
Z(O)n
)tとするとき，強制則によって Z(O) から Y(O) をつくり，
(
2
)の初期値とすることにする。
2
)
式色(1)式の約束のもとに書き換え，パターンの成分間になりたっている関係を導
きて， (
くと，次のようになる。
zrh
憎んω+会ルZ
Y
)
}
(5)
r
u
{
会
1M
川)
(6)
lu{主M~jXkj+会1MM)
(6
'
)
z
，IO
)
=
i
ただし，
Y =
きて，
s
(Xk1
，
<h 壬
n ，(
6
)
式
，
(
6
'
)式は，入力が，各々，
…… ，XkS，Y8+1，…… ，Yn)
Y = (Xkh
…… ，Xk8， 0…… 0) t，
i
E
{
:
t1
}のランダムパターン)の場合である。
(Y
(吋を
[回目の繰り返しでの読み出し確率 P
P
(
γ
)会 Pr (Z(T)h二
・
-(
7
)
Xkh)
(
2
6
9
)
8
0
2
熊谷幸雄
で定義したとき， (r+1)回目での読み出し確率 p(r+1) は
， (
5
)
式から次のように計算される。
υ
ハ
h
>
BBS J'
T
z，
F
m
、
、
、Z
+
h
u
n
…
M
十
。(U1+U2+
こ冶で
n
円
ヱx
Fh
M
，
f
'tEE
ι
n
九日
、
、
、
xh
十
一
一
rtιn
z
S2F
関数 uの性質から，
+Us十 U
J
L
)
l十 … +u
A
r
)
)>0
(8)
(j =1-s)
Uj=M~jXkjXkh
u
}吋 = M
んZY)Xkh (jニ s+l-n)
従って
P
r(
z
{ l
)
h=X
k
h
) =P r (U1 +U2 十 … … 十 Us 十 u
<
ア)S+1 十 … … +u(r)n> 0)
科
(j=1- s， i=1-K)
V
Z
Jニ X
i
j
X
i
h
X
k
j
X
k
h
いま，
(
9
)
Z
(
r
)
XX
i
h
Z
"
'
j
X
k
h
V(r);;
= X;;
lJ二二
;
jX;h
(j=s+l-n， i=l-K)
とすると ，X
i
j-B (
Y
z
) なら Vij - B (
括
)
， V
(吋 口 - B (
Y
z
) であることが確かめられる。
きて，
j= 1-S なる Ujについては， Vkj=lが確率 1で成立することから，
Pr(Uj=l)=Pr(l+~
Vij>0)
~-1)2(K-1\n. .I TT
¥
n
.(V
.
fTT _
l¥
K
l
ー(
1¥
K
_
1
(
!
f
.
:
11
)
/
2
(
K-1¥
(u ~.l )
P
r
(V
i
j一一 1
1
)
νlIP
r
)
K
l
-ν
l
I =
( ~)K-1~
(H~ J.).…一(1 0)
i
j一 l
ェ~
一 ~!
:
0¥ν/
レ
¥
2J
ν
:
0¥ν/
jヰ h なる Uj
'
)については
j=s+l~n ，
K
P
γ(uY)=1
)=Pr(xJ<jzY)+~ V~.?> 0)
i司"k
K
K
=Pr(XkjZY)ニ l)Pr(l+~ V~.r>> 0
)
+Pγ(
X
k
jzY)二一 1
)Pr
(-1+~
Z司f
;
:k
P
J
E
;
)
/
2
(
K
Jヤγ(V!J>二 一 円 川 何 )K
二
ーl
~3)/2(
+(l-P什))~O
K-1¥
ν )Pγ(V!
J
>二一 1
)
νP
r
(V!
J
>二1)K-1-1I
弓
，
ょ
1
が確率 1 で成立することから，
P
r
(Uj
，
'
)
=1
)=P
r(XkhZ
<
;
，
r
)=1
)=P
(の
S
<h 三
五
)ょ
r
)
(
+r-~
P(
j=hなる U
j
T
)については ，M~h=l
従って，
ν
(
二
~
v
ij
>>0)
i
弓'
k
(
1
2
)
nなる仕意の hについて，本稿のモテールの連想、確率が，次のように与え
られる。
(
2
7
0
)
8
0
3
閉回路連想形記憶方式についての考察
γ γ
(
会
lUj+UY)+玄P
Y)>)
0
Pr(z
，}r
+
l
)こ れ h)=P
<+l)=p
ゑ
+ ι十
主 町 )>0)
=Pr
(UA
r)
l)Pr(1
二
f
sh
+
ハ
υ
>
m
十
n25
γ
)
Z
F
守
(
ふ)
(
1
仏
S2F
h
n
gi
句
十
p
--
一
一
T
T
U
P
・
、
，
+
二戸
1
ー
ヤ
ユ-;-1)(1-p~r)) m'P~r) n-S-j-m
_p+)mp!
十 (1-p(r))~~"'-Z- -l(
nTu
~. )(1-p+)mp~-m( n-.~.-;-1 )(1-p~r))m' p~r)n-s-j-m'
¥m/'
¥
m
/
(
1
3
)
=P(宮室にじ )P!(l_P+)S ヤ?ヤ~r) k' (1-p~r)) 一一 l-k
+
(
仕1-P
(
付吋
γ
r
川
)暗 )
代 ア
n
一2一
、
，
r
主
吋
ここで，
p+=(~
p~r)=( ~
1
(
1
5
)
r
官
:
川(
K
~l)+p( r)(り)}
4
.
(
1
6
)
連想、確率の性質
)式
， (
14
) 式は，本モデルが，同じ連想、を繰り返す毎に，逐次，その連想能力を変化さ
(
13
せて行くその様子を示している。
よってこれらの式についてその性質を調べへモデルのふるまいを明らかにする。
まず，
(
1
3
)若しくは(14
)式の右辺に入っている p
(吋を変数 Pでおきかえ， (
1
3
)， (14
)式
を，次のように表現する。
h
(ρ)ニ α(ρJρ+β(ρ *)q
h
(ρ)=α ，
(
ρ
*
)
ρ
+
β，
ρ
(*)q
ただし，
(
(
1
3
) 式について)
(17)
(
(1
4
) 式について)
(
18
)
ム
=
(
げ
)
医:
)
/
2
(K~ )
1+ρ(む)}
*以下では S主旦す1
として考察することにするが，この仮定は，別に本質的なことではなし
の表現が多少の変行をうけるだけである。
(
2
7
1
)
(
19)
s<号L の考合は，式
8
0
4
熊谷幸雄
山)ニ野市)(1ーム)引m
.
(た
)
(
け*)rrtpf，-m
(
2
0
)
β凶ニ器ご-1(~)(1 _ρ+) 引一切~ )
(
1
ム
)m
p
*N
(
2
1
)
m
，-
Ns= n-s-1
(
2
2
)
皇
室
二(
k
)
ρι
(23)
イ(p*)=
=
8
2
二
(
k
)
ρ!(1μ -k (~s)バ
β凶
く性質 1>
，
(
2
4
)
ρ
=
jのとき ，h(ρ
) >jである。
叶
まず，
く証明〉
(1 川 k
ρ
=
jのときム =jであることを示す。
f
K¥
f
K-1¥
(u
-1
1.
)-(
IT~ -;)であるこ
~1
2K-l=2~
ν'K-l¥
v J ¥K-1J
2
2
ハ 1fK-斗
p/11kl((ι 川 K
*-¥2) 1
;
三o¥ ν/ 2
¥互二1)f
↑
2
=
(1
r- [主-(K~1)+1{宅:;_ (
l
K~ )
1_
2 1
}
]
1
K
-
2
2
一
一
一
-
11A
一
-rl--EL
EE'a''''
E1
K
っ
ω
K
/
，
，
I
一
、
、
、2
守EEEEEE J
一
一、、、，
K
2一
2
，，，，，
.
E
E
a
ν
ム
一
‘
、11
/11¥
K
reaEEEEEEEE﹄
叫
ヱ
ド
...，az''''
K
J''at、¥
I
2
‘
、一
一
一
よって，
山
L
=
(
i
)
ns
JZZJ(ふ )(1 ーか)mρ~- m
(会
)
β(ム )p二戸(ミ
r-s-~~玄与2- (
二
)
(
1
ー
か )mM-m(叫
}
山
、
¥
"
.
m /
1
I
m~o ， m' ~o
I
¥
従って，
仰
h(ω
引
州
ω
ρ)
p
ド一=
ω
劫
4
=ベ
(~φ~r-sτ1
紅託o (
い
写
v
γ
瓦
示s
つ
)言
孟o
m
(
仏
ρ
ふ
ρ
)
ト
(
1川
ρf m
これは，上坂が，ランダム入力に対するアソシアトロンの連想確率として導いた結果と一致
する。
(
2
7
2
)
8
0
5
関匝路連想形記憶方式についての考察
1
(
7
)式で，
p =泌とすることは， (
1
3
) 式 でp
'
O
)= PT (
z
(
O
)h = xu) ニ見として，その応答
zとは， z(OU，つまり
の 連 想 確 率 を 求 め る こ と を 意 味 す る が ，Pr(Z(O)hニ Xkh) = y
Yh (こ冶で
s <h 孟 n) をランタホムノ fターンに選ぶことと等価で、あるから， この結果は，上坂の結果と
一致をみねばならぬ性質のものであるのよって証明された。
く性質 2> ρ=1のとき ，h(ρ)ド 1<1である。
きん引
であることに注意すると，
h(ρ)円二五~~~，~10 (~)(~~)(1ーか)吋f1(料
二
計
二
。ν
(ヤ
)
(
引
(
1
ー
ム)νμ1ν
二
言
。
(
ぺ)
l(l_p+)Vρr14
これも，
上坂が，
(
2
6
)
s個の既知のデーターが入力として与えられた時の，既知の部分について
の連想確率として与えた結果，即ち，
2
i
l
?
て
三
s=nと し た 場 合 に 一 致 す る 。 し か し ， 我 々 の モ デ ル で Pニ 1とすることは， P
(
O
)
二
Pr(
z
(
O
¥=Xkh) =1として，その連想、確率を問題にすることになるが，明らかに，この場合は，
入力の全ての成分をデーターとして与え，その既知の部分の連想、確率を求めることになるから，
E坂の結果について， s= nとして一致をみねばならぬ性質のものである。
(
2
6
)式は，明らかに， 1より小さい。
〈性質 3>
h(p)は
，
pについて連続な関数である。
これは， h
(
p
)が pについての多項式であるから明らかなことである。
〈性質 4
>
h
(
p
)は
， pについて単調増加関数である。
つまり.任意の P
l，P
2
ε C
，
z
Y 1Jについて， P1 < P2ならば， h(P1) < h(P2)で、ある。
く証明〉
まず， α，(
P
.
)，β，(
P
.
)が
， P
.について単調増加関数であることを示す。
'(
P
.
)，β，(
P
.
) が不完全 B
et
a関数によって，次のように表現できることを利
それには ， a
用する (6)。
主
心 )ρ!ー
1
(ρ)S-k
α(P.)=
十
十
(
2
7
3
)
8
0
6
熊谷幸雄
28ート(~)ρ!(1 ρ+)s h
S
恒例バ1
(
ーム )
N
，
k
=
主
主(
1~ )
ρ
!(1-p+)S-k+
主人(けがはか)斗I
V
)
μ
(
1ーム )NS-k'}
=主(~)ρ!(l_p+)S-k 十
き~~~-1(1)ρ!(1-ρ+)吋S 会
(7
k
1
)
f
t
千 円 ( 1 -t
)
N 半切
(
27
)
β，
(
ρ
.
)についても同様に，
r
w
=
L
(
;
)
ρ
!
(
1
μ-k+
三
千(
1
れ
(む-MN 1
(ト f門
(1-P+)S-kN
s
k
d
t
ート
(28)
よって，任意の ρ
;
'
1
)<
ρ
;
'
2
)(<1
)について，
1
)
)
=主
l
J
V
(
1
4
)
S
%
(
苧jMJ}
干
α(外2)
)
一 α (外
k
d
t
.
(1-t
)尚 一 平 +
壬
) ÷+IW(1ρ
)
1
p
;
.
2
) β(品
β(
k-1
(29)
川
1
J
Z
Fh
(山川J
S
'
d
t
.
(
1-t)NS ヰ斗 k
(30)
(
2
)
(1)
(
2
9
)、(30)式の値は，いづれも正であり，従って， P
. < P. ならば，
p
_
<
2
)，
)
P
.(1)) <イ (
0
"(
(
2
)
2
)
) であることが，任意の (11，
β'(P.(l)) <β'(P.(
P
.
P
. についていえる。
従って，イ (
P
.
)，β'(P.)は，共に
P
.について単調増加関数である。
(1)
1]，P
l< P
2について， P. = P.(P)P~h
.
(
2
)である。
るとき， (
19) 式より，明らかに司 P
l< P
2なら P.(1) < p
きて，任意の P
Y
z
，
l，P
2E [
イ (
P
.
)， s
' (P.) の単調性，また，任意の P.に つ い て イ (P.)
p.(2)
ニ
P ， (P)P~P2 とす
(
2
3
)， (
2
4
)
>s' (P.) (
式よリ)であることから，いま，
，p
，p
.
(
2
)
) を満たす γ y
.
'
2
)
)，β，(
'につい
五 β (
0
" (
P
.(1)) < y 三 α (
P
.(l)) <γF 三
(
2
7
4
)
8
0
7
閉回路連想形記憶方式についての考察
て， y > y
'であるように ， y，y
'を選ぶものとする。
そのとき，任意の P
l，P
2EC見
，
1]， P
l< P
2について，次の式が，恒等的に成立する。
α，(
p
*
(
2
)
) P2一 α，(
p
*(1)) P
l >y (
P
2一 日 )
)
)q
l>y
' (q2- q
l)
β，(p/2)) q2β ，(p/1
…… (
3
1
)
.(
3
2
)
こ冶で， q
2=1-P
2， q
l=1- P
lである。
ところで， h
(
P
2
)- h
(
P
l
)= {
a'
(
p
*
(川P
2+
β
'
(
p
*
(
2
)
)
q
2f - {
α
'
(
P
*
(l))
P
l+β'(p*(l))
q
lf であるこ
)
つU
(
3
1
)， (
3
2
) 式の左辺の和であり，従って，
とに注意すると，これは， (
円ペリ
h
(
P
2
)- h
(
P
l
)>(y- Y
'
)
(
P
2 -Pl)
が成立する。
こ
3
0 <y-y
'< 1である。
や
て，，
y y
'の選び、方から，常に，
故に，任意の P
l，
P
2
EC
，
z
Y 1] について， Pl < P2ならば， h(Pl)< h(P2)であり， h(p)が
， P
について，単調増加関数であることが，証明された。
h
(
p
)は
， Pについて有界な上限をもち，任意の P
l，P
z
EC
弘
>
く性質 5
いて
1]，P
l< P
2につ
K 詮 3ならば h
(
P
2
)- h
(
P
l
)壬 λ
(
P
2- P
l
)を満たす定数 A， 0 < λ < 1が存在する。
3
1
)， (
3
2
)式
性 質 4の証明で使用したのと同じ記号を用いることとし，今度は， (
く証明〉
の左辺の上限を求めてみる。
(ρ~2))*O ，イ (ρ~l) )
宇 Oであるから，
まず， α，
ω
(
イ内
山
ρ
(
3
4
)
均
詰付
仇
}
1
)
削
β(
必
μ州
η
2
幻
引
)
リ
山
判
怜
)
の
q
河
陣
2 削
β(
バ
μ
昨
州
υ
勺
1)
ワ
)
川
仇
q1
ニ
寸
イ
グ
削
，(
ω
ρ
ば
μ
ぽ
灼
;
r
F
州
η
2
幻
吋
ベ
)
川
リ
バ
巾
か
)
ぺ
巾
か
q
{
い
い
φ
2
-
(
3
5
)
q
さて， (
3
4
)， (
3
5
)式について，
:
a
並
立1
1-
1
s
'
並
立i
β，
(ρ~2))
ρ
1 ， O'主
ρzρIρ2ρ1
-α '(p~2))
<
'
'
>1.
k
を満たすように， o
， O'を選ぶと，次式が，恒等的に成立する。
ρ2-44JM(1+S)(ρ2
ィωF))].IJ;;"¥ 1t
-0)
¥
P
2ーか)
-P
l
)， q
2
従って，
1
出叫 ω ( 1一 的 (q2-ql)
ß'(p~2))
正也立i
内~2) )ρz 一内~1))ρ1 豆内~2))~ 1+ょ一山L2))ρ1}(ρ2 ム)
J
(
3
6
)
1-'"
G
A
J
，
ミ'
zaEE
G
A
G
A
、盲目E'
hyLAY-AY
(
2
7
5
)
(*一位*一-
一
一D
ム
一
一
1
1
︽
、
，
1i
rEEE' ha.
AY
/与一
β
μ
q
︽Y
β
μ
汀 U1
AμA
D
μ
F一グ一﹁
lρ2ρ1
(37)
8
0
8
熊谷幸雄
故に， (
3正
)
， (
3
7
)式
， (
2
9
)， (
3
0
)式より，
h
(ρ2)-h
(ρ
1)
ニ α，
(ρ~2) )
ρ
z十 β，(品，2))q2 一 α'(ρ~1))ρ1 一 β ， (ρ ~1))q1
，s
i
包山
1
ß' (p~I))
中
(
ば))
h
+ ω
d
内
イ
(
ω
ω
ム
D
川
占
灼
り
万
ρμ(ωμ
州
d
η
lρ2ρ1 J
'lρ2 ρ
1
川
幻)ワ)
2
ム
y
話
f'J
' Y"'r'
一
J
J
'
i'
r
I 11
I，
(?i¥¥ ，
イ(
p
F
)
) イ(外1
)
)
)
ρ
1
+
(グ(外η-s
'
(ρ
Lサq
11
I
α
(
，
(ρ~2) )
一 β，
ρ
(
.
j
2
)
)
)十(
I
(
ρ
2一ρ
1
)
1 ρ 2
一ρ
1
J
I
二
l
.
(
5
1
)¥
nf
))α ，
r
( d2¥l
¥ ，，(
2
)
¥
¥，α
(，
ρ
(2
(
ρ
(
1
)
)
)1
l
( 内.
.
2
)
)-ß'( ば )~+ρ2-ρ~
J
(ρ2ρ1)
.
1
d(
_l(
¥j/* J
J
(38)
きて， (
2
2
)， (
2
4
)式より，
l
川 1 一川 1 二主ふもp!(1 ぃ s 大:~:__ k)p.
j
2
Y-k(1-p
F
l
)
N平時
(
3
9
)
一方， (
2
9
) 式より，
α(ば)) 寸 断 片 手
L
M
(
l
ρ
+
)V
s
(
J
1
1
1
)
勺
万
:
〉
ザ k-1(1-t)
(
4
0
)
的 平 切
平均値の第 2の定理を適用することにより， (
4
C
)式は更に次のように評価される。
1
)
)
4
E
L
(引
が
α(
，
品2))α ，
(
品
(l_p+)S-k
Ns(J:11)ρL2)
平 k
1( け げ 平 +k}(p
.
j
2)_p
.
j
1
)
)
(
4
1
)
3
8
) 式は， (
3
9
)， (
4
1
) により，次のように評価される。
故に， (
h
(ρ2)-h
(ρ
1)壬 l 三 ~(k ρ
)!
(
l-p+)S-k(S
斗 )p.
j
dT
'k
(1-p
.
j
2
)ト 平 +
k
引
1(UZLU)ρ!(1ーか )
S-k
N
s
(J
1
1己伊
旦
こで
N
s
(
」 L)ニ(ザ -h)(J斗
)
，
(
げ (日中川孟 3
である
-1
(
2
7
6
)
8
0
9
閉回路連想形記憶方式についての考察
とに注意し，
r n-1 n-11~ ， _，_ _ (Ns ¥.(2)皇子.!-k
2項分布の単調性から ， k s-τ一，ヲ~J のうちでい~'~_k)N~J
ε
I
n-1
(1-p~2)) 尚一平 +k の最大のものを与える一玄-=--k の値を，いま ，k* と記すと， (42)式は，
更に，次のように評価される.
(
4
2
)
の
右
辺
斗
(
f
.
s
)p~2)k' 仕
(
ト一 μ
1
2
幻叩)
十
C
塑
字
仏
刈
叫
(
ω
約
5
ヤ
ウ
仲
νρd
)p~2)
ぽ~2)k' 日リ山
ρAば昨州附附
p~2LrF灼
什
W
2幻η叩ν
小
ザ)ワ
ト
)NNト一h1τE
ι斗
芝
:
出(~ωi
L
訓
心沙併山伽
凶
μ
如
)Pμ
州f引州(札1 川
r一
寸
一 判S い
k
]]
(
(1-
8
S
司担(仕1叫+ 品川刈)(~8
約仰仲仲
肘肘い川
)PρばrF門)門叶(は
ぽ川川1
三
一
千(
k
)
ρ
!
(け
+
)
8
ば
ρr
灼
州
F
仰
)
川
)
戸
)
ワ
N
s
k
す(ρz ρ1)
(
4
3
)
而かるに，第 1種の E
u
l
e
r積分 (6)の性質から，
(凡十1) (~8 )p~2)k'(1_ p~2))N， -k 豆 (N8+ 1)(~8 )fo1tk
>
(
1-t)N
，
k
'
d
t• (
1
/叫)
2
)
(Ns
¥
r(k*(
+l)r(Ns-k*十 1
幻)
)
) .)(
ρ
L
r
F
2
=(Ns十 l
仕
1
/
必
k
*J
(Ns+2
リ
¥
r
円
幻)
(
4
4
)
さ8-~ (
k
)
が(
1ーか )
8
-k
く
さ
。(
k
)
が ( 1 川 九1
(
4
5
)
故に，
)・(1/外， )・~
(1
~:_， 主
2/
2
2)
--y-
(~)P!(l か )8-k 二 A とおけは ， K 誌について，
¥k/
刊 とl
K-1
¥
(
4
4
)， (
4
5
) 式より O<A<lであり，証明されたことになる。
=
ρ
(
0
)として，初期値をつくり，数列 {
ρ
(ア)}を
]なる任意の ρを ρ
く性質 6> ρ
ε[1/2，1
;
;
;
;3ならば
ρ(r+1)= h(ρ(r)) で生成させる。そのとき ， K
ρ
(勺 は ， 唯 一 の 極 限 値 i
J
l{
(
1
) 数y
fを有し，
(
2
) ρは， h(ρ
)
=
ρ の関係を満たす。
く証明〉
性質
5より ，K~ミ
3 ならば，
))が成立す
ρ
(
2
) ρ(1)=h(ρ(1))- h(ρ
(
0
))
ρ
(1
)
ー
が0
三
五
入(
v<uについて，
)
υ
1
(
0
川
的
)
…
.
口
.
.
…
.
い
.十 A (
ρ (A +
.
)ρ ρ
つ
1
V
(
川
的)
ρ
((1) ρ
(1-At刊
=
豆
五 A吋
る。これを繰り返して用いることにより，任意の
ρ
(
何
u
川)一
叫
であるから，
U
(
作
川
叫
)
<
壬
玉
U-1
V
(
川
a
u
c
h
y数列である。
J
{ρ(r)}は， c
0<入<1より，数亨I
(
27
7
)
8
1
0
熊谷幸雄
したがって，その極限値 l
i
mp(r)ニ jが存在する。
h
(ρ)の連続性より
p=limρ( l
)
=
l
i
mh(ρ付))=h(ρ
叫
ρ
次に，このような極限値が，唯一であることを証明するために ，p二 h( ，j
/二 h(戸
)，
ρ宇 ρ
Fと仮定すると。
Ip~- p
'
l=Ih(P~)- h(p')1 豆 Àlp~-p'l
より，
0豆(
1
-A)Ip~- P' I 壬 O
つまり， Ip~-p'l ご O
従って， d=ρrが証明された。
5
. 結 論
閉回路方式の連想記憶の連想確率色数式的に導き，その若干の性質について考察したが，
連想確率を，一般の確率変数 pの関数として， h(p)という形で表現するとき，この閉回路方式
(
O
)
で行こなわれる繰り返しの各段階に於ける連想確率は，開回路方式で与えられる連想確率， p
を初期値として， p
(山 )= h
(
p
(
r
)
)で生成される数列 j
p
(
O
)，p
(l)，……!として表現できる。このと
き，この数列 j
p
(
o
，l p(
1
)
， p
(
2
)，……… iが，単調増加の性質をもつこと， cauchy数列の性質を
もつことを知り得たことは重要である。前者は，連想、確率が，繰り返しの段階で，逐次，改善
(
O
)よりは，はるかに良い値である唯
されてゆくことを意味し，後者によって，それが，初期値 p
一の極限値令に，収束し，このシステムは，安定状態に入るからである。ところで，
どうして
この様な性質を誘導することができたのか，考えてみるに，これには，強制則を導入したこと
が，積極的意味をもっているように思われる。若し，強制則を導入せずに，単に，繰り返しの
みを許す閉回路方式にしたとすれば，このシステムは，次々と勝手な連想を繰り返し，この傾
向が増長され続けるであろう。しかし，強制則の導入によって，このシステムは，入力に関す
ることのみしか，連想、が許されないのである。
入力情報の既知の部分を，積極的に取り入れようとする意企のもとに，強制則を導入したの
であるが，このことが，結果的に，斯様な効果を与えているのではないかと考えられることは，
興味深し更に数理的な解析を行ってみる必要がある。
なお，アソシアトロンの記憶形式を， M ではなく M'を用いた場合*の連想、確率は，同じく強
制則をもっ閉回路方式にした場合，
P(r+l)二(~ y
n
l
l
叶f
)
5
3
f
(
(
n
γ
1
)
)
(ワ
*この万式は，
F
小_
p
(
p
(r)n-，
- -m
r))m
'
j)
反によって線形連危!万式と名付けられた。それに対して， M を片れ、るのを非線形連想方式と呼
ザ通、。
(
2
7
8
)
8
1
1
閉回路連想形記憶方式についての考察
間
+m';
豆nK-2K-l
n-S- 1-m
ーヲ
(n-l)(K-l
)¥
(n-sl¥{
l_p(r))m'
h
(
r
)
¥
m
'ρd
r
'~
+(1 _p(r))~~.
2 ー(
((n-l~Kl)
)(n-~~
，-l)
(1
(r)lト}
m
¥
;;;:"O:m'~o
/
¥ m
/
c
c
)
と計算され，繰り返しの各段階での改善の度合いは，本稿で考察した非線形方式より，可成 t
)，
優れた性質をもっているが，この点については，稿を改めて報告する。
謝 辞
本講座主任北村教授に感謝すると共に，数値計算・シミュレーション等の面で，積極的協力
を 惜 し ま な か っ た ( 現 ・ 東 芝 電 器 K.K) 山本博美君に深謝する。
(昭和 5
0年 5月 初 日 受 理 )
文 献
アソシアトロンとその応用 信学会インホーメーション理論研究会資料(19
6
9-0
9
)
(
2
) 上坂・尾関;連想形記憶の二三の性質 信学論 (D) (
19
7
2 -05).55 -D， 5，p
3
2
3
(
1
) 中野，
1
9
7
3 -08).56 -D， 8，p
4
8
1
(
3
) 村土・相原;連想形記憶についての一考察信学論 (D) (
巴n
;“C
o
r
r
e
l
a
t
i
o
nM
a
t
r
i
xMemory"IEEE，TransCompt，v
o
lC
2
1，(
1
9
7
2
0
4
)
(
4
) T.Kohen
(
5
)
AnAdaptiv
巴A
s
s
o
c
i
a
t
i
v
eMemory"，IEEE，T
r
a
n
s
.Compt，v
o
lC
2
3，(
19
7
4
0
4
)
(
6
) W.F
巴l
l
e
r“
;AnI
n
t
r
o
d
u
c
t
i
o
nP
r
o
b
a
b
i
l
i
t
yTheoryand]
t'
sA
p
p
l
i
c
a
t
i
o
n
s
"v
o
l1
，(
1
9
6
1
)
"“
付 録
本文 (
1
7
) 若しくは(18) 式で与えられる連想確率 h
(
p
)を
， P E C弘 1)について数値計算した例を示して
お し た だ し n=llと
し
， K 5， 1
1，2
5
，4
5と選ぴ，各々， sをパラメーターとして計算したものである。
h
(
p
)= pなる直線も，合わせ表示しておいたが，この直線と h
(
p
)との交点が，繰り返しの結果到達する極限の
二
連想確率を与えている。
1
.0
1
.0
h (p)
h (p)
n=11
K=5
s=9
0
.
5
0
.
5
0
.
6
，
0
.
7
0.8
0
.
9
0.5
0.5
1
.0
0.6
0
.
7
一
一
一
一
一
ーp
p
(
2
7
9
)
n=l
1
K=ll
ヲ
多
多F
0.8
0.8
0
.
9
1
.0
8
1
2
熊 谷 幸 雄
1
.0.
，
。
/
h (p)
0.6
0
.
7
一
一
一
一
一-
0.8
0.9
nz11 h ( P ) i
/
0
.
6
1
.0
0
.
7
ー
ー
一
ー
ー
ー
ー
.p
p
(
2
8
0
)
0.8
0.9
nzu
1
.0
© Copyright 2024 ExpyDoc
