Download (PDF file)

第７章２変数線形回帰モデル
・誤差項は無数の微少な誤差要因の和として表さ
れるので，中心極限定理が働き，誤差項は正規分
布に従うと仮定されることが多い。この正規性の
変数の表記
仮定は，推定を行うときには特に必要ではないが，
検定を行うときには不可欠。
・これまでは，確率変数を大文字で，実現値を小文
字で表してきたが，回帰（regression）では変数が
・誤差項が正規分布に従うとき，上の３つの仮定は，
多くなるので，これからはこの区別はしない。回
帰では，平均からの偏差形の変数を小文字で表す
u1 ; u2 ; :::; un ò N ID(0; õ2 )
ことが多い。
として表される。
（正規分布のときは，独立と無相
関が同値であることに注意。）
回帰
・以下では，誤差項は正規分布に従うと仮定する。
・ある変数で，他の変数の動きを説明（予測）でき
るとき，すなわち変数間に理論的な因果関係があ
るときに回帰分析が行われる。
E[ut ] = 0 の仮定の意味
・ut は微少な誤差の和であるので，正の誤差と負
・これに対して，相関係数は２つの変数間の直線関
係の強さを表す指標であり，２つの変数に因果関
の誤差が相殺されて，その平均はゼロになると考
えられる。
係があることを必ずしも想定するものではない。
・また，
２変数線形回帰モデル
E[Yt ] = E[ã+ åXt + ut ]
Yt = ã+ åXt + ut
2 = ã+ åXt + E[ut ]
Yt ：従属変数 (dependent variable) または被説明
変数 (regressand)
3 = ã+ åXt
から，E[ut ] = 0 のとき，Yt の期待値が Yt と Xt
Xt：独立変数 (independent variable) または説明
変数 (regressor)
の間の理論関係式（ã+ åXt ）に等しくなる。
ã：定数項 (constant term) または切片 (intercept)
å：勾配係数（slope coeécient)
線形回帰の考え方
・ã + åXt + ut は，Xt が与えられたとき Yt の
データを生成する構造である。
ut ：誤差項 (error term)
・ã と å をまとめて回帰係数 (regression coeé-
・E[Yt ] = ã+ åXt ，V (Yt ) = õ2 から
cient) という。
・Xt は非確率変数（確率変数であれば ut と独立）
Yt ò N (ã+ åXt ; õ2 )
であると仮定されるが，誤差項 (ut ) が確率変数で
あるので Yt は確率変数となる。
となり，母集団の平均が t とともに変動する（ã+
åXt ）正規母集団であると考えられる。
・Yt と Xt の理論的な関係式が Yt = ã+ åXt で
あっても，実際のデータには観測誤差などが含ま
・このとき，未知母数は ã; å; õ2 である。
・線形回帰モデルは，ã と å に関して線形（ã と
å の１次式）であればよく，変数に関しては非線
れるため，Yt は ã+ åXt 上には完全には乗らず，
Yt は ã + åXt の上下に散らばる。この，Yt と
ã+ åXt の差が誤差項として定式化される。
形でもよい。
誤差項に関する仮定
例１． log Yt = ã+ ålog Xt + ut において，Yt0 =
(1) E[ut ] = 0 （平均は 0)
log Yt ; Xt0 = log Xt とおけば，線形回帰モデル
Yt0 = ã+ åXt0 + ut として表され，線形回帰の理
(2) V (ut ) = õ2 （分散は一定で õ2 ）
(3) E[ut us ] = 0 (t 6= s) （ut と us は無相関）
論がそのまま適用できる。
・変数が対数で表されているとき（対数線形回帰
1
b をã
b で偏微分すると
として，L(b
ã; å)
bとå
モデル），Xt で微分すると
n
X
b
@L(b
ã; å)
b t )(Ä1)
=
2(Yt Ä ã
b Ä åX
@ã
b
t=1
d log Yt
d log Xt
=å
dXt
dXt
1 dYt
1
=å
Yt dXt
Xt
2
X
b
@L(b
ã; å)
b t )(ÄXt )
=
2(Yt Ä ã
b Ä åX
b
@å
t=1
b ã
b å
b = 0 とおくと，
@L(b
ã; å)=@
b = 0, @L(b
ã; å)=@
から，
å=
次の正規方程式が得られる。
dYt =Yt
dXt =Xt
n
n
X
X
b=
nb
ã+ (
Xt )å
Yt
よって，å は Xt が１単位変化したとき，Yt が何
n
X
(
Xt )b
ã+ (
単位変化するかを表しているので，Yt の Xt に対
する弾力性となっている。需要関数の推定におい
t=1
t=1
b=
Xt2 )å
最小自乗法
b を ã と å の何らかの推定値とすると，推
・b
ãと å
定された回帰直線は
b t
Ybt = ã
b + åX
値という。
Pn
Pn
・ t=1 Xt = nX;
t=1 Yt = nY から
Pn
2
t=1 Xt Yt Ä n X Y
b= n P
å
2
n nt=1 Xt2 Ä n2 X
Pn
t=1 Xt Yt Ä nX Y
2= P
2
n
2
t=1 Xt Ä nX
・残差と誤差は異なった概念であり（残差は観測
されるが，誤差は観測されない），残差は誤差の
推定値と考えられる。
・データ全体と推定された回帰直線の距離とし
て，残差自乗和
e2t
さらに，
n
X
t=1
b を決める
を考え，これを最小にするように ã
bとå
のが最小自乗法 (Least Squares Method) である。
t=1
n
X
t=1
å の最小自乗推定量
=
n
X
n
X
t=1
t=1
e2t =
(7:2)
t=1
（通常）最小自乗推定量（
（ordinary）least squares
estimator, OLSE あるいは LSE) という。また，Yt
b を (通常) 最小自乗推定
を実現値と考えたとき，å
et = Yt Ä Ybt
b =
L(b
ã; å)
Xt Yt
(7:1)
b
・Yt を実現値ではなく確率変数と考えたとき，åを
となり，Yt と Ybt との差を残差という。
残差自乗和を
t=1
n
X
b について解くと
クラーメルの公式で å
Pn
å
å
å
å
t=1 Yt å
åPn n
P
n
å
å
Xt
t Yt
t=1 XP
b=
Pn t=1 P
å
n
n
jn
Xt t=1 Xt
X2 j
Pn t=1
Pn
Pnt=1 t
n t=1 Xt Yt Ä t=1 Xt t=1 Yt
Pn
Pn
2=
n t=1 Xt2 Ä ( t=1 Xt )2
ては，弾力性が重要であることが多いので，対数
線形回帰モデルが使われることが多い。
n
X
t=1
n
X
Xt Yt Ä nX Y =
2
Xt2 Ä nX =
n
X
t=1
n
X
t=1
(Xt Ä X)(Yt Ä Y )
(Xt Ä X)2
を使うと，
Pn
(Xt Ä X)(Yt Ä Y )
b
å = t=1
Pn
2
t=1 (Xt Ä X)
n
X
(Yt Ä Ybt )2
t=1
b t )2
(Yt Ä ã
b Ä åX
となる。
・xt = Xt Ä X，yt = Yt Ä Y と置くと（回帰分析
2
b
では，よく平均からの偏差を小文字で表す。），å
残差に関する制約
残差自乗和を ã
b で微分した式から
は次のように書ける。
Pn
xt yt
b
Pt=1
å=
n
2
t=1 xt
X
b
@L(b
ã; å)
b t) = 0
= (Ä2)
(Yt Ä ã
b Ä åX
@ã
b
t=1
ここで，
b t
et = Yt Ä ã
b Ä åX
ã の最小自乗推定量
・正規方程式の第１式から
n
n
X
X
b=
nb
ã+ (
Xt )å
Yt
t=1
なので
n
X
t=1
両辺を n で割ると ã の（通常）最小自乗推定量
が得られる。
が得られる。
b
ã
b = Y Ä åX
また，
・この式から，推定された回帰直線は点 (X; Y )
から
最小自乗推定値を求める。
Xt
1
2
3
4
5
Yt
2
5
4
8
6
X
b
@L(b
ã; å)
b t )Xt = 0
= (Ä2)
(Yt Ä ã
b Ä åX
b
@å
t=1
を通ることが分かる。
例２．次の５つのデータがあるとき，回帰係数の
n
X
Xt et = 0
t=1
が得られる。
Pn
Pn
・et には２つの制約 t=1 et = 0 と t=1 Xt et =
0 があるので，e1 ; e2 ; :::; en の自由度は n Ä 2 と
・まず，回帰係数の最小自乗推定値を計算するた
めの表を作る。ただし，以下の表で，xt = Xt Ä
なる。
X; yt = Yt Ä Y 。
合計
et = 0
t=1
Xt
Yt
xt
yt
x2t
yt2
xt yt
1
2
-2
-3
4
9
6
2
3
5
4
-1
0
0
-1
1
0
0
1
0
0
4
5
8
6
1
2
3
1
1
4
9
1
3
2
15
25
0
0
10
20
11
線形推定量
・å の最小自乗推定量
Pn
xt yt
b
å = Pt=1
n
2
t=1 xt
P
において，の添え字は，t でも i でも何でも良
b の分母の P の添え字を i で表すと，
いので，å
Pn
xt yt
b = Pt=1
å
n
2
i=1 xi
この表から，
15
25
X=
= 3;
Y =
= 5;
5
5
P5
b = Pt=1 xt yt = 11 = 1:1
å
5
2
10
t=1 xt
b = 5 Ä 1:1 Ç 3 = 1:7
ã
b = Y Ä åX
と書ける。
・wt を次のように定義する。
xt
w t = Pn
i=1
よって，推定された回帰直線は，
x2i
このとき，
Ybt = 1:7 + 1:1Xt
b=
å
・ここでは，Ünt=1 yt2 は必要ではないが，後で決定
係数を計算するときに必要であるので，ここで計
算しておく。
2=
n ê
X
t=1
n
X
t=1
3
x
Pn t
i=1
wt yt
x2i
ë
yt
(1) に関しては，すでに示されているので，ここで
P
は (2) と (3) を示す。ここでも，wt の分母の
の添え字を i で表すと，
n
n ê
ë
X
X
x
Pn t 2 Xt
wt Xt =
i=1 xi
t=1
t=1
Pn
t=1 xt Xt
= P
(7:4)
n
2
i=1 xi
と書ける。
n
n
X
X
xt =
(Xt Ä X)
n
X
t=1
t=1
2=
t=1
Xt Ä nX
3 = nX Ä nX = 0
なので，
n
n
X
X
x
Pn t
wt =
t=1
=
ここで，
n
n
X
X
x2t =
xt (Xt Ä X)
2
i=1 xi
t=1
Pn
x
Pnt=1 2t = 0
x
i=1 i
t=1
n
X
t=1
2=
t=1
wt Yt Ä Y
(
3=
3=
(
wt
t=1
4=
wt = 0 なので）
wt Yt
いわれる。
・同様にして，b
ã も線形推定量になっていること
(7:3)
n
X
t=1
・wt に関して，次の３つの等式が成立する。
n
X
(1)
wt = 0
t=1
x2
Pn t
b に代入すると，
Yt = ã+ åXt + ut を å
n
X
b=
å
wt Yt
であった。ただし，
xt
wt = Pn
2
i=1 xi
(3)
t=1
となり，(3) が得られる。
t=1
t=1
n
X
n
X
x t Xt (
wt Xt の分子）
( i=1 x2i )2
Pn
x2
3 = Pnt=1 2t 2
( i=1 xi )
1
4 = Pn
2
t=1 xt
t=1
最小自乗推定量の分散
・å の最小自乗推定量は
(2)
xt = 0 なので）
t=1
n
X
2=
が分かる。
wt Yt
xt
t=1
となり，(2) が得られる。次に
n
n ê
ë2
X
X
x
Pn t 2
wt2 =
i=1 xi
t=1
t=1
いることを意味するので（ウエイトの wt は非確
b は線形推定量（linear estimator）と
率変数），å
t=1
n
X
n
X
n
X
であるので，
Pn
n
X
x2t
wt Xt = Pt=1
n
2 =1
i=1 xi
t=1
b が Yt の１次式になって
が得られる。この式は，å
n
X
n
X
xt X
t=1
x t Xt Ä X
t=1
t=1
t=1
b
å=
x t Xt Ä
t=1
n
X
t=1
t=1
n
X
n
X
n
X
n
X
t=1
2=
となる。これらのことから，
n
n
X
X
b=
å
wt yt =
wt (Yt Ä Y )
n
X
2=
3=ã
wt + å
t=1
wt Xt = 1
wt2 = Pn
wt (ã+ åXt + ut )
t=1
n
X
t=1
w t Xt +
n
X
wt ut
t=1
(wt に関する性質 (1) と (2) から）
n
X
4 = å+
wt ut
1
t=1
n
X
x2t
t=1
4
b の平均は
よって，å
b = å+
E[å]
n
X
となる。まったく同様にして，n が一般の場合でも
n
n
n X
n
X
X
X
2
2 2
(
wt ut ) =
wi ui +
wi wj ui uj
wt E[ut ] = å
t=1
t=1
となる。よって，最小自乗推定量は不変推定量で
となる。
b = E[(åÄ
b E[å])
b 2]
V (å)
・非対角線の部分は，同じ項が２個ずつある（対
b å)2 ]
2 = E[(åÄ
n
X
3 = E[(
wt ut )2 ]
角線に関して対称な位置にある項）ので，
n X
n
X
| {z }
i6=j
となる。
n
n
n
X
X
X
(
wt ut )2 = (
wt ut )(
wt ut )
ではなく
XX
2
wi wj ui uj
P
において，の添え字は何でもよいので，最初の
P
P
の添え字を i，次の
の添え字を j とすると，
t=1
t=1
i>j
と書かれることもある。
n
n
n
X
X
X
(
wt ut )2 = (
wi ui )(
wj uj )
i=1
・よって，分散は次のようになる。，
b =E
V (å)
j=1
・簡単のため，n = 3 の場合を例示すると，
3
X
1 (
wt ut )2
3
X
t=1
2 =(
3
X
wi ui )(
i=1
2=
wj uj )
n
X
b =
V (å)
+ w3 w1 u3 u1 + w3 w2 u3 u2 + w32 u23
n
X
wi2 õ2
n
X
2
b = Pnõ
V (å)
と書け，非対角線の部分は
t=1
wi2
x2t
となる。
wi wj ui uj
・同様にして，b
ã の分散を計算すると
i=1 j=1
i6=j
wt ut )2 =
| {z }
wi wj E[ui uj ]
i=1 j=1
Pn
Pn
wt の性質 (3) から， t=1 wt2 = 1=( t=1 x2t ) で
b の分散は
あるので，å
i=1
t=1
wi2 E[u2i ] +
i6=j
n
n
XX
i=1
wi2 u2i
(
i=1 j=1
3
X
i=1
wi2 u2i +
i
i=1
2 = õ2
対角線の部分は
と書けるので，
| {z }
wi wj ui uj
0 (i 6= j) であるので，
+ w2 w1 u2 u1 + w22 u22 + w2 w3 u2 u3
3
X
i=1
n X
n
X
誤差項の仮定により，E[u2t ] = õ2 ，E[ui uj ] =
4 = w12 u21 + w1 w2 u1 u2 + w1 w3 u1 u3
| {z }
wi2 u2i +
i6=j
j=1
Ç (w1 u1 + w2 u2 + w3 u3 )
3 X
3
X
n
hX
i=1
3 = (w1 u1 + w2 u2 + w3 u3 )
3
X
wi wj ui uj
i=1 j=1
t=1
t=1
i=1 j=1
i6=j
ある。
b E[å]
b = åÄ
b å なので，分散は
・åÄ
t=1
| {z }
i=1
3 X
3
X
| {z }
V (b
ã) = õ2
となる。
wi wj ui uj
ê1
n
X
+ Pn
2
t=1
x2t
ë
i=1 j=1
定理 7.1. ガウス＝マルコフの定理
i6=j
5
すべての線形不偏推定量の中で，最小の分散をも
ように書ける。
つのは最小自乗推定量である。
b の場合について示す。å の任
証明．ここでは，å
b = å+
t=1
とする。さらに，ct = wt + dt (wt = xt =
として，上の式に代入すると
b=
2=
3=
n
X
t=1
n
X
よって，b の分散は次のように計算される。
V (b) = E[(b Ä E[b])2 ]
Pn
i=1
2 = E[(b Ä å)2 ]
n
hê X
ë 2i
3=E
(wt + dt )ut
x2i )
b の分散の計算と同様にして)
(å
n
X
4 = E[ (wt + dt )2 u2t
t=1
(wt + dt )Yt
(wt + dt )(ã+ åXt + ut )
+
t=1
+ (wt + dt )ut
i
5=
n
n
êX
ë
X
4=ã
wt +
dt
n
X
t=1
6=õ
7 = õ2
t=1
n
êX
ここで，
n
X
t=1
(wt + dt )ut
wt dt =
t=1
2=
n
ê
ë
X
dt + å 1 +
dt Xt
3=
t=1
4=
となる。b が不偏推定量（E[ b ] = å）であるため
には
t=1
n
X
(wt + dt )2
wt2 + 2
t=1
t=1
E[ b ] = ã
= õ2 ; E[ui uj ] = 0 (i 6= j) なので)
t=1
t=1
n
X
(wi + di )(wj + dj )E[ui uj ]
i6=j
n
ê
ë
X
dt + å 1 +
dt Xt
n
X
| {z }
(E[u2t ]
n
X
2
(wt + dt )ut
t=1
n
X
n X
n
X
i=1 j=1
t=1
よって，
(wt + dt )2 E[u2t ]
+
n
n
X
X
(
wt = 0;
wt Xt = 1 なので)
+
i6=j
t=1
t=1
t=1
n
X
i=t
n
n
êX
ë
X
+å
w t Xt +
dt Xt
t=1
+
| {z }
(wi + di )(wj + dj )ui uj ]
i=1 j=1
(wt + dt )ã+ (wt + dt )Xt å
n
X
n X
n
X
t=1
t=1
n h
X
5=ã
(wt + dt )ut
t=1
意の線形不偏推定量を
b = c1 Y1 + c2 Y2 + ÅÅÅ+ cn Yn
n
X
2=
ct Yt
n
X
n ê
X
n
X
t=1
n
X
dt Xt = 0
t=1
でなければならない。この制約の下で，b は次の
t=1
6
Xt dt = 0
dt = 0
wt dt +
t=1
x
Pn t
n
X
t=1
ë
2 dt
i=1 xi
t=1
Pn
xt dt
Pt=1
n
2
i=1 xi
Pn
(X Ä X)dt
t=1
Pn t 2
i=1 xi
Pn
Pn
t dt Ä X
t=1 XP
t=1
n
2
i=1 xi
不偏性の条件から
dt = 0
n
X
dt
d2t
ë
であるので
n
X
・W =
Pn
s2 =
wt dt = 0
t=1
分散の第２項が０なので，
2
V (b) = õ
n
êX
wt2
+
t=1
n
X
d2t
t=1
ë
乗推定量であるので，最小自乗推定量はすべての
線形不偏推定量の中で最小の分散をもつ。//
最小自乗推定量の標準誤差
ê
ë
2
b ò N å; Pnõ
å
2
t=1 xt
の一次結合であるので，正規分布の再生性によっ
b の分布は正規分布である。また，
てå
から
b の分散は
から，å
õ2
t=1
となる。
x2t
ë
誤差分散 õ の不偏推定量
・s2 を次のように定義すると，
=
1
nÄ2
t=1
n
X
t=1
1
=
nÄ2
b = pP s
Se(å)
n
x2t
ã
b ò N ã; õ
+ Pn
t=1
2
e2t
x2t
2
b の分散の推定量という意味で V にハットがつ
・å
いている。
b の正の平方根を å
b の標準誤差（standard
・Vb (å)
b と書く。
error）といい，Se(å)
となる。
1
s =
nÄ2
b = Pns
Vb (å)
t=1
2
ê
ê1
ëë
X
ã
b ò N ã; õ2
+ Pn
2
n
t=1 xt
2
x2t
・õ2 は未知であるので，その推定量 s2 で置き換
える。
・同様にして，b
ã の分布は
n
X
2
b = Pnõ
V (å)
t=1
2
t=1 xt
ê
2
b N å; Pnõ
åò
õ2 W
nÄ2
となり，不偏性が示される。
最小自乗推定量の分布
b は Yt
・Yt は正規分布に従う確率変数であり，å
b = Pn
V (å)
と置くと
となり，カイ自乗分布の期待値（平均）は自由度
であるので，
h õ2 W i
E[s2 ] = E
nÄ2
õ2
=
E[W ]
nÄ2
õ2
=
(n Ä 2) = õ2
nÄ2
となる。dt は実数であるので，分散が最小になる
Pn
のは， t=1 d2t = 0，すなわち d1 = d2 = ÅÅÅ=
dn = 0 のときである。dt = 0 のとき，b は最小自
b =å
E[å]
2
2
t=1 et =õ
・同様に
n
X
t=1
(Yt Ä Ybt )
2
b t )2
(Yt Ä ã
b Ä åX
ê
2
ê1
n
X
2
t=1
から，b
ã の標準誤差は
s
2
1
X
Se(b
ã) = s
+ Pn
2
n
t=1 xt
s2 が õ2 の不偏推定量である。すなわち，
E[s2 ] = õ2
t値
・s2 はカイ自乗分布と関連している。
Pn
2
(n Ä 2)s2
t=1 et
=
ò ü2(nÄ 2)
õ2
õ2
Z=
7
x2t
ëë
b å
åÄ
pPn
ò N (0; 1)
2
õ=
t=1 xt
W =
から
p
b の t 値とよばれる。
はå
(n Ä 2)s2
ò ü2nÄ 2
õ2
Z
W=(n Ä 2)
・同様に，帰無仮説 H0 : ã = ã0 に対する検定統
計量は
ã
b Ä ã0
tã
b = Se(b
ã)
ò tnÄ 2
p
b å)=(õ= Pn x2 )
(åÄ
t=1 t
p
(n Ä 2)s2 =(õ2 (n Ä 2))
b å
åÄ
= pPn
2
s=
t=1 xt
b å
åÄ
=
ò tnÄ 2
b
Se(å)
よって
であり，その t 値は
ã
b
tã
b = Se(b
ã)
である。
例３．例２のデータを使って誤差分散の不偏推定
値を求め，回帰係数がゼロであるという仮説を有
意水準 5% で検定する。
が得られる。
・帰無仮説が H0 : å = å0 のとき，検定統計量は
b å0
åÄ
tå
b = Se(å)
b
・まず，残差を計算するための表を作る。
で与えられる。
・対立仮説（alternative hypothesis）として，次の
３つのうち適当なものを立てる。
H1 : å> å0 （右側検定）
合計
H1 : å< å0 （左側検定）
3.9
5.0
et = Yt Ä Ybt
4
5
8
6
6.1
7.2
15
25
Yt
1
2
2.8
2
3
この表から，
H1 : å6= å0 （両側検定）
e2t
-0.8
0.64
1.1
-1
1.21
1.00
1.9
-1.2
3.61
1.44
0.0
7.9
P5
e2t
7:9
=
= 2:633
nÄ2
3
p
s = 2:633 = 1:623
s
b
Se(å) = qP
5
2
t=1 xt
s2 =
・定数項を ã で表しているので，ここでは有意水
準を èで表すと，P (tå
b > tè(n Ä 2)) = èまたは
P (jtå
j
>
t
(n
Ä
2))
= èを満たす tè(n Ä 2) や
è=2
b
tè=2 (n Ä 2) の値を t 分布表から求めることができ
る。この tè(n Ä 2) や tè=2 (n Ä 2) を使うと，各対
t=1
1:623
= p
= 0:513
10
v
u
2
u1
X
Se(b
ã) = st + P5
2
n
t=1 xt
r
1 32
= 1:623
+
= 1:702
5 10
帰無仮説 H0 : å= 0 を，対立仮説 H1 : å6= 0
立仮説に対する棄却域は次のように定められる。
(1) H1 : å > å0 のとき tå
b > tè(n Ä 2)
(2) H1 : å < å0 のとき tå
b < tè(n Ä 2)
(3) H1 : å 6= å0 のとき jtå
bj > tè(n Ä 2)
または，tå
b < Ätè=2 (n Ä2); tå
b > tè=2 (n Ä 2)
・特に，帰無仮説が H0 : å = 0 のとき，この仮
説は Xt が Yt に何の影響も与えないことを意味
する。回帰分析は，Xt が Yt に影響を与えること
を想定して行われるので，もしこの帰無仮説が採
に対して検定すると，検定統計量の値は，
b
å
1:1
tå
=
= 2:144
b=
b
0:513
Se(å)
択されれば，回帰分析を行うことの意味が失われ
る。このことから，帰無仮説 H0 : å = 0 に対し
となる。検定が両側検定であるとき，自由度３の
ｔ分布の有意水準 0.05 の棄却点は
て検定を行うことは特に重要なことであると考え
られる。この帰無仮説に対する検定統計量
b
å
tå
=
b
b
Se(å)
5
4
Ybt
Xt
8
t0:025 (3) = 3:182
ê
ë
P (j tå
j<
3:182)
=
0:05
b
であるので，検定統計量の値は採択域にはいる。
よって，帰無仮説は採択され，X は Y に有意な
影響を与える変数ではないといえる。
同様にして，帰無仮説
H0 : ã = 0 を，対立仮
t=1
4 = ã
b
ã
b
1:7
=
= 0:999
Se(b
ã)
1:702
であるので，検定統計量の値は再び採択域にはい
n
X
決定係数（coeé cient of determination）
次の３つの変動を考える。
=
(Yt Ä Y )
e2t
(Ybt Ä Y )2
n
X
t=1
2 =
n
X
n
X
n
X
t=1
4 =
n
X
t=1
5 =
=et
(et + Ybt Ä Y )2
=0
=0
(Yt Ä Y )2
{z
}
Y の回りの変動
n
X
|
(Ybt Ä Y )2
{z
}
| {z }
e2t + 2
t=1
n
X
n
X
n
X
t=1
(Ybt Ä Y )
Pn
t=1 (Yt
左辺を R2 と書いて，決定係数という。
Pn b
(Yt Ä Y )2
R2 = Pt=1
n
2
t=1 (Yt Ä Y )
[e2t + 2et (Ybt Ä Y ) + (Ybt Ä Y )2 ]
t=1
t=1
t=1
Pn b
(Yt Ä Y )2
Pt=1
n
2
t=1 (Yt Ä Y )
Pn 2
e
2 = 1 Ä Pn t=1 t 2
(Y
Ä
Y)
t
Pt=1
n
2
e
3 = 1 Ä Pnt=1 t2
y
t=1 t
(Yt Ä Ybt +Ybt Ä Y )2
| {z }
+
ここで，
| {z }
=0
となり
(Yt Ä Y )2
t=1
3 =
| {z }
Ä Y )2 で割ると
Pn b
Pn
2
(Yt Ä Y )2
t=1 et
1 = Pt=1
+
P
n
n
2
2
t=1 (Yt Ä Y )
t=1 (Yt Ä Y )
両辺を
・Y の回りの全変動を次のように分解する。
1
et
t=1
n
X
b
et +å
et Xt = 0
| {z }
t=1
n
X
回帰によって説明できない変動
・回帰によって説明できる Y の回りの全変動
t=1
et Y
t=1
b t) Ä Y
et (b
ã + åX
n
X
t=1
t=1
n
X
n
X
回帰によって説明できる変動
n
X
+
e2t
t=1
2
・回帰によって説明できない変動
n
X
|
t=1
・Y の回りの全変動
t=1
et Ybt Ä
であるので，
る。よって，帰無仮説は採択される。
n
X
t=1
n
X
3 =
説 H1 : ã 6= 0 に対して検定すると，検定統計量の
値は，
tb
=
ã
n
X
2 =
et (Ybt Ä Y )
R2 は回帰によって説明できる変動の全変動に占め
る割合を表しており，回帰のデータへの当てはま
りの良さ（goodness of åt）をはかる尺度である。
Pn
e2
2
1 Ä R = Pnt=1 t2 >
=0
t=1 yt
2
et (Ybt Ä Y )
2
なので，0 <
=R <
= 1 となり，Ä1 <
=R<
= 1 であ
る。
9
・R = 1 のとき，すべてのデータが正の傾きをも
をもつ。Y の回りの全変動は
4
X
つ直線上にあり，R = Ä1 のとき，すべてのデー
タが負の傾きをもつ直線上にある。
t=1
(Yt Ä Y )2
2 = (0 Ä 1=2)2 + (0 Ä 1=2)2
例４．例２のデータを使って，推定された回帰式
の決定係数の値を求める。
+ (1 Ä 1=2)2 + (1 Ä 1=2)2
3 = 1=4 + 1=4 + 1=4 + 1=4 = 1
・決定係数の値は，
P5
e2t
R2 = 1 Ä Pt=1
5
2
t=1 yt
= 1 Ä 7:9=20 = 0:605
なので，決定係数は
Pn
e2
R2 = 1 Ä Pn t=1 t 2
t=1 (Yt Ä Y )
3=2
1
= 1Ä
=Ä
1
2
となる。
・回帰モデルに定数項が無い場合，決定係数には
となり，負になってしまう。このことから，定数
項のないモデルでは，決定係数には何の意味もな
何の意味もないことに注意を要する。
いことが分かる。
例５．４つのデータ (0, 0)，(0, 1)，(1, 0)，(1, 1)
を考える。これらのデータは完全に散らばってお
問１．次の X と Y に関する５つのデータがある。
り，y と x の間には何の関係もないので，最小自
乗法で回帰直線を当てはめると，(0, 1/2) を通り
x 軸に水平な直線 (y = 1=2) となるはずである。
しかし，回帰直線に定数項がないとき，モデルは
Xt
2
3
4
5
6
Yt
7
10
8
9
11
このとき，
Yt = åXt + ut
Yt = ã+ åXt + ut
と定式化され，このモデルでは，必然的に原点を
通る。
という回帰モデルを想定して次の問に答えよ。
(1) 回帰係数 ã と å の最小自乗推定値を求めよ。
このとき，データ (0, 0) に対する残差は０であり
（e1 = 0)，データ (0, 1) 対する残差は１である
(2) 分散の不偏推定値と t 値を求めよ。
(3) 決定係数を求めよ。
b = 0:7，b
（答：(1) å
ã = 6:2 (2) s2 = 1:7，
（e2 = 1)。データ (1, 0) とデータ (1, 1) に対す
る残差を，それぞれ，e3 ，e4 と置くと，残差自乗
tå
= 3:545
b = 1:699，tb
ã
和は
e21 + e22 + e23 + e24 = 02 + 12 + e23 + e24
(3) R2 = 0:490 ）
問２．もとの回帰モデルを
となり，e23 + e24 が最小になるときに残差自乗和も
Yt = ã+ åXt + ut
最小になる。je3 j + je4 j = 1 で e3 < 0 であるので，
Äe3 + e4 = 1 (e4 = 1 + e3 )。よって，
とする。いま，独立変数 Xt の値をすべて a 倍し
たものを改めて独立変数としたモデル
e23 + e24 = e23 + (1 + e3 )2
2 = 2e23 + 2e3 + 1
ê
1ë2 1
3 = 2 e3 +
+
2
2
よって，e3 = Ä1=2，e4 = 1=2 のとき残差自乗和
Yt = ã+ å(a Xt ) + ut
の最小自乗推定値は，もとの最小自乗推定値の 1=a
倍になることを示せ。
は最小値
e21 + e22 + e23 + e24
2 = 02 + 12 + (Ä1=2)2 + (1=2)2
3 = 1 + 1=4 + 1=4 = 3=2
10
第８章重回帰
ただし，e の第 t 要素は
b1 + x2t å
b2 + ÅÅÅ+ xkt å
bk )
et = yt Ä (x1t å
重回帰モデル
・残差自乗和は
b =
L(å)
・独立変数が k 個ある回帰モデル（小文字である
が，偏差形ではない。）
b はスカラーなので，
(y0 X å
b (y 0 X å)
b0=å
b0 X 0 y から)
y 0 X å=
yt : 従属変数（被説明変数)
xit : 第 i 独立変数 (説明変数)
b0 X 0 y + å
b0 X 0 X å
b
4 = y 0 y Ä 2å
åi : 第 i 回帰係数
ut : 誤差項
b を求めるために，残
・残差自乗和を最小にする å
b
差自乗和を å で微分するが，その前にベクトルの
・å1 が定数項ならば
微分の公式を示す。
x1t = 1 t = 1; 2; :::; n
・ベクトルの微分の公式（１次式）
2 3
2 3
a1
x1
6 7
6 7
6 a2 7
6 x2 7
7
7
a=6
x=6
6 .. 7
6 .. 7
4 . 5
4 . 5
an
xn
・誤差項に関する仮定
u1 ; u2 ; :::; un ò N ID(0; õ2 )
3
y1
6 7
6 y2 7
7
y=6
6 .. 7 ;
4 . 5
x11
6
6 x12
X =6
6 ..
4 .
x1n
6 7
6 å2 7
7
å= 6
6 .. 7 ;
4 . 5
6 7
6 u2 7
7
u=6
6 .. 7 ;
4 . 5
2
å1
3
åk
t=1
b å
b0 X 0 y + å
b0 X 0 X å
b
3 = y 0 y Ä y 0 X åÄ
(t = 1; 2; :::; n; n > k)
yn
e2t = e0 e
b 0 (y Ä X å)
b
2 = (y Ä X å)
yt = x1t å1 + x2t å2 + ÅÅÅ+ xkt åk + ut
行列表示
2
n
X
2
2
u1
3
x21
x22
..
.
x2n
3
ÅÅÅxk1
7
ÅÅÅxk2 7
7
. . .. 7
. . 5
とし，y = a0 x とすると
@y
=a
@x
例として，n = 3 の場合を示す。
ÅÅÅxkn
y = a0 x = a1 x1 + a2 x2 + a3 x3 であるので
2
un
と置くと，重回帰モデルは
2
a1
3
・ベクトルの微分の公式（２次式）
2
3
2 3
a11 a12 . . . a1n
x1
6
7
6 7
6 a21 a22 . . . a2n 7
6 x2 7
7
A=6
x=6
.. .. .. 7
6 ..
7
6 .. 7
4 .
4 . 5
. . . 5
y = Xå+ u
と書ける。
（通常の行列の要素表示と X の添え字
が逆であることに注意。例えば，n 行 k 列の要素
が xkn 。）
an1 an2 . . . ann
最小自乗推定量
b (å
b1 ; å
b2 ; :::; å
bk )0 を å の何らかの推定量と
・å=
とし，y = x0 Ax とすると
すると，残差は
b
e = y Ä Xå
3
@y
6
7 6
7
= 4 @ y=@ x2 5 = 4 a2 5 = a
@x
@ y=@ x3
a3
@ y=@ x1
@y
= A0 x + Ax
@x
11
xn
特に，A が対称行列（A0 = A) のとき
@y
= 2Ax
@x
・残差自乗和は
b = y 0 y Ä 2å
b0 X 0 y + å
b0 X 0 X å
b
L(å)
例として n = 3 の場合を示す。
2
32 3
a11 a12 a13
x1
6
76 7
2 = (x1 ; x2 ; x3 ) 4 a21 a22 a23 5 4 x2 5
y = x0 Ax
2
a31 a32 a33
x3
b
x = å，a
= X 0 y，A = X 0 X と置いてベクトルの
微分の公式を使うと，X 0 X は対称であるので，
b
@ L(å)
b
= 0 Ä 2X 0 y + 2X 0 X å
b
@å
3
a11 x1 + a12 x2 + a13 x3
6
7
3 = (x1 ; x2 ; x3 ) 4 a21 x1 + a22 x2 + a23 x3 5
a31 x1 + a32 x2 + a33 x3
b
b 0 と置くと，正規方程式
となる。@ L(å)=@
å=
b X0y
X 0 X å=
4 = +x1 (a11 x1 + a12 x2 + a13 x3 )
+ x2 (a21 x1 + a22 x2 + a23 x3 )
が得られる。X 0 X が非特異 (jX 0 Xj 6= 0) であれ
ば，逆行列が存在するので，残差自乗和を最小に
b が一意に定まる。これが，最小自乗推定量
する å
+ x3 (a31 x1 + a32 x2 + a33 x3 )
5 = a11 x21 + a12 x1 x2 + a13 x1 x3
b = (X 0 X)Ä 1 X 0 y
å
+ a21 x1 x2 + a22 x22 + a23 x2 x3
+ a31 x1 x3 + a32 x2 x3 +
a33 x23
である。
であるので
2
3
多重共線性
@ y=@ x1
@y
6
7
= 4 @ y=@ x2 5
@x
@ y=@ x3
2=
"
・X は nÇk 行列であり，n > k であるので，X 0 X
が非特異であるためには X の k 個の列ベクトル
が１次独立であればよい。通常は，X の k 個の列
2a11 x1 + a12 x2 + a13 x3 + a21 x2 + a31 x3
a12 x1 + a21 x1 + 2a22 x2 + a23 x3 + a32 x3
a13 x1 + a23 x2 + a31 x1 + a32 x2 + 2a33 x3
2
3
#
ベクトルが１次独立である（X のランクが k）と
仮定される。
・X のランクが k Ä 1 以下のとき，jX 0 Xj = 0 と
なり，多重共線性の問題があるといわれる。現実
のデータで jX 0 Xj の値が厳密に０となることは，
まずないが，０にきわめて近い値になることはあ
6
7
3 = 4 a21 x1 + a22 x2 + a23 x3 5
a31 x1 + a32 x2 + a33 x3
2
3
a11 x1 + a21 x2 + a31 x3
6
7
+ 4 a12 x1 + a22 x2 + a32 x3 5
a11 x1 + a12 x2 + a13 x3
り得る。このときも，多重共線性の問題があると
いわれる。
b の分布
å
b に y = Xå+ u を代入すると
・å
2
a13 x1 + a23 x2 + a33 x3
32 3
a11 a12 a13
x1
6
76 7
4 = 4 a21 a22 a23 5 4 x2 5
a31 a32 a33
x3
2
32 3
a11 a21 a31
x1
6
76 7
+ 4 a12 a22 a32 5 4 x2 5
a13 a23 a33
b = (X 0 X)Ä 1 X 0 y
å
= (X 0 X)Ä 1 X 0 (Xå+ u)
= å+ (X 0 X)Ä 1 X 0 u
b の平均は
・å
x3
5 = Ax + A0 x
12
b = å+ (X 0 X)Ä 1 X 0 E[u]
E[å]
2
ここで，
3
ただし，In は n 次の単位行列である。よって，
b = (X 0 X)Ä 1 X 0 E[uu0 ]X(X 0 X)Ä 1
V (å)
u1
6 7
6 u2 7
7
E[u] = E 6
6 .. 7
4 . 5
2
2 = (X 0 X)Ä 1 X 0 (õ2 In )X(X 0 X)Ä 1
3 = õ2 (X 0 X)Ä 1 X 0 X(X 0 X)Ä 1
2 3
E[u1 ]
0
6
7 6 7
6 E[u2 ] 7 6 0 7
7 6 7
=6
6 .. 7 = 6 .. 7 = 0
4 . 5 4.5
un
3
E[un ]
よって
4 = õ2 (X 0 X)Ä 1
b の分布は正規分布
・正規分布の再生性により，å
b = å，V (å)
b = õ2 (X 0 X)Ä1 なので
であり，E[å]
b ò N (å; õ2 (X 0 X)Ä 1 )
å
0
bi の周辺分布は
となる。また，å
b =å
E[å]
bi ò N (åi ; õ2 mii )
å
b は不偏推定量である。
となり，å
b の分散共分散行列は
・å
である。ただし，mii は (X 0 X)Ä 1 の第 i 対角要
素を表す。
b = E[(åÄ
b E[å])(
b åÄ
b E[å])
b 0]
V (å)
b å)(åÄ
b å)0 ]
2 = E[(åÄ
残差自乗和の分布
・行列 M を次のように定義する。
3 = E[(X 0 X)Ä 1 X 0 uu0 X(X 0 X)Ä 1 ]
M = In Ä X(X 0 X)Ä 1 X 0
4 = (X 0 X)Ä 1 X 0 E[uu0 ]X(X 0 X)Ä 1
このとき，M には次のような性質がある。
2
ここで，
3
(1) M X = 0
6 7h
i
6 u2 7
7
E[uu0 ] = E 6
6 .. 7 u1 u2 ÅÅÅun
4 . 5
un
2 2
3
u1 u1 u2 ÅÅÅu1 un
6
7
6 u2 u1 u22 ÅÅÅu2 un 7
6
2 = E6 .
.. . .
. 7
7
. .. 5
4 ..
.
2
u1
un u1 un u2 ÅÅÅ u2n
E[u1 u2 ]
6
6 E[u2 u1 ] E[u22 ]
3=6
..
..
6
4
.
.
E[u21 ]
(2) M 2 = M
・まず，(1) を示す。
M X = [In Ä X(X 0 X)Ä 1 X 0 ]X
= X Ä X(X 0 X)Ä 1 X 0 X = X Ä X = 0
・次に (2) を示す。
M 2 = [In Ä X(X 0 X)Ä 1 X 0 ]
3
Ç [In Ä X(X 0 X)Ä 1 X 0 ]
7
ÅÅÅE[u2 un ] 7
7
..
..
7
.
5
.
ÅÅÅE[u1 un ]
2 = In Ä X(X 0 X)Ä 1 X 0 Ä X(X 0 X)Ä1 X 0
+ X(X 0 X)Ä 1 X 0 X(X 0 X)Ä 1 X 0
3 = In Ä X(X 0 X)Ä 1 X 0 Ä X(X 0 X)Ä1 X 0
E[un u1 ] E[un u2 ] ÅÅÅ E[u2n ]
+ X(X 0 X)Ä 1 X 0
u1 ; u2 ; :::; un ò N ID(0; õ2 ) から，E[u2i ] = õ2 ，
E[ui uj ] = 0 (i 6= j) なので
2 2
õ 0 ÅÅÅ0
6
6 0 õ2 ÅÅÅ0
E[uu0 ] = 6
6 .. .. . . ..
. .
4 . .
0 0 ÅÅÅõ2
4 = In Ä X(X 0 X)Ä 1 X 0 = M
3
7
7
7 = õ2 In
7
5
性質 (2) のように，自乗したときもとの行列にも
どる行列をベキ等行列という。
・行列 M を使うと，残差は次のようになる。
13
b
e = y Ä Xå
2 = y Ä X(X 0 X)Ä 1 X 0 y
・行列 M = In Ä X(X 0 X)Ä 1 X 0 はベキ等行列で
あるので，その固有値は１または０である。以下
では，M の固有値のうち，n Ä k 個が１であり，
3 = [In Ä X(X 0 X)Ä 1 X 0 ]y
4 = [In Ä X(X 0 X)Ä 1 X 0 ](Xå+ u)
残りの k 個が０であることを示す。
・行列 A のトレースを T r(A) とすると，
5 = M (Xå+ u)
6 = M Xå+ M u
(1) T r(A + B) = T r(A) + T r(B)
(M X = 0 なので)
(2) T r(AB) = T r(BA)
7 = Mu
(積 AB と BA が定義できるとき）
よって，残差自乗和は
n
X
が成り立つ。この性質を使って，M のトレースを
求めると
e2t = e0 e = (M u)0 (M u)
T r(M ) = T r(In Ä X(X 0 X)Ä 1 X 0 )
t=1
2 = u0 M M u = u0 M 2 u
(性質 (1) から)
(M 2 = M なので)
2 = T r(In ) Ä T r(X(X 0 X)Ä 1 X 0 )
3 = u0 M u
(性質 (2) から)
3 = T r(In ) Ä T r((X 0 X)Ä 1 X 0 X)
となる。
・残差の分布を求めるため，まず次の定理を示す。
4 = T r(In ) Ä T r(Ik ) = n Ä k
となる。
・固有値の和とトレースは等しいので（注）
定理 8.1. ベキ等行列の固有値は 0 または 1 で
ある
ï1 + ï2 + ÅÅÅ+ ïn = n Ä k
証明．ベキ等行列を A とし，その固有値を ï，固
有ベクトルを x とすると，固有値の定義から
ïi は０か１であり，その総和が n Ä k であるので，
ï1 ; ï2 ; :::; ïn のうち，n Ä k 個が１であり，残
りの k 個が０である。
Ax = ïx
（注）n = 2 として，T r(A) = ï1 +ï2 ，jAj = ï1 ï2
であることを示す。
・両辺に左から A を掛けると
A2 x = ïAx
・n = 2 のとき固有方程式は
jA Ä ïI2 j
å"
#
"
#å
å a a
10 å
å 11 12
å
2 =å
Äï
å
å a21 a22
01 å
å
å
åa Ä ï a
å
å 11
12
å
3 =å
å
å a21 a22 Ä ïå
A2 = A，Ax = ïx なので，左辺は
A2 x = Ax = ïx
右辺は
ïAx = ï(ïx) = ï2 x
4 = (a11 Ä ï)(a22 Ä ï) Ä a12 a21
5 = a11 a22 Ä (a11 + a22 )ï+ ï2 Ä a12 a21
となる。よって，
6 = ï2 Ä (a11 + a22 )ï+ a11 a22 Ä a12 a21
ïx = ï2 x
7 = ï2 Ä T r(A)ï+ jAj = 0
となるので，
であるので，方程式 ï2 Ä T r(A)ï+ jAj = 0 の２
ï(ïÄ 1)x = 0
解を ï1 ，ï2 とすると，解と係数の関係から
T r(A) = ï1 + ï2
が得られる。固有ベクトルは非ゼロベクトル (x 6=
0) であるので，ï= 0 または ï= 1 である。//
jAj = ï1 ï2
14
が得られる。
となる。z の分散共分散行列は
V (z) = E[(z Ä E[z])(z Ä E[z])0 ]
・ここで，証明は省略するが，行列に関する２
つの定理を示す。
(E[z] = 0 なので)
2 = E[zz 0 ] = E[Q0 uu0 Q]
定理 8.2. 行列 A が半正値定符号 (positive semi-
3 = Q0 E[uu0 ]Q
deånite) であるための必要十分条件は，A のすべ
ての固有値が非負であり，少なくとも１つは正で
(E[uu0 ] = õ2 In なので)
4 = Q0 (õ2 In )Q = õ2 Q0 Q
あることである。
(Q0 Q = In なので)
定理 8.3 行列 A が半正値定符号であるならば，
2
3
ï1 0 ÅÅÅ 0
6
7
6 0 ï2 ÅÅÅ 0 7
7
Q0 AQ = 6
6 .. .. . . .. 7
. . 5
4 . .
5 = õ2 In
・z = Qu0 は u の１次関数であり，u の分布は正
規分布であるので，正規分布の再生性により，z の
分布も正規分布である。また，E[z] = 0，V (z) =
0 0 ÅÅÅïn
õ2 In であるので
を満たす直交行列 Q が存在する。ただし，ïi は
z ò N (0; õ2 In )
A の固有値である。
となる。すなわち，
・M = In Ä X(X 0 X)Ä 1 X 0 の固有値は１と０であ
るので，定理 8.2 によって M は半正値定符号で
ある。よって，定理 8.3 により
nÄ k
k
z}|{
z}|{
2
3
1 0 ÅÅÅ0 0 ÅÅÅ0
6
7
6 0 1 ÅÅÅ0 0 ÅÅÅ0 7
6
7
6 .. .. . . .. ..
.. 7
6. . . . .
7
.
6
7
6
7
0
Q M Q = É = 6 0 0 ÅÅÅ1 0 ÅÅÅ0 7
6
7
6 0 0 ÅÅÅ0 0 ÅÅÅ0 7
6
7
6. .
.. .. . . .. 7
6 .. ..
. . . .7
4
5
0 0 ÅÅÅ0 0 ÅÅÅ0
z1 ; z2 ; :::; zn ò N ID(0; õ2 )
である。このことから，残差自乗和は
e0 e = u0 QÉQ0 u
2 = z 0 Éz
h
i
3 = z1 z2 ÅÅÅznÄ k znÄ k+1 ÅÅÅzn
2
3
3
1 0 ÅÅÅ0 0 ÅÅÅ0 2 z
1
6
7
6 0 1 ÅÅÅ0 0 ÅÅÅ0 7 6
7
6
7 6 z2 7
6 .. .. . . .. ..
7
6
.
.. 7 6 ÅÅÅ 7
6. . . . .
7
6
76
7
6
76
7
Ç 6 0 0 ÅÅÅ1 0 ÅÅÅ0 7 6 znÄ k 7
6
76
7
6 0 0 ÅÅÅ0 0 ÅÅÅ0 7 6 znÄ k+1 7
6
76
7
6. .
6
7
.. .. . . .. 7
6 .. ..
7
Å
Å
Å
4
5
. . . .5
4
z
n
0 0 ÅÅÅ0 0 ÅÅÅ0
h
i
4=
z1 z2 ÅÅÅznÄ k znÄ k+1 ÅÅÅzn
2
3
z1
6
7
6 z2 7
6
7
6 ÅÅÅ 7
6
7
6
7
Ç 6 znÄ k 7
6
7
6 0 7
6
7
6
7
Å
Å
Å
4
5
0
を満たす直交行列 Q が存在する。ただし，É にお
いて，１は n Ä k 個あり，０は k 個である。
・Q は直交行列であるので，Q0 Q = QQ0 = In で
ある。この性質を使うと残差自乗和は
e0 e = u0 M u = u0 In M In u
= u0 QQ0 M QQ0 u = u0 Q(Q0 M Q)Q0 u
(定理8:3 から，Q0 M Q = Éなので)
= u0 QÉQ0 u
となる。
z = Q0 u と置くと，z の平均は
E[z] = E[Q0 u] = Q0 E[u] = Q0 0 = 0
2
5 = z12 + z22 + ÅÅÅ+ znÄ
k
15
zi ò N (0; õ2 ) から zi =õò N (0; 1) であるので，
ここで，
z1 z2
znÄ k
;
; :::;
ò N ID(0; 1)
õ õ
õ
となる。よって，定理 5.5 から
ê z ë2 ê z ë2
êz
ë2
e0 e
1
2
nÄ k
=
+
+ ÅÅÅ+
ò ü2nÄ k
2
õ
õ
õ
õ
が得られる。すなわち，e0 e=õ2 は自由度 n Ä k の
b = å+ (X 0 X)Ä 1 X 0 E[u] = å
E[å]
E[e] = E[M u] = M E[u] = 0
から
カイ自乗分布に従う。
b e) = E[(åÄ
b å) e0 ]
Cov(å;
2 = E[(X 0 X)Ä 1 X 0 uu0 M ]
3 = (X 0 X)Ä1 X 0 E[uu0 ]M
誤差分散の不偏推定量
・e0 e=õ2 が自由度 n Ä k のカイ自乗分布に従う
4 = (X 0 X)Ä1 X 0 (õ2 In )M
ので，
h e0 e i
E 2 = nÄk
õ
よって
õ
b2 =
とすると
5 = õ2 (X 0 X)Ä 1 X 0 M = 0
(M X = 0 なので X 0 M = 0)
b と e が独立であるので，åと
b õ
・å
b2 = e0 e=(n Äk)
も独立である。
e0 e
nÄk
t値
bi の周辺分布は
・å
h e0 e i
nÄk
h e0 e i
õ2
=
E 2
nÄk
õ
õ2
=
(n Ä k) = õ2
nÄk
bi ò N (åi ; õ2 mii )
å
E[b
õ2 ] = E
であるので
bi Ä åi
å
p
ò N (0; 1)
õ mii
となり，b
õ2 は，õ2 の不偏推定量であることが分
ただし，mii は (X 0 X)Ä 1 の第 i 対角要素を表す。
かる。
b と e の独立性
å
・å の最小自乗推定量と残差は次のようであった。
b = (X 0 X)Ä1 X 0 y
å
0
Ä1
= å+ (X X)
b
e = y Ä Xå
・また，
e0 e
ò ü2nÄ k
õ2
bi と e0 e=õ2 は独立であるので，定理 5.7
であり，å
0
より
Xu
p
bi Ä åi )=(õ mii )
(å
p
e0 e=[õ2 (n Ä k)]
p
bi Ä åi )= mii
(å
2 = p
e0 e=(n Ä k)
p
bi Ä åi )= mii
(å
p
3 =
õ
b2
bi Ä åi
å
4 = p
ò tnÄ k
õ
b mii
p
bi の標準誤差であり，
ここで，分母の õ
b mii は å
p
bi ) = õ
Se(å
b mii
= Mu
ただし，
M = In Ä X(X 0 X)Ä 1 X 0
b も e も，ともに u の１次関数であり，u が正
å
規分布であるので，正規分布の再生性により正規
分布である。正規分布の場合，無相関と独立性は
b と e の相関が０であることを
同値であるので，å
b と e の相関
示せば，これらの独立性が示せる。å
（共分散行列）は次のように定義される。
b e) = E[(åÄ
b E[å])(e
b
Cov(å;
Ä E[e])0 ]
と書かれる。
16
・帰無仮説 H0 : åi = åi0 を検定するときの検定
統計量は
bi Ä åi0
å
bi )
Se(å
であり，特に åi0 = 0 のとき，t 値といわれる。
自由度修正済み決定係数
・重回帰の残差を
b1 x1t + å
b2 x2t + . . . + å
bk xkt )
et = Yt Ä (å
とすると，決定係数は２変数線形回帰モデルの場
合と同様に定義される。
Pn
e2
R2 = 1 Ä Pnt=1 t2
t=1 yt
・R2 は説明変数の数（k）を増やせば，大きくな
る。
（厳密には，小さくなることはない。）このこ
とは，無意味な説明変数を追加しても決定係数は
増大する可能性が高いことを意味するが，これで
モデルの当てはまりが良くなった訳ではない。
Pn
Pn
・ t=1 yt2 の自由度は n Ä 1， t=1 e2t の自由度
は n Ä k であるので，決定係数の第２項の分子と
分母をそれぞれの自由度で割ると次の自由度修正
済み決定係数が得られる。
Pn
1
2
2
t=1 et
nÄ k
R = 1 Ä 1 Pn
2
t=1 yt
nÄ 1
Pn
n Ä 1 t=1 e2t
P
= 1Ä
n Ä k nt=1 yt2
nÄ1
= 1Ä
(1 Ä R2 )
nÄk
変数の数（k）が増加するとき，
k ") R2 ") 1 Ä R2 #
nÄ1
k ") n Ä k #)
"
nÄk
から，これらの積
nÄ1
(1 Ä R2 )
nÄk
は大きくなることも小さくなることもあり得る。
・R2 の増加（1ÄR2 の減少）の効果が (nÄ1)=(nÄ
2
k) 増加の効果よりも大きければ，R が増加する
と考えられる。このとき，新しく追加された変数
は意味のある変数と解釈できる。ただし，実際の
データを扱うときは，無意味な変数を追加しても
2
R が増加することは十分あり得る。
17
解．中央値を m と置くと、
Z m
P (X > m) =
ïeÄ ïx dx
問題回答
第１章
0
= 1 Ä eÄ ïm =
問１．連続型確率変数 X の確率密度関数が
f (x) = ax + b
(0 <
=x<
= 2)
=0
(それ以外)
から、
eÄ ïm =
であり、その期待値が E[X] = 2=3 であるとする。
m=Ä
(1) a と b の値を求めよ。
(2) P (X > c) = 1=4 となるような c の値を求め
よ。ただし、P (A) は事象 A の起こる確率である。
R2
解．(1) 0 f (x) dx = 1、E[X] = 2=3 であるので、
Z 2
Z 2
f (x) dx =
(ax + b) dx
ha
0
=
E[X] =
Z
m mÄ1 Ä xm =ã
x
e
(x >
= 0)
ã
=0
(x < ç)
f (x) =
i2
x2 + bx
であるとき、X の分布はワイブル分布 (Weibull
distribution) と呼ばれる。このワイブル分布の平
均と分散を求めよ。
（m = 1、ã = 1=ïのとき、ワ
2
x(ax + b) dx
イブル分布は指数分布になる。
）
0
=
2
ha
解．k 次のモーメントは
Z 1
m mÄ1 Ä xm =ã
E[X k ] =
xk
x
e
dx
ã
0
Z
m 1 m+kÄ 1 Äxm =ã
=
x
e
dx
ã 0
(ax2 + bx) dx
b 2 i2
x
3
2
0
8a 4b
8a
=
+
=
+ 2b
3
2
3
2
=
3
0
=
x3 +
ここで、y = xm =ã とおくと、x = (ãy)1=m =
ã1=m y1=m であるので、
となり、
ö
2a + 2b = 1
8a
3
+ 2b =
dx = ã1=m
2
3
1 (1=m)Ä 1
y
dy
m
よって
これを解くと、a = Ä1=2; b = 1。
(2)
log(1=2)
log 2
=
ï
ï
問２．連続型確率変数 X の密度関数が
2
0
= 2a + 2b = 1
Z
1
2
よって、
ただし、a と b は定数である。
0
1
2
E[X k ] =
Z cê
ë
1
Ä x + 1 dx
2
0
2
c
1
=
Äc+1 =
4
4
m
ã
Z
1
(ã1=m y1=m )m+kÄ1
0
ã1=m (1=m)Ä 1
y
dy
m
m (m+kÄ 1)=m ã1=m
=
ã
ã Z
m
Ç eÄ y
P (X > c) =
から c2 Ä 4c + 3 = 0。これを解くと、c = 1; 3 で
あるが、0 <
=c<
= 2 から、c = 1。
1
Ç
y (m+kÄ 1)=m+(1=m)Ä 1 eÄ y dy
0
Ä 1+1+(k=m)Ä (1=m)+(1=m)
=ã Z
Ç
1
y 1+(k=m)Ä 1 eÄ y dy
ê
kë
= ãk=m Ä 1 +
m
第２章
0
問１．パラメータ ïの指数分布の中央値を求めよ。
18
解．・X の周辺密度は
Z 1
h
1 i1
f1 (x) =
(x + y) dy = xy + y2
2
0
0
1
= x+
2
・同様にして Y の周辺密度は
・上式において k = 1 とおくと平均が得られる。
ê
1ë
E[X] = ã1=m Ä 1 +
m
また、分散は
E[X 2 ] Ä (E[X])2
ê
2 ë h 1=m ê
1 ëi2
= ã2=m Ä 1 +
Ä ã
Ä 1+
m
m
h ê
2ë ê ê
1 ë ë 2i
2=m
= ã
Ä 1+
Ä Ä 1+
m
m
1
2
・X の１次と２次のモーメントは
Z 1 ê
1ë
E[X] =
x x+
dx
2
0
Z 1ê
1 ë
=
x2 + x dx
2
0
h1
i1
1
=
x3 + x2
3
4
0
1 1
4+3
= + =
3 4
12
7
=
12
f2 (y) = y +
第３章
問１．領域 D を
D :x+y <
= 1; x >
= 0; y >
=0
とするとき、次の積分の値を求めよ。
Z Z
x dx dy
解．
Z Z
x dx dy =
D
=
=
=
Z
Z
Z
Z
1
dx
0
Z
1Ä x
x dy
0
1
0
x
[xy]1Ä
dx
0
1
x(1 Ä x) dx
0
1
h1
(x Ä x2 ) dx
1 3 i1
x
2
3
0
1 1
1
= Ä =
2 3
6
=
0
Z
ê
1ë
x2 x +
dx
2
0
Z 1ê
1 ë
=
x3 + x2 dx
2
0
h1
i1
1
=
x4 + x3
4
6
0
1 1
3+2
= + =
4 6
12
5
=
12
よって、X の分散は
ê 7 ë2
5
V (X) =
Ä
12
12
60
49
=
Ä
144 144
11
=
144
・同様にして、Y の分散は
E[X 2 ] =
D
x2 Ä
1
11
144
・X と Y の共分散を求めるため、E[XY ] を計算
する。
Z 1Z 1
E[XY ] =
xy(x + y) dxdy
第４章
V (Y ) =
問１．２つの連続型確率変数 X と Y が次の同
時確率密度関数をもつものとする。
f (x; y) = x + y;
=0
(0 < x < 1; 0 < y < 1)
Z 1 hZ
0
(それ以外)
=
0
1
i
(x2 y + x y 2 ) dy dx
Z 1h
i1
1 2 2 1
=
x y + x y 3 dx
2
3
0
0
0
(1) X と Y の周辺密度関数を求めなさい。
(2) X と Y の相関係数を求めなさい。
19
0
Z 1ê
1 2 1 ë
x + x dx
2
3
0
h1
i1
1
=
x3 + x2
6
6
0
1 1
1
= + =
6 6
3
であるので、分散は
=
V (X) = E[X 2 ] Ä (E[X])2 =
4Ä3
1
=
12
12
(2) Y の分布関数は
1 1
Ä
3 4
=
よって、共分散は
F (y) = P (Y < y) = P (Ä2 log X < y)
= P (log X > Äy=2) = P (elog X > eÄ y=2 )
Z 1
= P (X > eÄ y=2 ) =
Å
1 Ådx
Cov(X; Y ) = E[XY ] Ä E[X]E[Y ]
1
7
7
= Ä
Ç
3 12 12
1
49
48 Ä 49
= Ä
=
3 144
144
1
=Ä
144
=
eÄ y=2
Ä y=2
[x]1eÄ y=2
= 1Äe
よって、密度関数は
d F (y)
dy
ê 1ë
= 0 Ä Ä eÄ y=2
2
1 Ä y=2
= e
2
これは、自由度２のカイ自乗分布の密度関数である
ので、Y の分布は自由度２のカイ自乗分布である。
f (z) =
・相関係数を öとすると
ö= p
Cov(X; Y )
p
V (X) V (Y )
Ä1=144
p
= p
11=144 Ç 11=144
Ä1=144
1
=
=Ä
11=144
11
問２．次の密度関数をもつ分布を考える。
f (x) = eÄ x ;
第５章
X1 と X2 をこの分布からの無作為標本とすると
き、Z = X1 =X2 の分布は F 分布であることを
問１．連続型確率変数 X が、区間 (0, 1) で一様
分布に従うとき、その確率密度関数は、
示せ。
êX
ë
1
F (z) = P (Z < z) = P
<z
X2
Z Z
=
eÄ (x1 +x2 ) dx1 dx2
解．Z の分布関数は
(0 <
=x<
= 1)
f (x) = 1;
= 0;
(それ以外)
で与えられる。
(1) X の平均と分散を求めなさい。
x1 =x2 <z
変数変換 u1 = x1 =x2 、u2 = x2 を行うと、x1 =
(2) Y = Ä2 log X とするとき、Y の分布は自由
度２のカイ自乗分布であることを示しなさい。
u1 u2 、x2 = u2 であるので、ヤコビアンは
å
å
å@x =@u @x =@u å
å 1
1
1
2å
J =å
å
å@x2 =@u1 @x2 =@u2 å
å
å
åu u å
å 2 1å
=å
å = u2
å0 1 å
解．(1) 平均は
Z 1
E[X] =
x Å1 Ådx
h1
0
=
2
x2
i1
0
=
1
2
よって
２次のモーメントを求めると
Z 1
E[X 2 ] =
x2 Å1 Ådx
h1
0
=
3
x3
i1
0
x>0
F (z) =
Z
Z
0
=
1
=
3
0
20
z
du1
Z
Z
0
z
du1
0
1
1
u2 eÄ (u1 u2 +u2 ) du2
u2 eÄ (u1 +1)u2 du2
さらに、変数変換 t = (u1 + 1)u2 を行うと、u2 =
の MSE を最小にする a の値を求めよ。ただし、
t=(1 + u1 )、du2 = dt=(1 + u1 ) であるので、
Z z
Z 1ê
t ë Ät 1
F (z) =
du1
e
dt
1 + u1
1 + u1
0
Z0 z
Z 1
1
=
du
t2Ä 1 eÄ t dt
2
0 (1 + u1 )
0
Z z
1
= Ä(2)
du1
(1
+
u1 )2
0
a は未知母数を含んでもよい。
解．X の１次と２次のモーメントは
E[X] = ñ
2
E[X ] = V (X) + (E[X])2 =
であるので
É
Z の密度関数は
f (z) =
=
1
(1 + u1 )2
É2
E[X ] =
これは、自由度 (2; 2) の F 分布の密度関数であ
=
るので、Z の分布は F 分布である。
=
（注）F 分布の密度関数
f (x) =
Ä((m + n)=2) mm=2 nn=2
Ä(m=2)Ä(n=2)
Ç
よって
É
xm=2Ä 1
(x >
= 0)
(mx + n)(m+n)=2
= E[X
=
=
=
É2
É
Ä 2ñX + ñ2 ]
= E[X ] Ä 2ñE[X ] + ñ2
ê õ2
ë
1
2
=
+
ñ
(1 + a)2 n
ê ñ ë
Ä 2ñ
+ ñ2
1+a
ê õ2
ë
=
+ ñ2 (1 + a)Ä 2
n
Ä 2ñ2 (1 + a)Ä 1 + ñ2
É2
Ä((2 + 2)=2) 22=2 22=2
Ä(2=2)Ä(2=2)
x2=2Ä 1
(2x + 2)(2+2)=2
Ä(2) 21 21
Ä(1)Ä(1)
x0
Ç
(2x + 2)2
Ä(2) Ç 2 Ç 2
1
1Ç1
4(x + 1)2
1
4 Ä(2)
4(1 + x)2
1
Ä(2)
(1 + x)2
Ç
=
É
M SE(X ) = E[(X Ä ñ)2 ]
に m = n = 2 を代入すると
f (x) =
h 1
i
X
1+a
1
ñ
E[X] =
1+a
1+a
hê 1
ë 2i
E
X
1+a
ê 1 ë2
2
E[X ]
1+a
ê õ2
ë
1
+ ñ2
2
(1 + a)
n
E[X ] = E
d F (z)
dz
= Ä(2)
õ2
+ ñ2
n
É
MSE を a で微分すると
É
d M SE(X )
da
ê õ2
ë
= Ä2
+ ñ2 (1 + a)Ä 3
n
+ 2ñ2 (1 + a)Ä 2
h ê õ2
ë
i
1
=
Ä2
+ ñ2 + 2ñ2 (1 + a)
3
(1 + a)
n
h
i
2
Ä2
õ
=
+ ñ2 Ä ñ2 Ä ñ2 a
3
(1 + a) n
i
Ä2 h õ2
=
Ä ñ2 a
3
(1 + a) n
となり、Z の分布が自由度 (2; 2) の F 分布であ
ることが分かる。
第６章
問１．X1 ; X2 ; :::; Xn ò N ID(ñ; õ2 ) のとき、ñ
(1) a = õ2 =(n ñ2 ) のとき
の推定量
É
1
X =
X
1+a
d M SE(X )
=0
da
É
21
(2) a < õ2 =(n ñ2 ) のとき
解．(1) 尤度関数は
É
L(í) = f (x1 jí)f (x2 jí) ÅÅÅf (xn jí)
d M SE(X )
<0
da
= íeÄ íx1 íeÄ íx2 ÅÅÅíeÄ íxn
Pn
= ín eÄ í i=1 xi
(3) a > õ2 =(n ñ2 ) のとき
= ín eÄ níx
É
d M SE(X )
>0
da
であるので、対数尤度関数は
よって、MSE を最小にする a の値は
log L(í) = n log íÄ n íx
a = õ2 =(n ñ2 )
íで微分して０と置くと
d log L(í)
n
= Änx
dí
í
ê1
ë
=n
Äx = 0
í
よって、
b 1
í=
x
(2) 仮説による制約のないときの最大尤度は
ê ën
ê
1 ë
b) = 1
L(í
exp Än x
x
x
= (x)Ä n eÄ n
である。
É
（注）この a の値を X に代入した
É
1
X
1 + (õ2 =n ñ2 )
ê n ñ2 ë
=
X
n ñ2 + õ2
X =
は、未知母数 ñ と õ2 を含むので厳密には推定量
ではない。
仮説による制約 í= 1 があるときの最大尤度は
・未知母数 ñ と õ2 を不偏推定量で置き換えた推
定量
eÉ =
X
ê
nX
2
2
n X + S2
ë
L(í= 1) = eÄ n x
よって、尤度比は
L(í= 1)
ï=
b)
L(í
X
の小標本特性が
=
eÄ n x
(x)Ä n eÄ n
= (x)n enÄ nx
Tompson, J.R. (1968), Some shrinkage techniques for estimating the mean, Journal of the
= (x e eÄ x )n
American Statistical Association, 63, 113-122.
Srivastava, V.K. (1980), A note on the estimation
of mean in normal population, Metrika, 37, 99-
問１．次の X と Y に関する５つのデータがある。
102.
Xt
2
3
4
5
6
Yt
7
10
8
9
11
このとき、
で論じられている。
Yt = ã+ åXt + ut
問２．x1 ; x2 ; :::; xn を次の密度関数をもつ分布
という回帰モデルを想定して次の問に答えよ。
から抽出された無作為標本とする。
(1) 回帰係数 ã と å の最小自乗推定値を求めよ。
(2) 分散の不偏推定値と t 値を求めよ。
(3) 決定係数を求めよ。
Ä íx
f (xjí) = íe
(1) íの最尤推定値を求めよ。
解．(1) 回帰係数の最小自乗推定値を計算するた
めの表を作ると、
(2) H0 : í= 1 を検定するための尤度比を求めよ。
22
合計
Xt
Yt
xt
yt
x2t
yt2
xt yt
2
3
7
10
-2
-1
-2
1
4
1
4
1
4
-1
4
5
8
9
0
1
-1
0
0
1
1
0
0
0
6
11
2
2
4
4
4
20
45
0
0
10
10
7
(3) 決定係数の値は
P5
e2t
2
R = 1 Ä Pt=1
5
2
t=1 yt
= 1 Ä 5:1=10 = 0:490
問２．もとの回帰モデルを
この表から、
20
45
X=
= 4;
Y =
= 9;
5
5
P5
b = Pt=1 xt yt = 7 = 0:7
å
5
2
10
t=1 xt
b = 9 Ä 0:7 Ç 4 = 6:2
ã
b = Y Ä åX
Yt = ã+ åXt + ut
とする。いま、独立変数 Xt の値をすべて a 倍し
たものを改めて独立変数としたモデル
Yt = ã+ å(a Xt ) + ut
よって、推定された回帰直線は、
Ybt = 6:2 + 0:7Xt
の最小自乗推定値は、もとの最小自乗推定値の 1=a
倍になることを示せ。
解．XtÉ = aXt とすると
(2) 残差を計算するための表を作ると、
合計
et = Yt Ä Ybt
-0.6
1.7
0.36
2.89
Yt
2
3
7
10
7.6
8.3
4
5
8
9
9.0
9.7
-1
-0.7
1.00
0.49
6
11
10.4
0.6
0.36
20
45
0.0
5.10
2
s =
s=
b =
Se(å)
=
Se(b
ã) =
=
b の t 値は
å
n
1X
Xt = aX
n t=1
n
=a
よって、
É
É
xÉ
t = Xt Ä X = aXt Ä aX
= a(Xt Ä X) = a xt
P5
独立変数 Xt の値をすべて a 倍したときの最小自
乗推定値は
Pn
Pn
É
(axt )yt
É
t=1 xt yt
b
P
Pt=1
å =
n
n
É2 =
2
x
t
t=1 (axt )
Pt=1
n
a t=1 xt yt
= 2P
n
a
x2t
Pnt=1
1 t=1 xt yt
1 b
Pn
=
= å
2
a
a
t=1 xt
e2t
5:1
=
= 1:7
nÄ2
3
p
1:7 = 1:304
s
qP
5
2
t=1 xt
p
1:304= 10 = 0:412
v
u
2
u1
X
t
s
+ P5
2
n
t=1 xt
r
1 42
1:304
+
= 1:749
5 10
t=1
bÉ は å
b の 1=a 倍である。
よって、å
b
å
0:7
=
= 1:699
b
0:412
Se(å)
ã
b の t 値は
tb
=
ã
1X É 1X
X =
(a Xt )
n t=1 t
n t=1
n
É
X =
e2t
Xt
この表から、
tå
b=
Ybt
ã
b
6:2
=
= 3:545
Se(b
ã)
1:749
23

Download Report