第 9 回 OLS 推定量の分布

第 9 回 OLS 推定量の分布
村澤康友
2014 年 6 月 18 日
目次
多変量正規分布
1
1.1
密度関数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1
1.2
積率母関数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1
1.3
線形変換 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2
1.4
独立と無相関 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2
2
古典的正規線形回帰モデル
3
3
OLS 推定量の分布
4
1
1 多変量正規分布
1.1 密度関数
定義 1. n 変量正規分布の密度関数は，任意の x ∈ Rn について
(
)
1
f (x) := (2π)−n/2 det(Σ)−1/2 exp − (x − µ)′ Σ −1 (x − µ)
2
ただし Σ は対称行列．
注 1. N(µ, Σ) と書く．
1.2 積率母関数
定理 1. N(µ, Σ) の積率母関数は，任意の t ∈ Rn について
)
(
t′ Σt
M (t) = exp µ′ t +
2
1
証明. X ∼ N(µ, Σ) とすると，任意の t ∈ Rn について
( ′ )
M (t) := E et X
(
)
∫ ∞
∫ ∞
1
t′ x
−n/2
−1/2
′ −1
=
...
e (2π)
det(Σ)
exp − (x − µ) Σ (x − µ) dx1 . . . dxn
2
−∞
−∞
(
)
∫ ∞
∫ ∞
1
−n/2
−1/2
′
′ −1
...
(2π)
det(Σ)
exp t x − (x − µ) Σ (x − µ) dx1 . . . dxn
=
2
−∞
−∞
ここで
1
t′ x − (x − µ)′ Σ −1 (x − µ)
2
)
1 ( ′ −1
= t′ x −
x Σ x − 2µ′ Σ −1 x + µ′ Σ −1 µ
2
(
)
]
1 [ ′ −1
= − x Σ x − 2 µ′ Σ −1/2 + t′ Σ 1/2 Σ −1/2 x + µ′ Σ −1 µ
2
(
)]′ [
(
)]
1[
t′ Σt
= − Σ −1/2 x − Σ −1/2 µ + Σ 1/2 t
Σ −1/2 x − Σ −1/2 µ + Σ 1/2 t + µ′ t +
2
2
′
1
t
Σt
= − [x − (µ + Σt)]′ Σ −1 [x − (µ + Σt)] + µ′ t +
2
2
N(µ + Σt, Σ) の密度関数の n 重積分は 1．
注 2. 積率母関数はすべての次数の積率を与えるので，確率分布を一意に定める．
1.3 線形変換
定理 2. X ∼ N(µ, Σ) なら
AX + b ∼ N(Aµ + b, AΣA′ )
証明. AX + b の積率母関数は，任意の t ∈ Rm について
( ′
)
MAX+b (t) := E et (AX+b)
( ′ ) ′
= E et AX et b
′
= MX (A′ t)et b
(
)
(A′ t)′ Σ(A′ t) t′ b
′
′
= exp µ (A t) +
e
2
(
)
t′ (AΣA′ )t
= exp (Aµ + b)′ t +
2
これは N(Aµ + b, AΣA′ ) の積率母関数．
系 1. X ∼ N(µ, Σ) なら i = 1, . . . , n について
(
)
Xi ∼ N µi , σi2
1.4 独立と無相関
定理 3. X ∼ N(µ, Σ) なら
X1 , . . . , Xn は独立 ⇐⇒ X1 , . . . , Xn は無相関
2
証明. “=⇒” 任意の i ̸= j について
cov(Xi , Xj ) := E((Xi − µi )(Xj − µj ))
∫ ∞∫ ∞
(xi − µi )(xj − µj )fXi ,Xj (xi , xj ) dxi dxj
=
−∞ −∞
∫ ∞∫ ∞
=
(xi − µi )(xj − µj )fXi (xi )fXj (xj ) dxi dxj
−∞ −∞
∫ ∞
∫ ∞
=
(xi − µi )fXi (xi ) dxi
(xj − µj )fXj (xj ) dxj
−∞
−∞
= E(Xi − µi ) E(Xj − µj )
=0
“⇐=” 無相関なので Σ は対角．したがって
det(Σ) = σ12 · · · σn2

1/σ12

..
Σ −1 = 
.
0
0



1/σn2
密度関数に代入すると，任意の x ∈ Rn について
(
)
1
′ −1
fX (x) := (2π)
det(Σ)
exp − (x − µ) Σ (x − µ)
2
(
)
n
2
∑
(
)
1
(x
−
µ
)
−1/2
i
i
= (2π)−n/2 σ12 . . . σn2
exp −
2 i=1
σi2
(
)
(
)2
n
∏
1 xi − µi
1
√
=
exp −
2
σi
2πσi
i=1
−n/2
−1/2
= fX1 (x1 ) · · · fXn (xn )
2 古典的正規線形回帰モデル
大きさ n の (1 + k) 変量データを (y, X) とする．
定義 2. y の X 上への古典的正規線形回帰モデルは
(
)
y|X ∼ N Xβ, σ 2 In
注 3. 誤差項を用いて表すと
y = Xβ + u,
(
)
u|X ∼ N 0, σ 2 In
3
3 OLS 推定量の分布
β の OLS 推定量は
定理 4.
b = (X ′ X)−1 X ′ y
(
)
b|X ∼ N β, σ 2 (X ′ X)−1
証明. X を所与として b は y の線形変換．
4

Download Report