X - 安部公輔 ( Kousuke ABE )

数理統計学 II
（数理統計の基礎 II）
7 回目 — 部分空間への正射影 —
安部公輔
1 / 23
内容
ベクトル空間の基底
部分空間への正射影
正規直交基底および Schmidt の直交化法
Keywords
基底，正規直交基底，直交化法，正射影
2 / 23
おさらい
ベクトル空間 X
和とスカラー倍で閉じた集合．
x, y ∈ X なら ax + by ∈ X.
典型例は RN .
内積 x, y
抽象的なベクトルに拡張したもの．
x, y = 0 なら x と y は直交しているという．
N
xi yi .
典型例は x, y ∈ RN に対して x, y =
i=1
ノルム x
ベクトルの長さに相当．この講義では x = x, x だけ考
える．
N
N
典型例は x ∈ R に対して x = x2 .
i
i=1
3 / 23
おさらい：部分空間
X はベクトル空間とする．
その部分集合 V ⊂ X がそれ自身ベクトル空間になっているとき，
V は X の部分ベクトル空間であると言う．
V ⊂X
x, y ∈ V =⇒ x + y ∈ V
x ∈ V =⇒ ax ∈ V
原点を通る直線や平面の一般化になっている．
4 / 23
部分空間: 原点を通る直線
x+y
V
y
x
O
和とスカラー倍で閉じている．
5 / 23
部分空間: 原点を通る平面
x+y
V
y
x
O
やはり和とスカラー倍で閉じている．
6 / 23
部分空間の例
RN の直線や平面．
R2 の（原点を通る）直線: ax + by = 0.
R3 の（原点を通る）平面: ax + by + cz = 0.
一般に，斉次線型（一次）方程式で定義される集合．
C n = {n 回連続的微分可能な関数全て } とすると，x, y ∈ C n
なら ax + by ∈ C n だからそれぞれがベクトル空間．
C 0 ⊃ C 1 ⊃ C 2 ⊃ · · · ⊃ C n ⊃ · · · という部分空間の列が得
られる． .
2
d x
2
x ∈ C m 2 = −kx を満たすは C 2 の部分空間．
dt
（実は 2 次元の部分空間）
Sobolev （ソボレフ）空間．細かい話は省略せざるをえない．
偏微分方程式論などを真面目に勉強すると出てくる．
7 / 23
直線の媒介変数（パラメータ）表示
v ∈ RN (v = 0) を一つ固定して，V = {tv | t ∈ R} という集合を
考えると Rn の部分空間になる．
実際
x = tv, y = sv なら x + y = tv + sv = (t + s)v であり，
t + s は当然実数だから x + y ∈ V .
x = tv なら実数 α について αx = (αt)v で αt は実数だから
V の定義を満たしており αx ∈ V .
v を V の方向ベクトルという．
以下の事実は容易に解る．
パラメータ t を介することで V は R と同一視できる．
方向ベクトルは一意ではない．
（実数 p = 0 なら pv も V の方向ベクトルになる．
）
8 / 23
原点を通る平面は？
v, w ∈ RN (v, w = 0, v = kw) を固定して
V = {sv + tw | s, t ∈ R} という集合を考えると，直線の場合と
同様に
x, y ∈ V なら x + y ∈ V
x ∈ V なら αx ∈ V
が示されるので， RN の部分ベクトル空間になっている．
一般化を考える
9 / 23
Spaned subspace
x1 , x2 , · · · , xn ∈ RN としたとき
Span[x1 , x2 , · · · , xn ]
= {a1 x1 + a2 x2 + · · · + an xn | a1 , · · · , an ∈ R}
と定めれば部分空間になる．これを x1 , x2 , · · · , xn が張る部分空間
という．例えば
1
e1 = 0 なら Span[e1 ] ⊂ R2 はいわゆる x 軸
⎛ ⎞
⎛ ⎞
1
0
e1 = ⎝0⎠ , e2 = ⎝1⎠ なら Span[e1, e2] ⊂ R3 はいわゆる
0
0
x-y 平面
場合によっては無駄なベクトルが存在する．除去して必要最低限な
数にした方がすっきりする． → next page
10 / 23
ベクトル空間の基底
x1 , x2 , · · · , xn が以下の条件を満たすとき，一次独立であるという．
ベクトルの一次独立性
a1 x1 + a2 x2 + · · · + an xn = 0 となるのは
a1 = a2 = · · · = an = 0 となるときに限る．
◎ 全てのベクトルの方向が本質的に異なることを意味する．
さらに次の条件を満たすとき，基底であるという．
ベクトル空間の基底
x1 , x2 , · · · , xN は一次独立であり，任意の x ∈ X に対して
a1 x1 + a2 x2 + · · · + aN xN = x となる係数が存在する．
◎
◎
◎
X 全体を無駄無くカバーしていることを意味する．
基底であれば，係数は一意に決まる．
（座標として扱える．
）
基底をなすベクトルの本数＝次元と定義する．
上の状況なら dim X = N . （無限次元もある．
）
11 / 23
正規直交基底
ベクトル空間 X の元 e1 , e2 , · · · , eN が以下の条件を満たすとき，
正規直交基底 (orthonormal basis) であるという．
e1 , e2 , · · · ,eN は X の基底．
1 i=j
ei , ej =
（長さ 1 で互いに直交している）
0 i = j
1
0
2
R における e1 =
, e2 =
や，
0
1
⎛ ⎞
⎛ ⎞
⎛ ⎞
1
0
0
R3 における e1 = ⎝0⎠, e2 = ⎝1⎠, e3 = ⎝0⎠ の一般化．
0
0
1
1
1
1
1
例えば， e1 = √ 1 , e2 = √ −1
も R2 の正規直交
2
2
基底．
12 / 23
成分表示とは？
x1
R のベクトル x =
の各成分は何者か？
x
2
1
0
e1 =
, e2 =
とおけば，それぞれ
0
1
2
x1 = x, e1 , x2 = x, e2 であり，
x = x, e1 e1 + x, e2 e2
になっている．
成分とは，どれだけ各基底方向に向いているかを表す．
正規直交基底の場合，内積をとるだけで求まる．
13 / 23
図示すると
x = x, e1 e1 + x, e2 e2
x, e2 e2
e2
e1
x, e1 e1
14 / 23
部分空間への正射影と正規直交基底での展開
V ⊂ X は部分空間とする．
x ∈ X に対して x
ˆ ⊥ (x − x
ˆ) となる x
ˆ ∈ V がただ一つ存在
する．これを正射影という．
v ∈ V で x − v が最小になるのは v = x
ˆ のとき．
e1 , e2 , · · · , en が V の正規直交基底であれば，
x
ˆ=
n
x, ei ei
i=1
が成り立つ．実際
ˆ
x, x − x
ˆ = ˆ
x, x − ˆ
x, x
ˆ
n
n
=
x, ei 2 −
x, ei 2 = 0
i=1
i=1
15 / 23
イメージ
V
x
x−x
ˆ
x
ˆ
16 / 23
ノルムが最小になること
(x − x
ˆ) ⊥ V であり x
ˆ − v ∈ V であることに注意すると次のよう
にして確認できる．
x − v2 = x − x
ˆ+x
ˆ − v2
= x − x
ˆ, x − x
ˆ + 2x − x
ˆ, x
ˆ − v + ˆ
x − v, x
ˆ − v
x − v2
= x − x
ˆ2 + 0 + ˆ
これが最小になるのは ˆ
x − v2 が最小になるとき，すなわち
v=x
ˆ のときである．
17 / 23
Schmidt の直交化法
V = Span[v1 , v2 , · · · , vn ] の正規直交基底をどう作るか？
v1
e1 =
v1 f2
f2 = v2 − v2 , e1 e1 , e2 =
f2 f3
f3 = v3 − v3 , e1 e1 − v3 , e2 e2 , e3 =
f3 ..
.
fk = vk −
k−1
vk , ei ei ,
i=1
ek =
fk
fk によって帰納的に ei (i = 1, 2, · · · , n) を求めると，正規直交基底
）
になる．
（e1 , e2 , e2 , e3 などを計算してみよ．
これを Schmidt の直交化法という．
（なお， fi = 0 となったら，
独立な成分を含まない事を意味するから vi は無視する．
）
18 / 23
イメージ (e2 )
v2
v2
f2
v1
v1
e2
v2 , e1 e1
e1
e1
f2 = v2 − v2 , e1 e1 で v2 のうち e1 と垂直な成分を抜き出し，
f2
e2 =
で単位ベクトル化する．
f2 19 / 23
イメージ (e3 )
v3
e3
v3 , e1 e1
f3
v3 , e2 e2
v3 , e1 e1 + v3 , e2 e2
e1 成分と e2 成分を引くことで，これらと垂直な成分を抜き出して
から単位ベクトル化．
20 / 23
例題
⎛ ⎞
⎛ ⎞
⎛ ⎞
2
3
5
v1 = ⎝0⎠, v2 = ⎝4⎠, v3 = ⎝6⎠ に対して Schmidt の直交化法
0
0
7
を適用し，正規直交化せよ．
⎛ ⎞
⎛ ⎞
1
0
（この場合は，理解できていれば一瞬で e1 = ⎝0⎠, e2 = ⎝1⎠,
0
0
⎛ ⎞
0
e3 = ⎝0⎠ とわかる．）
1
注意
v の順番が変わると結果も変わる．(v2 と v3 を入れ替えて計算
してみよ．)
このことなども絡み，大きなサイズの問題を数値計算するとき
に問題になることがある．
21 / 23
最小二乗法
⎛
⎞
⎛
⎞
⎛
⎞
x1
y1
yˆ1
⎜ ⎟
⎜ ⎟
⎜ ⎟
x = ⎝ ... ⎠ , y = ⎝ ... ⎠ , yˆ = ⎝ ... ⎠ ∈ RN とすれば，誤差ベク
xN
yN
yˆN
トルは e = y − y
ˆ.
yˆ = bx + a ∈ Span[1, x] だから
最小二乗法 =
N
e2i = e2 の最小化
i=1
= y ∈ RN の Span[1, x] への正射影を導出
次回，重回帰分析と合わせて整理する．
22 / 23
イメージ
Span[1, x]
y
e
yˆ = a1 + bx
23 / 23

Download Report