8.1 分位点回帰

平成 25 年度ミクロ計量経済学
講義ノート 8 分位点回帰
このノートでは、分位点回帰の手法を解説する。分位点回帰とは、被説明変数の、説明
変数で条件づけた分布の分位点をモデル化し、推定するものである。なお、通常の回帰分析
では、被説明変数の説明変数で条件づけた「期待値」が分析の対象となる。しかし、期待値
を調べるだけでは、分析ができない問題もある。分位点回帰を行うことで、より詳細な説明
変数と被説明変数の関係を得ることができるため、近年では分位点回帰の利用は盛んになっ
てきている。また、期待値は、異常値に影響されやすいが、分位点回帰は異常値に対して頑
健であるため、異常値のあるデータで、その影響を避けるために分位点回帰を使用すること
もある。分位点回帰について基本的な内容は、Koenker (2005) にまとめられている。
8.1
分位点回帰
線形回帰式 y = β ′ x + ϵ を考える。しかし、通常の仮定である E(ϵ|x) = 0 の代わりに、
quantα (ϵ|x) = 0,
| {z }
(1)
α−分位点
つまり、Fϵ|x を ϵ の x で条件づけた条件付き分布として、
Fϵ|x (0) = α
(2)
を仮定する。y の分位点で表現すると、上のモデルでは、quantα (y|x) = β ′ x となる。たと
えば、メディアン回帰では、med(ϵ|x) = quant0.5 (ϵ|x) = 0、あるいは med(y|x) = β ′ x と
なる。
• 分位点処置効果の解釈には注意が必要である。処置の前後での同じ水準での分位点の
違いを計測しているに過ぎない。これは、ある分位点にいた個人がどれほどの処置効
果を得たかを示すものでは必ずしもない。もし、処置が結果の順位に影響を与えない
なら、個人への処置効果という解釈もできる。
Lehmann-Doksum による分位点回帰の基礎付け x = D とし、説明変数が 2 項変数の
場合を考える。仮に、D = 1 のとき、y の分布が G であり、D = 0 になると F になるとす
る。F と G の間には、次のように
F (y) = G(y + ∆(y))
(3)
という関係にあるとする。さて、このとき、
∆(y) = G−1 (F (y)) − y
(4)
である。さて、α = F (y) であるような y における変化を考え、それを δ(α) と表記すると、
上の式を変形して、
δ(α) = G−1 (F (y)) − y = G−1 (α) − F −1 (α)
(5)
となる。これを D の α での分位点処置効果という。
分位点処置効果と分位点回帰の関係は次のようになる。y の D で条件づけた分位点は、
quantα (y|D) = F −1 (α)(1 − D) + G−1 (α)D
(6)
とかける。これを書き換えると、
quantα (y|D) = F −1 (α) + (G−1 (α) − F −1 (α))D = F −1 (α) + δ(α)D
(7)
となる。つまり、分位点回帰における D の係数が分位点処置効果である δ(α) となる。分位
点回帰は、上の D を連続で多変数の場合に自然に拡張したものと考えることができる。
1
8.2
推定
分位点回帰の推定には、チェック関数と呼ばれる、次の
ρα (z) = α|z|{z > 0} + (1 − α)|z|{z ≤ 0}
(8)
という関数を用いた極値推定量を使用する。つまり、推定量は、
1∑
βˆ = arg min
ρα (yi − β ′ xi )
β n
n
(9)
i=1
である。なお、ρα がチェック関数と呼ばれるのは、グラフがチェック印に似ているからで
ある。
Figure 1: チェック関数
1-a/sqrt(a(1-a))
a/sqrt(a(1-a))
次の定理で、チェック関数の期待値が、分位点を最小詞として持つことを述べる。
定理 1 (チェック関数の性質).
yi = β + ϵ,
quantα (ϵ) = 0
(10)
のとき、β = quantα (y) は、E(ρα (y − b)) の最小詞である。
証明. 次の二つの b の値を比べる。ひとつは β = quantα (y) である。もう一つは、b < β と
する。次を示す。
R1 = E(ρα (y − β)) ≤ R2 = E(ρα (y − b)).
そのために、次の展開を行う。
∫ b
∫
R2 − R1 = − (1 − α)
((y − b) − (y − β))dFy + α
∫
+α
b
−∞
β
∫
(y − b)dFy − (1 − α)
∞
((y − b) − (y − β))dFy
(11)
(12)
β
β
(y − β)dFy
(13)
b
=(1 − α)(b − β)Fy (b) − α(b − β)(1 − Fy (β))
∫ β
− α(b − β)(Fy (β) − Fy (b)) + (2α − 1)
(y − β)dFy .
b
2
(14)
(15)
Figure 2: チェック関数と分位点
delta a
1-a
a
b1
b2
a
ここで、Fy (β) = α であるので、
R2 − R1 = (1 − α)(b − β)Fy (b) − α(b − β)(1 − α)
∫ β
−α(b − β)(α − Fy (b)) + (2α − 1)
(y − β)dFy
b
∫ β
= −(b − β)(α − Fy (b)) + (2α − 1)
(y − β)dFy
b
∫ β
∫ β
(y − β)dFy .
(y − β)dFy + 2(α − 1)
= −(b − β)(α − Fy (b)) +
b
(16)
(17)
(18)
(19)
b
ここで、b < β なので、
∫
β
∫
(y − β)dFy ≥
b
β
(b − β)dFy = (b − β)(α − Fy (b))
(20)
b
となり、また、1 > α であることから、
∫ β
2(α − 1)
(y − β)dFy ≥ 0
(21)
b
である。したがって、
R2 − R1 ≥ 0
(22)
となる。b > β の場合も同様に証明できる。
次に、分位点回帰の場合に、チェック関数を用いた推定ができることを見る。モデルは、
y = β0′ x + ϵ かつ quantα (ϵ|x) = 0 である。このとき、quantα (y|x) = β0′ x なので、明らか
に、すべての x について、
arg min E(ρα (y − β ′ x)|x) = β0
β
(23)
である。従って、x の関数を適当に v(x) と取ると、
β0 = arg min E(v(x)ρα (y − β ′ x))
3
(24)
となる。v(x) = 1 を取る場合には、通常の分位点回帰の推定問題に対応する。上の式の自然
な標本での対応は、
1∑
βˆ = arg min
ρα (yi − x′i β) = 通常の分位点回帰推定量
β n
n
(25)
i=1
であろう。たとえば、α = 1/2 であるなら、
1∑
|yi − x′i β|
βˆ = arg min
β n
n
(26)
i=1
となり、LAD (least absolute deviation) 推定量となる。
8.3
漸近理論
一致性極値推定量の理論をそのままあてはめて証明できる。つまり、推定の際の目的関数
の極限の最小詞が真の母数となっているので、あとは、一様収束と最小詞が強い意味での最
小詞であることを証明すればよい。
漸近分布
βˆ の漸近分布の導出は、少し通常の漸近理論の適用はできない。問題点は、
1∑
|yi − β ′ xi |
n
n
Qn (β) =
(27)
i=1
が (β の関数として) 滑らかでないことである。
• xi がスカラーの時の Qn の形状は、Figure 3 にある。
Figure 3: 分位点回帰の目的関数
Q
beta
|y-x’beta|
x
x
beta
従って、滑らかでない目的関数の場合の漸近正規性の定理を使う。まず一般的な定理を
∑
述べる。Qn (θ) = ni=1 g(xi ; θ)/n を目的関数とし、θˆn = arg max Qn (θ) とする。
定理 2 (van der Vaart (1998, Theorem 5.23)). θˆn は一致性をもつと仮定する。以下の条件
が満たされるとする。
1. g(xi ; θ) は θ0 で、確率１で微分可能;
4
2. E [{∂g(xi ; θ)/∂θ}{∂g(xi ; θ)/∂θ}′ ] ≡ S < ∞;
3. E{g(x; θ)} (θ の関数である) は θ0 のまわりで 2 次のテイラー展開をすることができ
る。つまり、
1
∂2
E{g(x; θ)} = E{g(x; θ0 )} + (θ − θ0 )′
E{g(x; θ0 )}(θ − θ0 ) + o(||θ − θ0 ||); (28)
2
∂θ∂θ′
4. θ0 の近傍 N で、∀θ1 , θ2 ∈ N 、
||g(x; θ1 ) − g(x; θ2 )|| ≤ ρ(x)||θ1 − θ2 ||
(29)
で、E{|ρ(x)|2 } < ∞ (リプシッツの条件)、となるものが存在する。
5. ∂ 2 E {g(xi ; θ0 )} /∂θ∂θ′ ≡ H は正値定符号。
このとき、
√
n(θˆn − θ0 ) →d N (0, H −1 SH −1 )
(30)
となる。
証明は省略するが、証明のポイントは、Qn は滑らかではなくとも、Q は滑らかである
と仮定することにより、Qn が滑らかな場合と同じように議論をすることができるというこ
とである。
上記の定理を用いて、分位点回帰推定量の漸近分布を求める。ここでは、α = 1/2 の場
合を考える。つまり、βˆ が LAD 推定量の場合である。この場合、
1∑
|yi − x′i β|
n
n
Qn (β) =
(31)
i=1
となる。なお、他の α の値の場合も同様に議論できる。
まず、条件 1 については、ϵ がメディアンの値を確率 0 で取るならば満たされることが
∂
わかる。また、条件 2 については、 ∂β
|y − x′ β| = sign(y − x′ β)x であるので、S = E(xx′ )
となる。条件 4 については、S = E(xx′ ) が有界であれば満たされることがわかる。
条件 3 を確かめる。もともとの目的関数の代わりに、以下の関数を考える。




Q(β) = E(|yi − x′i β| − |yi − x′i β0 |) = E E(|yi − x′i β| − |yi − x′i β0 ||x) .
|
{z
}
(32)
Qx (β)
すると、
Qx (β) = E(|yi − x′i β| − |yi − x′i β0 ||x) = E(|ϵ − x′ (β − β0 )| − |ϵ||x).
(33)
ここで、θ ≡ x′ (β − β0 ) と定義する。
Qx (β) = E(|ϵ − θ| − |ϵ||x).
5
(34)
一般性を失わずに、0 < θ の場合を考える。
∫ ∞
Qx (β) =
(|ϵ − θ| − |ϵ|)dFϵ|x
−∞
∫ 0
=
−∞
∫
θdFϵ|x +
θ
(35)
∫
∞
(θ − 2ϵ)dFϵ|x +
0
−θdFϵ|x
(36)
θ
∫
θ
= θFϵ|x (0) + θ(Fϵ|x (θ) − Fϵ|x (0)) − 2
ϵdFϵ|x − θ(1 − Fϵ|x (θ))
0
∫ θ
= 2θFϵ|x (θ) − 2
ϵdFϵ|x − θ
0
∫ θ
∫ θ
dϵFϵ|x (ϵ)
dϵ − 2
ϵdFϵ|x − θ
= 2
dϵ
0
0
∫ θ
∫ θ
∫ θ
= 2
Fϵ|x dϵ + 2
ϵdFϵ|x − 2
ϵdFϵ|x − θ
0
0
0
∫ θ
= 2
Fϵ|x dϵ − θ
(37)
(38)
(39)
(40)
(41)
0
∫
= 2
x′ (β−β0 )
Fϵ|x dϵ − x′ (β − β0 ).
(42)
0
この式から、“H” を計算することができる。
( ∫ ′
)
x (β−β0 )
∂2
∂2
′
Ex (Qx (β)) =
E 2
Fϵ|x dϵ − x (β − β0 ) (43)
∂β∂β ′
∂β∂β ′
0
)
(
∫ x′ (β−β0 )
∂2
Fϵ|x dϵ
(44)
= E
2
∂β∂β ′ 0
(
)
∂
′
′
= E
2F (x (β − β0 ))x
(45)
∂β ϵ|x
(
)
= 2E fϵ|x (x′ (β − β0 ))xx′
(46)
∂2
Q(β) =
∂β∂β ′
と計算できる。したがって、β0 で
(
)
∂2
′
Q(β)
=
2E
f
(0)xx
ϵ|x
∂β∂β ′
(47)
となる。なお、条件 5 のためには、最後の行列は、有界で非特異であると仮定する。
したがって、
√
n(βˆ − β0 ) →d N (0, V )
(48)
であることを証明できた。なお、
1
V = E(fϵ|x (0)xx′ )−1 E(xx′ )E(fϵ|x (0)xx′ )−1
4
である。
• 詳しい解説は、Pollard (1991) を見よ。
6
(49)
1. もし、fϵ|x (0) = fϵ (0) のように、x に依存しないことが仮定できるのであれば、
V =
1 1
E(xx′ )−1
4 fϵ (0)2
(50)
となる。これは、通常の回帰における分散均一の仮定に相当する。
2. α ̸= 1/2 のときも、
√
n(βˆ − β0 ) →d N (0, V ),
(51)
V = α(1 − α)E(fϵ|x (0)xx′ )−1 E(xx′ )E(fϵ|x (0)xx′ )−1
(52)
となるが、
である。
8.4
標準誤差
漸近分散 V の推定はそれほど単純ではない。
一つの方法は、ノンパラメトリックカーネル法を使用することである。“分散均一” の場
合は、
1 ∑
K
fˆϵ (0) =
nb
n
i=1
(
ϵˆi − 0
b
)
(53)
として推定し、V の推定量を構築するとよい。“分散不均一に頑健” な漸近分散推定量とし
ては、
(
)
1∑1
ϵˆi − 0
′
E(fϵ|x (0)xx ) =
K
xi x′i
(54)
n
b
b
を使うことができる。
他には、ブートストラップを使用することも考えられる。Hahn (1995) を見よ。しかし、
分位点回帰の場合は、漸近精密化ができず、そのためには目的関数を滑らかにする必要があ
ることも知られている。(Horowitz, 1998) を見よ。なお、目的関数を滑らかにする手法は、
推定量の計算にも有用であることが知られている (Hitomi and Kagihara, 2001)。
8.5
補足: 分位点回帰の頑健性
(y1 , x1 ), . . . , (yn , xn ) というデータセットのもとで、
βˆ = arg min
n
∑
α|yi − x′i β|1{yi − x′i β > 0} + (1 − α)|yi − x′i β|1{yi − x′i β < 0}
(55)
i=1
であるとする。ここで、yi を yiN EW で置き換える。ここで、yiN EW は次の条件を満たすよ
うに定義される。もし、yi − x′i βˆ > 0 なら yiN EW − x′i βˆ > 0 であり、逆に yi − x′i βˆ < 0 なら、
yiN EW − x′i βˆ < 0 とする。この時、
βˆ = arg min
n
∑
ρα (yiN EW − x′i β)
i=1
となり、推定量は変化しない。
7
(56)
理由は、次のように説明できる。ただし、以下の説明は理論的には不十分であり、あく
までも概略を知るために大雑把に行っている。一次の条件をみると、
n
∑
[
=
i=1
n
∑
[
α(−xi )(1 − 1{yi − x′i β ≤ 0}) + (1 − α)xi 1{yi − x′i β ≤ 0}
]
−α + 1{yi − x′i β ≤ 0} xi
]
(57)
(58)
i=1
となる。あるいは、
1∑
(α − 1{yi − x′i βˆ ≤ 0})xi = 0
n
n
(59)
i=1
であるので、一次の条件変化がないのである。
References
[1] J. Hahn. Bootstrapping quantile regression estimators. Econometric Theory, 11(1):105–121,
1995.
[2] K. Hitomi and M. Kagihara. Calculation method for nonlinear dynamic least absolute deviations estimator. Journal of the Japan Statistical Society, 31(1):39–51, 2001.
[3] J. L. Horowitz. Bootstrap methods for median regression models. Econometrica, 66(6):1327–
1351, 1998.
[4] R. Koenker. Quantile Regression. Econometric Society Monographs. Cambridge University
Press, 2005.
[5] D. Pollard. Asymptotics for least absolute deviation regression estimators. Econometric Theory,
7(2):186–199, 1991.
8

Download Report