統計学第 7 回 Revised at 12:54, May 13, 2014 独立な確率変数の和とたたみ込み 7 7.1 http://my.reset.jp/˜gok/math/statistics/ 1 X, Y が独立であってそれぞれ密度 f (x), g(y) をもつ場合は、その独立性から P [(X, Y ) ∈ J × K] = P [X ∈ J]P [Y ∈ K] Z Z = f (x)dx · g(y)dy J K æ Z ΩZ = f (x)g(y) dx dy J ZK Z = f (x)g(y) dxdy 多次元の密度から成分の密度を得る事２次元の確率変数 (X, Y ) の密度関数が h(x, y) であるとき、各成分確率変数 X, Y それぞれの密度はどうなっているか見てみます。 v ≤ X ≤ w であると云う事は、２次元の確率変数 (X, Y ) としては Y の方はどんな値でも良いわけですから (X, Y ) ∈ [v, w] × (−1, 1) であると考えられ、 æ Z w ΩZ 1 P [v ≤ X ≤ w] = P [(X, Y ) ∈ [v, w] × (−1, 1)] = h(x, y)dy dx v −1 R1 となります。これは２変数関数 h(x, y) を y で積分して出来る x の関数 −1 h(x, y)dy R1 が X の密度である事を意味しています。全く同様に Y の密度は −1 h(x, y)dx です。 J×K となりますから、２次元の確率変数 X = (X, Y ) の密度は各成分の密度の積 f (x)g(y) になっている事が分かります（３次元以上の場合も同様）。この様に、多次元の密度（同時密度と言います）が分かれば、各成分ごとの１次元確率変数の密度（周辺密度と言います）も積分計算によって分かってしまいます。事実 7.2.2 独立な成分をもった多次元確率変数の密度関数は、各成分の密度関数の積になります。 7.2 確率変数の独立性と成分の密度から多次元の密度を得る事例えば X, Y が共に [0, 1] 区間上に一様に分布していたとしても、X = Y であれば X = (X, Y ) は対角線 y = x 上にしか分布しませんが、X と Y が無関係であれば X は長方形 [0, 1] × [0, 1] 全体に分布しています。この様に、２次元の確率変数において各成 7.3 ２次元確率変数から派生する確率変数の期待値２次元の確率変数 (X, Y ) が与えられた時、これを使って例えば X + Y であるとか分の分布が分かっていても成分同士の相互関係が分からなければ全体としての２次元 XY などの（１次元）確率変数を考える事が出来ます。この場合これら派生した確率変の分布は分かりません。ここでは最も簡単な成分同士が無関係である場合を見てみま数の期待値は次のように計算されます：しょう。確率変数 X1 , . . . , Xn のそれぞれがどの程度の値をとるかと云う事柄同士が無関係であるとき、これらは独立であると言います。正確には確率論で学んだ事象の独立性、つまり、事象 A1 , . . . , An が独立であるとは、P [A1 ∩ · · · ∩ Aj ] = P [A1 ] · · · P [An ] となる事であったのを思い出せば、X1 , . . . , Xn の独立性は、各 Xj が区間 Jj に含まれる（＝その程度の値をとる）と云う事象同士の独立性によって次の様に定義されます：定義 7.3.1 ２次元の確率変数 (X, Y ) の密度関数が h(x, y) であるとき、右辺の積分が存在する様な良い関数 w(x, y) に対して、 æ Z 1 ΩZ 1 E[w(X, Y )] = w(x, y)h(x, y)dx dy −1 −1 を（派生した）確率変数 w(X, Y ) の期待値と言います。定義 7.2.1 確率変数のファミリー X1 , . . . , Xn が、任意の区間 J1 , . . . , Jn に対して P [X1 ∈ J1 , . . . , Xn ∈ Jn ] = P [X1 ∈ J1 ] · · · P [Xn ∈ Jn ] を満たすとき、これらは独立（independent）であると言います。 7.3.1 独立な成分の積確率変数 X, Y は独立であるとし、有限な平均・分散をもつものとします。統計学第 7 回 Revised at 12:54, May 13, 2014 このとき、X, Y の密度をそれぞれ f (x), g(x) とすれば (X, Y ) の密度関数は積 f (x)g(y) http://my.reset.jp/˜gok/math/statistics/ 特に X, Y が独立であればさっき見た様に共分散は 0 ですからになりますから æ E[XY ] = xyf (x)g(y)dx dy −1 −1 Z 1 Z 1 = xf (x)dx yg(y)dy Z 1 ΩZ −1 = E[X]E[Y ] が分かります。また、X − E[X] と Y − E[Y ] も独立ですから共分散は０です： Cov[X, Y ] = E[(X − E[X])(Y − E[Y ])] = E[X − E[X]]E[Y − E[Y ]] = 0 7.3.2 V ar[X + Y ] = V ar[X] + V ar[Y ] 1 −1 成分の和任意の実数 a, b, c に対して E[ aX + bY + c ] æ Z 1 ΩZ 1 = (ax + by + c)h(x, y)dx dy −1 −1 æ Z 1 ΩZ 1 Z 1 ΩZ = axh(x, y)dx dy + æ byh(x, y)dx dy −1 −1 −1 −1 æ Z 1 ΩZ 1 + ch(x, y)dx dy −1 −1 æ æ Z 1 ΩZ 1 Z 1 ΩZ 1 =a x h(x, y)dy dx + b y h(x, y)dx dy −1 −1 −1 −1 æ Z 1 ΩZ 1 +c h(x, y)dx dy 1 −1 と計算され、分散もそれぞれの分散の和になります。 7.4 独立な確率変数の和とたたみこみ成分が独立な２次元確率変数 X = (X, Y ) を考えます。任意にとって固定した実数 t に対して、不等式 x + y ≤ t を満たす点 (x, y) の全体からなる領域を Dt とすれば P [X + Y ≤ t] = P [(X, Y ) ∈ Dt ] ですが、領域 Dt は連立不等式：  −1 < x ≤ t − y −1 < y < 1 で表され、また前に見た様に X の密度は各成分の密度 f (x), g(x) の積になったので、 ZZ P [X + Y ≤ t] = f (x)g(y)dxdy = −1 = = aE[X] + bE[Y ] + c となっている事が分かります。この様に和の期待値は期待値の和ですが、分散は、 V ar[X + Y ] = E[(X + Y − E[X] − E[Y ])2 ] = E[(X − E[X])2 ] + 2E[(X − E[X])(Y − E[Y ])] + E[(Y − E[Y ])2 ] = V ar[X] + 2Cov[X, Y ] + V ar[Y ] となって和の分散は分散の和にはならない事が分かります。しかしそうならない原因は式の通り共分散にあるわけですから、共分散が０になる、つまり、X, Y の間に（線形）関係が全くなけば上手く行く様に思われます。 2 Z Dt 1 ΩZ t−y −1 1 Z −1 −1 t−y ΩZ −1 æ f (x)g(y)dx dy æ f (x)dx g(y)dy となります。中の積分に於いて x = z − y と云う変数変換をすれば æ Z 1 ΩZ t = f (z − y)dz g(y)dy −1 −1 となり、積分範囲が全て定数ですので長方形と考え、積分の順序を交換して æ Z t ΩZ 1 P [X + Y ≤ t] = f (z − y)g(y)dy dz −1 となります。従ってこの最後の括弧の中のりません。そこで −1 R1 −1 f (z − y)g(y)dy が X + Y の密度に他な統計学第 7 回 Revised at 12:54, May 13, 2014 −1 と定義すれば、互いに独立な２つの確率変数 X, Y の密度関数がそれぞれ f (x), g(x) であるとき、X + Y の密度関数はたたみこみ (f ∗ g)(x) となる事が分かりました。正規分布 N (0, t) の密度を Nt (x) として N1 ∗ N1 を計算してみると、 Z 1 (x−y)2 y2 1 1 √ e− 2 √ e− 2 dy (N1 ∗ N1 )(x) = 2π 2π −1 Z 1 ≥ 2 ¥ 2 1 − y −xy+ x2 = e dy 2π −1 Z 1 x 2 x2 1 = e− 4 e−(y− 2 ) dy 2π −1 となります。更に y − 7.4.1 3 独立な正規分布の和 7.5 定義 7.4.1 関数 f と g のたたみこみ（convolution）f ∗ g を次の様に定義します： Z 1 (f ∗ g)(x) = f (x − y)g(y)dy. http://my.reset.jp/˜gok/math/statistics/ x 2 たたみこみの具体計算例題 7.4.2 区間 (0, 1) 上の一様分布の密度関数を f (x) とするとき、たたみこみ f ∗ f を求めて下さい。 = z と云う風に変数変換すれば、Gauß積分が出て来て Z 1 − x2 1 −z2 4 = e e dz 2π −1 x2 1 =√ e− 2·2 2π · 2 =N2 (x) が得られますから、丁度分散が 1 + 1 = 2 の正規分布になっている事が分かります。同様に計算すれば、一般の分散の場合も分散の和：Ns ∗ Nt = Ns+t となる事が分か  1 0 < x < 1 f (x) = 0 otherwise ですから、 (f ∗ f )(x) = Z 1 −1 f (x − y)f (y)dy = ります（演習問題）。また、平均が０でない場合や n 個の独立な正規分布 N (m, t) の和については Z 0 X1 + · · · + Xn = (X1 − m) + · · · + (Xn − m) + nm 1 f (x − y)dy から平均 nm、分散 nt の正規分布に従う事が分かり、この結果と前のセクションの定数倍の結果を合わせれば次の結果が得られます：となります。ここで被積分関数は 0 < x − y < 1 すなわち x − 1 < y < x である範囲以外では０となるのでこの範囲 [x − 1, x] が積分区間 [0, 1] とどう交わるかが問題となります。これを x の値によって場合分けすれば    0     R x dy (f ∗ f )(x) = R01   dy  x−1    0 となります。これは三角分布ですね。 x≤0 0≤x≤1 1≤x≤2 2≤x =    0     x   −x + 2     0 x≤0 0≤x≤1 1≤x≤2 2≤x 定理 7.5.1 独立な確率変数 X1 , . . . , Xn は全て平均値 m、分散 t > 0 の正規分布に従うものと仮定します。このとき X1 +···+Xn n ° ¢ は正規分布 N m, nt に従います。袋の中に正規分布 N (m, t) が入っているとし、この袋から n 回復元抽出した結果を X1 , . . . , Xn としましょう。このとき各 Xj は全て同じ分布 N (m, t) に従い、独立です。つまり X1 , . . . , Xn は上の定理の仮定を満たしていますからその主張が成り立ち、n が十分大きければ n 回の復元抽出の結果の平均値は m のごく近くに密集する事になります。統計学第 7 回 Revised at 12:54, May 13, 2014 7.6 独立な正規分布の比 7.7 http://my.reset.jp/˜gok/math/statistics/ 4 問題演習２次元確率変数 X = (X, Y ) は独立な成分をもち、各成分はいずれも標準正規分布に従っているとします。２次元の同時密度関数は成分の周辺密度の積ですから X の密度関数は 1 − x2 1 − y2 1 − x2 +y2 2 e 2 · e 2 = e 2π 2π 2π となります。このとき派生確率変数 X Y はどんな密度をもつでしょうか（分母が０にな基本演習 7.1 f (x) = 12 e−|x| とするとき、たたみ込み f ∗ f を求めて下さい。基本演習 7.2 ２つの異なるコイン A, B があります。これらをコイントスした結果によって３つの確率変数を次の様に定めます：る事もあるわけですがその確率は０ですから気にしない事にします）。確率変数 X ：コイン B の結果によらず、コイン A が表なら 1、裏なら 0。 t > 0 のとき、 ∑ ∏ ∑ ∏ ∑ ∏ X X X P ≤t =P ≤ t, Y > 0 + P ≤ t, Y < 0 Y Y Y 確率変数 Y ：コイン A の結果によらず、コイン B が表なら 1、裏なら 0。 = P [X ≤ tY, Y > 0] + P [X ≥ tY, Y < 0] Z 1 Z ty Z 0 Z 1 1 − x2 +y2 1 − x2 +y2 2 2 = e dxdy + e dxdy 0 −1 2π −1 ty 2π Z 1Z t Z 0 Z −1 1 − (yz)2 +y2 1 − (yz)2 +y2 2 2 = e ydzdy + e ydzdy 2π 0 −1 2π −1 t Z 1Z t Z 0 Z t (z 2 +1)y 2 (z 2 +1)y 2 1 1 − 2 = e ydzdy − e− 2 ydzdy 2π 0 2π −1 −1 −1 Z t Z 1 Z t Z 0 (z 2 +1) 2 (z 2 +1) 2 1 1 = e− 2 y ydydz − e− 2 y ydydz 2π −1 0 2π −1 −1 ∏1 ∏0 Z t ∑ Z t ∑ 2 2 1 1 1 1 − z 2+1 y 2 − z 2+1 y 2 = − 2 e dz − − 2 e dz 2π −1 z +1 2π −1 z +1 0 −1 ∂ Z t Z t µ 1 1 1 1 = dz − − dz 2π −1 z 2 + 1 2π −1 z2 + 1 Z t 1 1 = dz π z2 + 1 −1 となっており、t < 0 の時も同様の結果が得られますのでこの被積分関数が求める密度関数である事が分かります。これは Cauchy 分布です。確率変数 Z ：どちらか一方のみが表なら 1、それ以外なら 0。（１）X, Y, Z, (X, Y ), (Y, Z), (Z, X), (X, Y, Z) それぞれの確率分布表を書いて下さい。（２）X と Y が独立である事は自明ですが、X と Z も独立である事を示して下さい。従って Y と Z も独立であることになるでしょう。（３）X, Y, Z は独立ではない事を示して下さい。基本演習 7.3 正規分布 N (0, t) の密度関数を Nt で表します。Ns ∗ Nt = Ns+t とな R1 √ 2 る事を示して下さい。ただし Gauß積分 −1 e−x dx = π は既知とします。発展演習 7.4 長方形領域 D：[0, 1] × [1, 3] 上に一様に分布した確率変数を (X, Y ) とするとき、各成分確率変数 X, Y はどんな密度関数をもつか調べて下さい。発展演習 7.5 ２次元の確率変数 Z = (X, Y ) は密度関数 2 +y 2 1 −x 2π e 2 をもつとします。このとき各成分確率変数 X, Y の密度関数を求め、また、X, Y が独立であるかどうかも調べて下さい。発展演習 7.6 次の三角分布の分布密度関数：    x+1 −1 ≤ x ≤ 0   w(x) = −x + 1 0 ≤ x ≤ 1    0 otherwise に対してたたみ込み w ∗ w を計算して下さい。平成26 年度前学期課題 7.1 たたみ込みの対称性：f ∗ g = g ∗ f を証明して下さい。課題 7.2 区間 [0, 1], [2, 3] それぞれの上の一様分布の密度関数を f, g とします。このときたたみ込み f ∗ g を求めて下さい。統計学第7回課題氏名学学番年科号