復習 (確率)
確率変数
加法性白色ガウ ス雑音通信路
情報通信と 符号化
韓 承鎬
電気通信大学
第四回目
1 / 24
復習 (確率)
確率変数
加法性白色ガウ ス雑音通信路
標本空間と 事象
確率
標本空間
試行： 結果がラ ン ダム に 起き る よ う な 実験
標本点： 試行の結果生じ う る 個々 の結果
標本空間（ Ω）： 標本点の全体の空間
事象と 演算
標本空間 Ω での２ つの事象 E， F に 対し て
1
和事象： E ∪ F
2
積事象： E ∩ F
3
補事象： Ē
4
差事象： E/F
5
∪ と ∩ に 対し て 、 結合律と 分配律が成り 立つ
2 / 24
復習 (確率)
確率変数
加法性白色ガウ ス雑音通信路
標本空間と 事象
確率
確率 Pr{E}： 事象 E の起こ り やすさ を 計る 尺度
Definition
次の公理（ コ ルモゴロ フ の公理） を 満たす Pr{ } を 確率と いう .
1
任意の事象 E に 対し て ,0 ≤ Pr{E} ≤ 1
2
全事象 Ω に 対し て ,Pr{Ω} = 1
3
共通の標本な い事象 E,F に 対し て ,
Pr{E ∪ F} = Pr{E} + Pr{F}
3 / 24
復習 (確率)
確率変数
加法性白色ガウ ス雑音通信路
標本空間と 事象
確率
性質
任意の事象 E に 対し て ,Pr{E} + Pr{Ē} = 1
任意の事象 E, F に 対し て ,Pr{E} = Pr{E ∩ F} + Pr{E ∩ F̄}
E ⊂ F のと き ,Pr{E} ≤ Pr{F}
任意の事象 E, F に 対し て ,
Pr{E ∪ F} = Pr{E} + Pr{F} − Pr{E ∩ F}
4 / 24
復習 (確率)
確率変数
加法性白色ガウ ス雑音通信路
標本空間と 事象
確率
条件付き 確率
Definition
条件付確率事象 E, F に 対し て ,Pr{F} =
6 0 のと き
Pr{E|F} =
Pr{E ∩ F}
Pr{F}
で定義さ れる Pr{E|F} を 事象 F が起き る 条件下での事象 E の条件
付確率と いう .
Definition
確率の積の公式
Pr{E ∩ F} = Pr{E|F} Pr{F} = Pr{F|E} Pr{E}
5 / 24
復習 (確率)
確率変数
加法性白色ガウ ス雑音通信路
標本空間と 事象
確率
独立性
Definition
独立事象事象 F に 事象 E に 関数する 情報が含ま れて な いと き ， つ
まり
Pr{E|F} = Pr{E}
のと き ， 事象 E と F は独立である と いう ．
互いに 独立な 事象 E, F に 対し て
Pr{E ∩ F} = Pr{E} Pr{F}
6 / 24
復習 (確率)
確率変数
加法性白色ガウ ス雑音通信路
標本空間と 事象
確率
ベイ ズ定理
Theorem
事象 E と F に対し て ， 事象 F が起き る 前の事象 E の確率 Pr{E} を
事前確率と いい， 事象 F が起き たあ後での事象 E の確率 Pr{E|F}
を 事後確率と よ ぶ． ベイ ズ定理に よ れば， 事象 F の事後確率は
Pr{F|E} =
Pr{E|F} Pr{F}
Pr{E}
で計算さ れる ．
7 / 24
復習 (確率)
確率変数
加法性白色ガウ ス雑音通信路
定義
Definition
標本空間 Ω で定義さ れた実数値関数 X (ω) を 確率変数と いう ． 試
行の結果 ω が確定する と ， 確率変数 X は一つの値 X (ω i ) に 定ま
る が， こ の値を X (ω) の実現値と いう ． 任意の一次元区間
I = (a, b] に おいて ， 事象
E = {ω|X (ω) ∈ I}ω ∈Ω
が生じ る 確率 Pr{E} を 確率変数 X (ω)(記述の便宜上 X と 記する )
の確率分布 と いい， I = (−∞, x] のと き の確率関数
FX (x) := Pr {X (ω) ∈ (−∞, x]}
を X の分布関数と よ ぶ．
8 / 24
復習 (確率)
確率変数
加法性白色ガウ ス雑音通信路
離散的な 場合
確率変数 X のと り 得る 値が x1 , x2 , · · · と 番号付け ら れる と き ， X
の確率分布は
PX (xi ) := Pr{X = xi }
であり ， 任意の区間 I に 対し
Pr{X ∈ I} =
X
PX (xi )
i∈I
と なる ．
9 / 24
復習 (確率)
確率変数
加法性白色ガウ ス雑音通信路
連続の場合
任意の一次元区間 I = (a, b] に 対し て
Pr{a ≤ X ≤ b} =
Z
b
fX (t)dt ≤ 1
a
と な る 関数 f (t) を 連続的な 確率変数 X の確率密度関数と いう ．
こ のと き ， 分布関数は
Z x
FX (x) = Pr{−∞ < X ≤ x} =
fX (t)dt
−∞
で与え ら れる ．
10 / 24
復習 (確率)
確率変数
加法性白色ガウ ス雑音通信路
多変数の場合
N 個の連続確率変数 X1 , X2 , · · · , XN と 対応する 一次元区間
I1 , I2 , · · · , IN に 対し て
Pr{X
∈ I2 , · · · , XN ∈ IN }
1Z∈ I1 , X2 Z
Z
=
···
fX1 ,X2 ,··· ,XN (t1 , t2 , · · · , tN )dt1 dt2 · · · dtN
t1 ∈I1
t2 ∈I2
tN ∈IN
と な る 関数を 変数 X1 , X2 , · · · , XN の同時確率密度関数と いい， 同
時確率分布関数は
F
2 ,··· ,XN (x1
Z, xx2N, · · · , xN )
ZXx11,XZ
x2
fX1 ,X2 ,··· ,XN (t1 , t2 , · · · , tN )dt1 dt2 · · · dtN
···
=
−∞
−∞
−∞
で与え ら れる ．
11 / 24
復習 (確率)
確率変数
加法性白色ガウ ス雑音通信路
確率変数の独立性
離散確率変数 X , Y に おいて ， すべて の i, j に 対し て
PX ,Y (xi , yj ) = PX (xi )PY (yj )
が成り 立つと き X と Y は独立である と いい， 連続な 場合に はす
べて の x, y に 対し て
pX ,Y (x, y ) = pX (x)pY (y )
が成り 立つこ と を いう ．
12 / 24
復習 (確率)
確率変数
加法性白色ガウ ス雑音通信路
条件付分布
離散確率変数 X , Y に 対し て ， PY (y ) 6= 0 のと き
PX |Y (x|y ) := Pr{X = x|Y = y } =
PX ,Y (x, y )
PY (y )
を Y = y が生じ る 条件のも と での X の条件付分布と いう ． 連続
確率変数の場合は， 区間 Pr{Y ∈ (y , y + dy ]} =
6 0 のと き 、 条件付
確率は， 密度関数を 用いて
Pr{X ∈ (x, x + dx]|Y ∈ (y , y + dy ]} =
fX ,Y (x, y )dxdy
fX ,Y (x, y )dx
=
fY (y )dy
fY (y )
で計算さ れる ．
13 / 24
復習 (確率)
確率変数
加法性白色ガウ ス雑音通信路
期待値と 分散
離散確率変数 X の確率分布 {PX (Xi )} が与え ら れた時， 期待値と
分散はそ れぞれ
∞
X
xi PX (xi )
E {X } :=
i=1
V {X } := E {(X − E {X })} =
∞
X
(xi − E {X })2 PX (xi )
i=1
で与え ら れる ．
連続の場合は
E {X } :=
Z
∞
xfX (x)dx
−∞
V {X } := E (X − E {X })
と なる ．
2
=
Z
∞
(x − E {X })2 fX (x)dx
−∞
14 / 24
通信路の影響
波形モデル
ベク ト ルモデル
確率モデル
復習 (確率)
確率変数
加法性白色ガウ ス雑音通信路
加法性雑音の影響
受信機の熱雑音が発生源のため、 すべて の通信路に おいて 存在し ，
多く の場合通信誤り を 引き 起こ す主な 原因
2
1
1
0.5
0
0
-0.5
-1
-1
0
0.5
1
1.5
2
2.5
3
3.5
変調
-2
0
4
0.5
1
1.5
2
2.5
3
3.5
4
復調
+
0.4
0.2
0
-0.2
-0.4
0
0.5
1
1.5
2
2.5
3
3.5
4
15 / 24
通信路の影響
波形モデル
ベク ト ルモデル
確率モデル
復習 (確率)
確率変数
加法性白色ガウ ス雑音通信路
加法性通信路の波形モデル
送信データ ： m ∈ M, M := {m}M−1
m=0
変調信号： sm (t)
受信信号： r (t)
雑音： n(t)
sm (t)
+
r(t)
n(t)
r (t) = sm (t) + n(t)
16 / 24
通信路の影響
波形モデル
ベク ト ルモデル
確率モデル
復習 (確率)
確率変数
加法性白色ガウ ス雑音通信路
加法性通信路のベク ト ルモデル
異な る 変調方式で雑音の影響を 統一的に表現する ために、 sm (t) に
対し て 完備な N 次元直交基底 {αn (t)}N−1
n=0 での写像を 用いて 表現！
sm,n =
Z
∞
sm (t)αn (t)dt, 0 ≤ n < N
0
と する と 、 s m = (sm,n )N−1
n=0 は信号
sm (t) =
N−1
X
sm,n αn (t)
n=0
に 一意的に 対応する ．
17 / 24
通信路の影響
波形モデル
ベク ト ルモデル
確率モデル
復習 (確率)
確率変数
加法性白色ガウ ス雑音通信路
MASK 信号のベク ト ル表現例
1
0.5
0
-0.5
-1
0
0.5
1
1.5
2
2.5
3
3.5
4
α0,0 (t) :
α1,0 (t) :
α2,0 (t) :
α3,0 (t) :
s0 = 0
s1 =
1
3
s2 =
2
3
s3 = 1
18 / 24
復習 (確率)
確率変数
加法性白色ガウ ス雑音通信路
通信路の影響
波形モデル
ベク ト ルモデル
確率モデル
MFSK 信号のベク ト ル表現例
1
0.5
0
-0.5
-1
0
0.5
1
1.5
2
2.5
3
3.5
4
α1,0 (t) :
α1,1 (t) :
α1,2 (t) :
α1,3 (t) :
s0 = (1, 0, 0, 0)
s2 = (0, 0, 1, 0)
s1 = (0, 1, 0, 0)
s3 = (0, 0, 0, 1)
19 / 24
復習 (確率)
確率変数
加法性白色ガウ ス雑音通信路
通信路の影響
波形モデル
ベク ト ルモデル
確率モデル
加法性通信路のベク ト ルモデル
雑音 n(t) に 対し て も ， ベク ト ル n = (ni )N−1
i=0
Z ∞
n(t)αi (t)dt, 0 ≤ i < N
ni =
0
を 導入する と 、 加法性通信路を ベク ト ルの加算
r = sm + n
で表現でき る 。
20 / 24
復習 (確率)
確率変数
加法性白色ガウ ス雑音通信路
通信路の影響
波形モデル
ベク ト ルモデル
確率モデル
加法性通信路のベク ト ルモデル
入力シンボル
ベクトル
変調
復調
+
出力シンボル
ベクトル
雑音
モデル化
sm
+
n
r
21 / 24
復習 (確率)
確率変数
加法性白色ガウ ス雑音通信路
通信路の影響
波形モデル
ベク ト ルモデル
確率モデル
加法性通信路の確率モデル
データ 0, 1 に 応じ て 振幅 s = 1, −1 の余弦波を 送信
雑音
N
Pr{N = n}
0
±0.5
±1
±1.5
±2
5
25
4
25
3
25
2
25
1
25
s = 1 が送信さ れた場合
r
Pr{r }
−1
−0.5
0
0.5
1
1.5
2
2.5
3
1
25
2
25
3
25
4
25
5
25
4
25
3
25
2
25
1
25
s = −1 が送信さ れた場合
r
Pr{r }
−3
−2.5
−2
−1.5
−1
−0.5
0
0.5
1
1
25
2
25
3
25
4
25
5
25
4
25
3
25
2
25
1
25
22 / 24
復習 (確率)
確率変数
加法性白色ガウ ス雑音通信路
通信路の影響
波形モデル
ベク ト ルモデル
確率モデル
加法性通信路の確率モデル
雑音
確定的な 入力 s m に 対し て 、 不確定的な 信号 r を 出力する も の
m ∈ M が送信さ れる 確率を Pm と する と ， 送信機は同じ 確
率 Pm で s m を 送信
送信機が s m を 送信し た場合， 受信機が r ∈ RN を 受信する 同
時確率密度
p(r , s m ) = p(r |s m )Pm
sm
p(r|sm )
r
23 / 24
復習 (確率)
確率変数
加法性白色ガウ ス雑音通信路
通信路の影響
波形モデル
ベク ト ルモデル
確率モデル
加法性通信路の確率モデル
特徴
入出力間の確率密度関数を 用いて 雑音を 表すので、 入力は
一つ
雑音がな い時の通信路の確率モデル
1; r = s m
p(r |s m ) =
0; otherwise
r − s m = n ⇒ p((r − s m )|s m ) = p(n) な ので， p(n) から 通信
路の確率密度関数を 求めら れる ．
雑音と 送信信号の具体的な 算術演算の指定がな いので， すべ
て の通信路を 確率モデルで表現でき る ．
24 / 24
© Copyright 2024 ExpyDoc
