応用数学情報・通信に関する理論情報通信工学科 3年 C507098 宮崎公貴 1 目次 • 1.回帰分析 • 2.情報理論 • 3.符号理論 2 1.回帰分析（１）P46,47 • 回帰分析とは相関関係にある２つの変数の関係を数式で表現し、データを分析、予測する統計的手段である。 • 回帰分析は回帰直線と相関係数を用いて求める。 3 1.回帰分析（２）P46,47 • 相関係数２つの変数の関連性の強さを表すものは相関係数という。強い弱い弱い負の相関－１負の相関強い正の相関０無相関無相関１正の相関完全相関(r=1) 4 1.回帰分析（３）P46,47 • 回帰直線 • ２つの変数の数値を分布にし、その分布の中心を通る直線。 5 2.情報理論（１）P48,49 • 情報源は無記憶情報源と記憶情報源に分けられる • 無記憶情報源情報源はある時点で発生した事象の生起確率がそれ以前に発生した事象の生起確率に依存しない情報源がA,B,Cの文字をランダムに生成するのであれば、ある時点でＡが生成される確率はそれ以前にどの文字が生成されたかには依存しない。 6 2.情報理論（２）P48,49 • 記憶情報源情報源はある時点で発生した事象の生起確率がそれ以前に発生した事象の生起確率に依存する・マルコフ情報源０．４発生文字＼次の文字ＡＡ 0.4 0.2 0.4 Ｂ 0.3 0.2 0.5 0.3 0.3 0.4 Ｃ確立行列P 0.4 0.2 0.4 P= 0.3 0.2 0.5 0.3 0.3 0.4 ＢＣＡ０．２０．３０．３Ｂ０．２０．４０．３０．５Ｃ０．４ 7 2.情報理論（２）課題 • Cから複数STEP後にAに移動している確率の数式について次の段階をPで表わせるとすると、１STEP後はP×P=P 2 となり,２STEP後は P×P×P= P 3 となる。よって100STEP後は P101となる。 P2  P101  0.4 0.2 0.4   0.4 0.2 0.4   0.34 0.24 0.42        0.3 0.2 0.5    0.3 0.2 0.5    0.33 0.25 0.42  0.3 0.3 0.4   0.3 0.3 0.4   0.33 0.34 0.43        0.333333 0.242424 0.424242     0.333333 0.242424 0.424242  0.333333 0.243424 0.424242   P101 よりCから100STEP後にAになる確率は0.333333になる 8 2.情報理論（３）P48,49 • エルゴード情報源事象の生起確率を長期に観測すると、出発がどのような事象であっても、それぞれの事象が一定の出現確率に収束するマルコフ情報源を長期に統計を取ると全ての確率は一定になる。情報源はＡ，Ｂ，Ｃの文字であるならば、全ての文字の確率は一定の値に収束する 9 2.情報理論（３）課題 • 無記憶情報源具体例コインを投げ、表または裏がでても次回投げる時に、表または裏がでる確率は1/2で変動しない。 • 記憶情報源具体例天気が「晴れ」と「雨」の2種類と考える。・「晴れ」の次の日は「晴れ」の確率が高い・「雨」の次の日は「雨」の確率が高い 10 3.符号理論（１） P50,51 ・情報通信モデル情報源送信機ノイズ通信路符号化受信機受信者復号・通信路符号化情報ビットに冗長ビットを加える事により誤りの検出や訂正ができるようになる。・情報源符号化元の情報データを小さくすることができる。 11 3.符号理論（２） P50,51 • ハミング符号方式情報ビット4ビットに対して冗長ビット３ビットを付加することにより誤り検知と自己訂正を受け取り側で行うことができる。 2ビットの誤り検出、1ビットの誤り訂正を行うことができる。 • 情報ビットをX1,X2,X3,X4、冗長ビットをP1,P2,P3とする。 X1+X3+X4+P1＝0 +は排他的論理和 X1+X2+X4+P2＝0 X1+X2+X3+P3＝0 X1,X2,X3,X4を0110であるときP1,P2,P3は次のようになる 0+1+0+P1=0 P1は１ 0+1+0+P2=0 P2は１ 0+1+1+P3=0 P3は０ 12 3.符号理論（３） P50,51 ・誤り訂正送信ビット 0110011 受信ビット 0010011 ハミング符号 X1,X2,X3,P3,X4,P2,P1 X1+X3+X4+P1＝0 X1+X2+X4+P2＝0 X1+X2+X3+P3＝0 ①0+1+0+1=0 X1、X3、X4、P1は正しい ②0+0+0+1=1 X1orX2orX4orP2が間違っている ③0+0+1+0=1 X1orX2orX3orP3が間違っている ①に当てはまらず、②、③に入っているX2が間違っている 13 3.符号理論（３） P50,51 • ＣＲＣ方式情報ビット列を生成多項式で割った余りを検査用として用いる。誤り検出のみで、誤り訂正はできない。情報ビットを110101の6ビットであるとき5乗(6-1次)の多項式F(X)で表わす。 F(X)=1・ X 5  1・ X 4  0・ X 3  1・ X 2  0・ X 1  1・ X 0 =X 5  X 4  X 2  1 生成多項式をG(X)= X 3  X 2  1 とするとF(X)にG(X)の最高次のX 3 を掛けG(X) を割った余りを求める。 X・3 F ( X ) / G( X )  X 3 ( X 5  X 4  X 2  1) /( X 3  X 2  1) 余りはX 2  1 となり、CRC符号は101となる。送信するビット列は情報ビット－CRC符号なので110101101となる。受信側は受信したデータをG(X)で割りきれなければ誤りとわかる。 14 3.符号理論（４） P50,51 • パリティチェック奇偶検査とも呼ばれ、送信するビット数に対して2進数の合計が偶数か奇数かを比較することにより、ビットの誤りを検出する。 2bit以上の誤りを検出できないため、CRC方式と再送を併用するか、ハミング符号など誤り訂正できる方式を用いる。列と行で１の数が偶数になるようにパリティビットを追加する。 0 0 0 0 0 0 0 0 1 1 1 0 1 0 0 0 1 1 1 1 1 1 0 0 水平パリティ垂直パリティ 15 3.符号理論（５） P50,51 • 情報源符号化（ハフマン符号化）情報源から発生した情報をその確率的性質を利用して、より効率的に圧縮できる圧縮対象の記号とその出現確立記号 A1 A2 A3 A4 A5 A6 出現確立 0.13 0.3 0.15 0.07 0.25 0.1 (1.0) 0 1 符号化を行った結果の符号語記号 A2 A5 A3 A1 A6 A4 符号語 00 10 010 011 110 111 (0.58) 0 (0.42) 1 0 1 (0.28) A2(0.3) 0 A3(0.15) 1 A4(0.17) A5(0.25) A1(0.13) 0 A6(0.1) 1 A4(0.07) 16