情報理論 2009年度4セメスター 1 履修にあたって • 担当 – 草苅良至（部屋ＧＩ５１１、内線２０９５) – [email protected] • 教科書平田廣則著「情報理論のエッセンス」昭晃堂、\2,700・参考書今井秀樹著「情報理論」昭晃堂、\2,9002 評価 • 試験 70％ • レポート 15％ • 講義（出席＋問題解答）15% 3 情報理論入門（１章） 4 情報理論とは • 情報分野の基礎理論の一つ。 • 20世紀にシャノン（C.E.Shanon)が考えた。 • 情報を゛定量的”に扱うためには絶対必要。 • 通信、符号、暗号などに応用される。（情報とは？うまく情報を保存するには？うまく情報を伝達するには？等の疑問に答えてくれる学問分野。） 5 情報伝達モデル（簡易版）情報送信者（情報源）情報源ともいう伝送路 (通信路）受信者通信路ともいう 6 様々な情報伝達１すきだ様々な情報：（代表例：言語）金貸して受信者送信者様々な伝送路（代表例：ネット、電話網、手紙） 7 様々な情報伝達２数式や、音楽も F = ma 情報の一種。ららら♪ 送信者送信者は、過去のものかもしれない。受信者情報の記録も、一種の伝送路とみなせる。 8 様々な情報伝達３締切りは？今日は、・・・送信者受信者受信者は、自分自身かもしれない。情報の符号化、暗号化等も情報理論を基礎とする。 9 練習現実世界における情報伝達の例を挙げて、スライド６の情報伝達モデルに対応させよ。 10 講義概要１情報源について議論する（４章）送信者符号化情報そのものについて議論する。（２、３章）情報伝送路効率よく伝達できるような、情報の加工法を議論する。（５、６章）受信者復号化 11 外乱のある伝送路情報情報情報送信者伝送路受信者外乱（雑音） 12 外乱の影響すきだすきたすぎた伝送路受信者送信者外乱（雑音） 13 問題外乱のある通信路で、正確に情報を伝達ができるだろうか？ 14 外乱への対策例すすすきききだだだすきだすすすぎききだただ３重化多数決すきだ伝送路送信者受信者外乱（雑音） 15 情報伝達モデル（複雑版）情報源符号化（５、６章）情報情報源復号化（５、６章）外乱（雑音）情報源値通情表表報現現の共）（２通信路符号化（８章）通信路通信路（７章）値通情表表報現現の共）（２通信路復号化（８章）受信者 16 誤り検出・訂正符号例外乱（雑音） 00 01 11 000 000 000 111 111 111 100 000 001 111 101 111 00 01 11 すきだ送信者情報源符号化す:00 き：01 だ:11 通信路符号化 0→000 １→111 通信路復号化 0が２個以上 →0 １が２個以上 →1 すきだ受信者 17 情報源符号化と通信路符号化の比較符号化情報源符号化通信路符号化最終目標実現状況符号長定理効率化情報源符号化エネルギー・最短符号定理（シャノン時間の節約の実現の第１基本定理）信頼性の向上通信路符号化冗長性の定理（シャノン付加の第２基本定理）誤りの検出・訂正 18