情報量 情報ネットワーク入門 2002年11月17日 •bit の定義 •bit と byte •情報量の計算 bit の定義 シャノンによる情報理論 (1940年代) • 情報量の定義・・・“思いがけなさ”の程度 • 確率 p で起きるある事象が起こった時に得られる情 報量 I (p) を、 I ( p) log q p と定義し、単位をシャノンとした。 現在では情報をコンピュータで処理することが中心となってい るため、コンピュータの情報処理方法にあわせてqを2として、 単位をbitと呼ぶようになった (bit = binary + unit)。 bit の定義 （例）同じ確率で起こりうる２つの事象のうち、どち らかが起きたことによって得られる情報量をビット で表すと、 1 I ( ) log 2 2 log 2 2 1 log 2 2 1 1 2 → ２つのうちの１つを選ぶ時の情報量が１ビット 情報量の加法性 ●２つから１つ → １ビット ●４つから１つ →（２つから１つ） ＋ （２つから１つ） = 1ビット ＋ 1ビット = ２ビット 情報量の加法性 ●８つから１つ （２つから１つ）＋（２つから１つ）＋（２つから１つ） ＝ １ビット ＋ １ビット ＋ １ビット ＝ ３ビット 情報量の加法性 まとめ • 1 ( = 20 ) から1つ・・・0 bit • 2 ( = 21 ) から1つ・・・1 bit • 4 ( = 22 ) から1つ・・・2 bit • 8 ( = 23 ) から1つ・・・3 bit • 16 ( = 24 ) から1つ・・・4 bit • 32 ( = 25 ) から1つ・・・5 bit • ・・・・・ • 2n から1つ・・・n bit （例）１ （例）あるサッカーの試合で、必ずどち らかが勝つとして、あるチームが３試 合した場合の勝ち負けに関する情報量 は何ビット？ただし勝ち負けの予想は 全くつかないとする。 （例）１ １試合目の結果 ◯ → １ビット ２試合目の結果 × → １ビット ＋ ３試合目の結果 ◯ → １ビット 合計 ☆ ３ビット ワールドカップであろうが、Jリーグであろうが、近所の子供の試合で あろうが、ROTOにかけてあろうが、情報量は同じ。付加価値は関係な い。ただしもしどちらかがとても強い（弱い）という情報があると変っ てくる（情報量のエントロピー）。 （例）２ 勝ち負けの組み合わせは、全部で何通 りあるか？ 勝ちを１、負けを0として表してみま しょう。 （例）２ 1 1 1 全部で８通りの組み合わせになる。 1 1 0 ８通りから１つを選ぶ情報量 1 0 0 ↓ 1 0 1 ３ビット 1 0 0 0 1 1 0 1 0 0 0 0 逆に言うと ３ビットは８通りの組み合わせを表現 できる情報量である。 （例）3 32人を区別するために 必要な最低限の情報量は？ 先の例題で ３ビット→８通り の組み合わせを表 現できるから、４ビットは１６通り、５ビット は３２通り。したがって５ビットあれば32人を 区別できる（整理番号や背番号を付けるなどし て）。 これを２進法で表すと、 01101 1 1 0 0 1 など それでは35人では？？？ bitとbyte コンピュータで１つのキーボードを押すと1から0の信 号が8つのまとまりになって記憶装置に送られて入力 として認識される。 （例）ASCIIコードでは、 1 : 00110001 、 A : 01000001 、 % : 00100101 8つの1、0によって組み合わせることができる最大数は 28 = 256 通り このように8つのまとまりで処理する必要があるために、通常、 8 bit = 1 byte (B) （バイト） とされている。正式には決まっていないので、ネットワーク技術 を扱う分野では、 8 bit = 1 octet （オクテット） と表現する。 （例）４ 下の図のようにテキストファイルに Hello! という半角の英数文字、記号が６文字書 かれている場合、必要な情報量は？ （例）４ １文字が１byte必要なので、 １×６ = ６byte ファイルのプロパティで確認することができる。 大きい単位の表記 10進法では 1000(=103)倍ごとに、 – 103 = キロ (k) – 103 × 103 = メガ (M) – 103 × 103 × 103 = ギガ (G) 大きい単位の表記 bit、byteは2進数を基本にしているので、 2進数できりのいい数を単位としている。 10000000000(2) = 1010 (2) = 210 (10) = 1024 (10) ≒ 1000 (10) すなわち、bit、byteでは、1010 ロ、メガ、ギガ、・・・を使用する。 (2) 倍（1024 (10) ）ごとにキ 大きい単位の表記 • 1キロバイト(kB) ･･･ 210(1024) バイト(B) • 1メガバイト(MB) ･･･ 210(1024) kB = 1024 × 1024 B = 1048576 B • 1ギガバイト(GB) ･･･ 210(1024) MB = 1024 × 1024= 1048576 MB = 1024 × 1024 × 1024 kB 情報量 ←→ byte •1B • 1 kB • 1 MB • 1 GB = = = = = = = = 8 bit = 28 256個を識別する情報量 210×28(18bit) = 218 約26万個 ・・・ 220×28(28bit) = 228 約2億7千万個 ・・・ 230×28(38bit) = 238 約2千8百億個 ・・・ （例）５ ある日の１日の新聞の文字数が30万 文字であった。日本語１文字の情報 量を２byteとすると、この新聞にお いて、文字だけの１日の情報量は何 MBか？ 300000 × 2 = 600000 byte 600000 ÷ 1024 ÷ 1024 ≒ 0.57 MB
© Copyright 2024 ExpyDoc
