第３章 情報工学の基礎 ３．１ ３．２ ３．３ ３．４ 情報量 単位と数の表現方法 論理回路 コンピュータ ３．１ 情報量 ３．１．１ 情報と場合の数 ３．１．２ 情報量 ３．１．３ 平均情報量 ３．１．１ 情報と場合の数 （１）「情報を得た」ということ 自分とはまったく無関係の事柄を知らされても， 何の意味もない。 「その事実を知らないとき」よりも 「その事実を知ったとき」のほうが不確実さが減り， そのことによって， 何らかの利益を得る可能性がある。 「情報（Information）を得た」 （２）データ 不確実さの減少に 役立つかどうかを問わない 何らかの事実 データ（Data） 情報 （Information） ≡ データ（Data） と呼ぶ （３）シャノンの定式化 情報の大きさ＝不確実さの減少 Ａ先生＝厳しい Ｂ先生＝厳しい Ａ先生＝優しい Ｂ先生＝厳しい Ａ先生＝厳しい Ｂ先生＝厳しい Ａ先生＝厳しい Ｂ先生＝優しい Ａ先生＝優しい Ｂ先生＝優しい Ａ先生＝厳しい Ｂ先生＝優しい Ａ先生は厳しい Ｂ先生は優しい 情報を得たことによる場合の数の変化 Ａ先生＝厳しい Ｂ先生＝優しい ３．１．２ 情報量 （１）情報量の定義 「Ａ先生は厳しい」と知ったときの情報量をIA， 「Ｂ先生は優しい」と知ったときの情報量をIB， 「Ａ先生は厳しく，Ｂ先生は優しい」と知ったときの情報量をIAB とすると， IAB ＝ IA ＋ IB （順序を入れ替えても構わないことに注意） 独立な部分情報の量は知る順序に依存しない Ａ先生＝厳しい Ｂ先生＝厳しい Ａ先生＝優しい Ｂ先生＝厳しい Ａ先生＝厳しい Ｂ先生＝厳しい Ａ先生＝厳しい Ｂ先生＝優しい Ａ先生＝優しい Ｂ先生＝優しい Ａ先生＝厳しい Ｂ先生＝優しい Ａ先生は厳しい Ｂ先生は優しい Ａ先生＝厳しい Ｂ先生＝優しい 場合の数の変化 情報量は，場合の数の変化比のみで決まるものとする。 Ａ先生＝厳しい Ｂ先生＝厳しい Ａ先生＝優しい Ｂ先生＝厳しい Ａ先生＝厳しい Ｂ先生＝厳しい Ａ先生＝厳しい Ｂ先生＝優しい Ａ先生＝優しい Ｂ先生＝優しい Ａ先生＝厳しい Ｂ先生＝優しい Ａ先生は厳しい Ａ先生＝厳しい Ｂ先生＝優しい Ｂ先生は優しい ①場合の数の変化は，いずれも半分になっており， ②「Ａ先生は厳しく，Ｂ先生は優しい」とまとめて知った場合の数は１／４ 場合の数と情報量の比較 場合の 1 1 1 1 4 2 数: 2 2 情報量 : 2 I A I B I AB I A 2 積の変化を和の変化に置き換える必要がある。 ① 対数に置き換える。 ②場合の数の変化は２が基本になっている。 得られた情報量 ＝ log 2 事前の場合数 事後の場合数 （２）確率と情報量 普段，よく起きていることを知っても「情報を得た」気分にならない。 まれなことが起きたことを知るとびっくりしたり，目の色が変わる。 生起確率 Ｐ＝ その事象が起きる場合数 全体の場合数 次のように対応付けることができる。 事前の場合数＝全体の場合数 事後の場合数＝その事象が起きる場合数 log 2 事前の場合数 ＝ log 2 事後の場合数 全体の場合数 ＝ log 2 (１／Ｐ） その事象が起きる場合数 計算例（１） 厳しい先生の割合が全体の１／８の場合 「Ａ先生が厳しい」ということを知ったときの情報量 1 log2 log2 8 3 [bits] 1 8 「Ｂ先生が優しい」ということを知ったときの情報量 優しい先生の割合は全体の７／８だから 1 8 log2 0.19 [bits] log2 7 7 8 計算例（２） 文字「ｅ」の出現確率が 0.1030， 「ｚ」の出現確率が 0.0005 のときの それぞれの出現による情報量 1 log2 9.7087 3.28 [bits] 0.1030 「ｅ」の出現による情報量＝ log2 1 log2 2000 10.97 [bits] 0.0005 「ｚ」の出現による情報量＝ log2 ３．１．３ 平均情報量 （１）集まり全体の平均情報量 事象の集まりの情報量の平均を求めるには 各事象の情報量（log2(1/p)）に事象の生起確率（p）を乗じて 全体の総和をとる。 優しい先生と厳しい先生の確率が等確率（１／２）のとき 1 1 1 1 1 [bit ] log2 log2 1 2 1 2 2 2 厳しい先生の割合が（１／８）のとき 1 3 7 0.1926 1 7 1 log log2 0.54 [bit s] 2 1 7 8 8 8 8 8 8 （２）２事象の平均情報量 平均情報量が最大になるのは，２つの事象が等確率の場合 平均情報量 片方の確率 （３）生起確率の変化と平均情報量の変化 知ったデータが持つ情報量の分だけ 平均情報量が減る。 平均情報量 ２ビット 平均情報量 １ビット Ａ先生＝厳しい Ｂ先生＝厳しい Ａ先生＝優しい Ｂ先生＝厳しい Ａ先生＝厳しい Ｂ先生＝厳しい Ａ先生＝厳しい Ｂ先生＝優しい Ａ先生＝優しい Ｂ先生＝優しい Ａ先生＝厳しい Ｂ先生＝優しい 生起確率 １／４ 平均情報量 0ビット Ａ先生＝厳しい Ｂ先生＝優しい 生起確率 １／２ Ｂ先生は優しい 得られた情報量 得られた情報量 １ビット １ビット Ａ先生は厳しい 生起確率 １／１ （４）エントロピーと平均情報量 平均情報量の考え方は， 熱力学や統計力学における乱雑さの尺度である エントロピーとほぼ同じ概念になる 低温状態（整然とした状態）から高温状態（乱雑な状態）へ 自然には移行しない。 移行する場合，何らかのエネルギーが 流入しなければならない。 平均情報量の減少をもたらさないで 情報を得ることはできない。 （５）計算例 ３種類の文字があり，それぞれの文字が現れる確率が 1/2, 1/4, 1/4のときの１文字当りの平均情報量 n H pi log2 pi i 1 1 1 1 1 1 1 log2 log2 log2 2 4 4 4 4 2 1 2 2 3 1.5 2 4 4 2
© Copyright 2024 ExpyDoc
