2015年度情報エレクトロニクス概論 (情報論的)エントロピー --- 様々な研究分野をつなぐキー・コンセプト --- 平成27年5月13日（水曜日第1講時) ＠オープンホール情報科学研究科　井上純一 http://chaosweb.complex.eng.hokudai.ac.jp/~j_inoue/ 1/33 この講義の目的 ○ 必ずしも事前知識を持たない受講生に <<エントロピー>>の初歩について理解してもらう ○ 科学技術の様々な場面で<<エントロピー>> が顔を出すことを見て行く ○ ある人にとっては<<エントロピー>>の「復習」になるかもしれないが、この際、勘弁してもらう 2/33 位置の散らばり (1/2) 札幌の初夏札幌の秋位置の散らばり「大」位置の散らばり「小」 3/33 位置の散らばり (2/2) ある朝の私の机位置の散らばり「小」その日の夕刻の私の机（本当はもっと「散らかって」ます) 位置の散らばり「大」上の矢印が、整理整頓のための外からの仕事を与えることなしに自発的に逆向きに進むことはあり得ない。 (一年間、整頓しないままならば、益々散らかって行くが、ある日突然偶然にも左側の図の状態へ戻る可能性は「実質的にゼロ」である) 4/33 速度のちらばり利用可能な動力「大」利用可能な動力「小」全体として車を構成する分子走行する車一つの(水素)分子の速さ 1気圧、室温での気体もし分子達が揃って運動すれば、我々が即死するレベルのモーレツな速さ ⇒ 実際には、速度の散らばりが大きいお陰で悲惨なことにならない 5/33 気体分子の散らばりが小さければ・・・気体分子が隅にかたまる教室の天井が吹き飛ぶ我々は窒息死する 6/33 人類は、このような出来事(事件)にお目にかかった試しはない ⇒ 自然界では、「散らばり」が自律的に大きくなるようになっているのではないか？散らばりの度合い = エントロピー散らばりが大きい = エントロピーが大きいエントロピーの (ミクロな)式場合の数 =散らばり度例) 熱機関高温熱源 T1 Q1　= E_in 動力 (仕事) 入力エネルギー利用可能な動力が小さい = エントロピーが大きいエントロピー廃棄量 = Q2/T2 ≒ Q2 が大きければ、利用可能動力は小さい 7/33 Q2 (廃熱) 低温熱源 T2 時間の向きとエントロピー増大 A B 仕切りをとると低温の「遅い分子」高温の「速い分子」適度に混ざる何年待とうが、逆向きが達成されることは「実質的に(確率的に)」あり得ない (不可逆) これは不思議だ ! ⇒ 「一分子」の運動方程式は「可逆」 (時間反転対称性) において、t → -t とするとつまり 8/33 ⇒ すなわち、x(-t)もまた解である熱力学第2法則系A、Bを接触させる WA WB qA qB TA 第1法則 (エネルギー保存) WA − qA + WB − qB = 0 TB 外から仕事は行われない不可逆過程の例） TA > TB したがって qA = −qB , qB > 0 ΔS A + ΔS B = qB ( 1 TB 第2法則 9/33 熱が高温から低温へ移動 ) − T1A > 0 エントロピーは増加 ΔS A + ΔS B ≥ 0 熱機関: カルノー・サイクル仮想的可逆過程の例全エントロピーは不変熱源 T1 q1 = +T1ΔS q1 W q2 = −T2ΔS T2 熱効率 η= 10/33 q2 W q1 = 熱源 T1 −T2 T1 <1 カルノー効率 P 等温膨張断熱圧縮 W 等温圧縮 T1 断熱膨張 T2 V スターリング・エンジン熱エネルギーからの変換効率はカルノーサイクルに最も近い例えば手のひらの温度と室温との間の温度差で仕事を取り出せる「温度差」があればいいので、氷の上にのせても良い 11/33 燃料電池の最大効率(1/3) (参考文献: 矢吹哲夫先生「酪農学園大学紀要」) エネルギーも含めた燃料電池(化学反応によって電力を取り出す)の化学反応式はエネルギー保存則(第１法則): 従って、燃料電池を「機関」とした場合の入力エネルギーはエントロピー増大則(第２法則): 12/33 燃料電池の最大効率(2/3) 燃料電池(機関)に入るエントロピーは従って、最大効率はエントロピーの分だけ、効率が「劣化」する実データより、T_out = 25℃=298[K]、1気圧において、下記を代入 13/33 燃料電池の最大効率(3/3) 同じ効率0.8298を「熱機関」で達成しようとすればつまり、高温熱源の温度は、これを解いてここまでの高温では、熱機関の材質は持ちこたえることができず、融けてしまう。なので、実質的に不可能。 (鉄の融点は約1500℃) 14/33 生命とエントロピー η = Wq = 1 1 は達成されない。つまり、 q1 =W とはできない。すなわち、高温から受け取る熱を100％力学的エネルギーに変えることはできない。低温側に q2 の熱を捨てなければならない。エントロピーで考えると ΔS = Tq11 だけ増加したエントロピーを「負のエントロピー」 ΔS = − Tq22 シュレーディンガー「生命とは何か」（１９４０）「生命は活動するために、食物を食べることで負のエントロピーを得ている」実際には、「発汗」「排泄」によってエントロピーを廃棄している 15/33 捨てる必要があるエントロピーのミクロな定式化場合の数（ミクロな量）：　乗法性・・・・系１ W = W1 ×⋅⋅⋅× WN 系N 両者を満たすような関数形を探す S = f (W ) S = k log W 16/33 エントロピー（マクロな量）：　加法性 S = S1 + ⋅⋅⋅ + S N 机の上の散らかり再考エントロピー小エントロピー大それぞれの「場合の数」を計算してみよう 17/33 k logWとQ/Tの関係(ラフな考察) マクロな(熱力学的)定義式ミクロな定義式温度Tは分子運動論的に、分子一個あたりの平均運動エネルギーに比例するつまり = 出入りする熱エネルギー分子一個あたりの平均運動エネルギー = 出入りする分子の平均個数 18/33 ≒ 出入りする分子の「速度の散らばり」情報とエントロピー情報理論（通信理論）の基礎はほぼシャノン一人によって確立された “A mathematical theory of communication” (1948) 情報源符号化定理エントロピー概念の導入通信路符号化定理今回触れない標本化定理クロード・シャノン情報量 : − log p p( E ) = p はある事象Eが起こる確率抽象的概念である「情報」の量の数学的な定義 19/33 「通報」に対する「驚き度」と情報量 pが小さい「めったに起きない」通報を受けると我々の「驚きの度合い」は大きい pが大きい「ありきたり」の通報を受けても我々の「驚きの度合い」は小さい 20/33 情報論的エントロピーエントロピー = 平均情報量事象「i」の起こる確率例) 事象「０」「１」のいずれかが起こり、それぞれの確率がp、1-pで与えられると 21/33 シャノンの原著論文より p=1/2 で最大 22/33 2値エントロピー関数乳児、成人の発話を例にして赤ちゃん「ダー、ダー、ダー、ダー、ダー」驚きの度合い=0、エントロピー=0 「予測」しやすい成人「先日、小樽に行って、運河を見た、寒かったが、楽しかった」 ○ 驚きの度合いは「文脈」に依存して決まる ○ エントロピー > 0 ○ 計算には膨大なデータベースが必要 23/33 「予測」しにくい語彙の出現頻度と情報の圧縮赤ちゃん「ダー、ダー、ダー、ダー、ダー」「ダー」( =ミルクが欲しい) しか言わないのだから、5回も必要なし⇒ 1回で十分 ⇒ メッセージの長さが1/5に圧縮できる ○ 出現頻度が大きい言葉は短くし、頻度が低い言葉は長くする (あいまいさを無くす)ことでメッセージの長さ(平均符号長) を最適化できないか? ⇒ できる ○ できるなら、どこまで短くなるか? 24/33 圧縮の限界秩序-無秩序の世界(1/2) イジングモデル 25/33 隣り合う者同士は同じ符号をとり易い秩序-無秩序の世界(2/2) 真っ白 1 「相転移」近傍 =　フラクタル構造 0.5 エントロピーSの高い状態が有利 m エネルギーEの低い状態が有利 0 =　+1のスピンの割合自由エネルギー -0.5 を最小にする状態が実現真っ黒 26/33 -1 0 0.5 1 1/J 1.5 2 組み合わせ最適化エネルギーエネルギー関数: を最小とする配列：解空間を求める 01001010101001010 01011000001001000 01010001000010101 ……….. ….. 10111101000000000 GA等で配列を更新解候補のエントロピー大 27/33 01001000000010010 01001000000010010 最良個体 01001000000010010 のみ 01001000000010010 生き残る …. 01001000000010010 解候補のエントロピー最小 = 確率1で解が求まるマクスウェルの悪魔 A B 仕切りをとると低温の「遅い分子」高温の「速い分子」「窓」を制御して分子を選別する適度に混ざるエントロピー増大＜反論例＞ ◇　黒体放射（分子を見れない） ◇分子間力の到達距離 ◇不確定性原理全能の悪魔が居て、早い分子と遅い分子を分別する ⇒　仕事の消費無しに部屋Aの温度を下げることができるのでは？ 28/33 情報の負エントロピー原理(1/2) L. ブリルアン「科学と情報理論」（Science and Information Theory)　（１９５６）等しい確率で生じるW0個の事象を考えるとき、将来起こりうる事象の場合の数をW1<W0に減らすためには「情報」を必要とする。はじめ：　I 0 = 0 W0 おわり：　I1 > 0 W1 W0 ⎞ ⎛ I1 = k log ⎜ = S0 − S1 ⎟ ⎝ W1 ⎠ 情報＝エントロピーの減少量＝負エントロピーの増加量 29/33 情報の負エントロピー原理 (2/2) ΔS1 ≥ 0 系のエントロピーを減少させたあと、系を孤立させると W I1 = k log ⎛⎜ 0 ⎞⎟ = S0 − S1 ⎝ W1 ⎠ より Δ ( S0 − I1 ) ≥ 0 カルノーの原理エントロピーの増加はS0の増加、あるいは、-I1の増加 ΔI1 ≤ 0 孤立系では情報の損失が起こるカルノーの原理に対応例）　○　自分の考え（情報）を英語でイギリス人の友人に話す ⇒　英語への「符号化」の際に誤りが生じて情報損失が起こる ○　通信手段によっては、通信系の熱雑音などにより、情報損失が起こる ○　時間が経過し、自分の考えを忘れてしまった場合にも情報の損失が起こる 30/33 マクスウェルの悪魔再考 Demers の議論魔物に懐中電灯を持たせる（黒体輻射に対する対応）魔物は分子の位置情報を得て、窓を開閉する ⇒　負のエントロピーを生産するしかし、懐中電灯の負エントロピーの損失　＞　得られる負エントロピー結局、カルノーの原理を満たすこの他にSzilard の議論(1929年)等参照 31/33 熱力学と情報理論負のエントロピー N = 情報量 I 温度 T = 熱雑音 (ノイズ) 高温(ノイズ大)においては、ノイズに打ち勝つように情報を伝達するために必要な仕事量は大きくなる 32/33 おわりにシャノン論文の参考文献専門（電子工学）以外の研究分野の論文を参考としている情報理論は今でいうところの「境界領域」の研究として創出されたエントロピーをキーとした、境界領域からブレークスルーが生まれるかもしれない 33/33