「勝手にしやがれ！エントロピー 文系高校数学でも理解できる確率的世界像」を高校２年生が読むための準備説明 1st ed. 2015 April 19, modified on 2015-05-04 「勝手にしやがれ！エントロピー 文系高校数学でも理解できる確率的世界像」を高校２年生が読むための準備説明 フィボナッチ数列や黄金比は自然界に多く出現することが知られていますが、その理由は解 らず、不思議で神秘的な規則性だと考えられていました。しかし、１次元情報系の最大エント ロピーは、系を構成する要素数が１つずつ増えていくときフィボナッチ数列を作り出すことが 2011 年に偶然発見されました。DNA の塩基配列も、タンパク質のアミノ酸配列も、１次元の 情報系です。そのような情報系の配列が１つずつ増えることで系全体の最大エントロピーがフ ィボナッチ数列を生み出すのです。もしこれが、自然界にフィボナッチ数列や黄金比が多く現 れる理由だとすれば、最大エントロピーとは確率的に最も多く起こりやすい状態を意味してい ますから、自然界におけるフィボナッチ数・黄金比の出現は、珍しくない当たり前の現象であ ると理解できます。もちろん具体的な物質的根拠の発見による証明は未来の課題です。 【参考文献-1】 “The Fibonacci sequence in nature implies thermodynamic maximum entropy” 数理解析研究所講究録 第 1852 巻 2013 年 165-176 http://www.kurims.kyoto-u.ac.jp/~kyodo/kokyuroku/contents/pdf/1852-18.pdf http://www001.upp.so-net.ne.jp/aurues/triage/201211131/RIMS20121113Aurues.v05ForSub2.pdf 【参考文献-2】 「勝手にしやがれ！エントロピー」 副題：文系高校数学でも理解できる確率的世界像 http://www001.upp.so-net.ne.jp/aurues/triage/201411131/Fibonacci_entropy.pdf http://www.zg.em-net.ne.jp/~aurues/triage/room1/Fibonacci_entropy.pdf 1. エントロピーとは何か 1－1. 熱力学第２法則について 物質世界を、空想上の境界で適当に区切って「系」と呼ぶとき、系の外にあるエネルギーの 助けを得ることなく、系の内部で自然に自発的に進む変化には一定の方向性があることが知ら れています。 例えば、コップの水にインクを一滴垂らすと、インクはコップの水全体に拡がっていきます が、拡散したインクが再び一か所に集まるようなことは、自然に起こることではありません。 冷たい物体と熱い物体を接触させると、物体の間で熱が拡散し、やがて均一な温度になりま すが、ひとつの物体において、勝手に熱が同じ方向に移動し、そのため物体の一部が熱くなり、 他の部位が冷たくなるようなことも、自然に起こることではありません。 このように自発的変化に方向性があることを熱力学第２法則と呼びます。 熱力学第２法則は、確率的な規則性であることがわかっています。 1 http://www.zg.em-net.ne.jp/~aurues/triage/room1/GuideForFibonacciEntropy.pdf つまり、自然によく起こる変化とは、起こる確率が大きい変化という意味です。拡散したイ ンクが再び集中したり、均一な温度が低温と高温に分かれたりすることの確率も、経験上は「0 （ゼロ） 」に近いのですが、数学的に、絶対的な意味で確率「0」ということではありません。 西洋では、ボイル（1627－1691）やシャルル（1746－1823）によって気体の圧力や体積と 温度との関係にある規則性が明らかにされました。その後、カルノー（1796－1832） 、ジュー ル（1818－1889）、ケルビン（1824－1907）、クラウジウス（1822－1888）といった研究者 により熱力学が開拓され、その後、熱現象を気体分子運動論に基づいて理解したマクスウェル （1831－1879） 、ボルツマン（1844－1906） 、ギブズ（1839－1903）らによって統計熱力学 （統計力学）が開拓されました。 熱力学第２法則が示す確率的変化の方向を知る尺度としてクラウジウスが考案したのがエ ントロピーというものです。熱力学的に測定されるエントロピーに、気体分子運動論の立場か ら確率的な意味を見出したのはボルツマンらの統計力学者ですが、後に数学者のシャノン （1916－2001）がエントロピーに情報理論的な意味を与えました。物理学的に測定されるエ ントロピーについては他の成書等を参照してください。ここでは、つまり本説明では、情報理 論に基づくエントロピーを出発点として、その理解方法の変化を説明します。 ところで、シャノンが提案したエントロピーの計算式は物理単位を持っていなかったために、 熱力学のエントロピーとは名前が同じだけで、本質的には別のものだという扱いを受けてきま した。そういう説明が今でも主流であり、多く見られていますが、エントロピーについての理 解方法の新しい工夫は常に行われています。シャノンのエントロピーも物理単位を持ち、本質 的に熱力学のエントロピーと同じものであると考える人々も出現しています。2015 年現在、 そのような考え方は、まだまだ少数派ですが、本説明はそちらの立場で行います。ここで紹介 する考え方は、同じエントロピーと呼ばれるものが別ものであると考えるよりも合理的で便利 な考え方であり、基本的な理解には高等数学の知識も必要としないので、やがては世界の多数 派になっていくことが期待されます。 1－2. エントロピーについての解釈（１） これまでは、エントロピー（の大きさ）は、「系が平衡状態にある時、系がとり得る異なる 様々な状態について、各状態が持つ情報量の期待値」であると理解されてきました。 平衡状態とは、マクロレベル（肉眼的・巨視的観察）では何の変化も無く、安定した静的状態 を保ち続けているように見えますが、ミクロレベル（顕微鏡的観察）では常に変化が進んでいる （例えば、系を構成する分子が入れ替わり続けている）動的状態のことです。ミクロ構造に見 られる変化のバランスがとれている（均衡がとれている）ため、マクロ構造には変化が無いよう に見えます。平衡状態にある系は、少しだけ異なる様々な状態の間で遷移し続けていると考え られます。 例えば、乾燥した小箱の中に、水の入ったコップを置きます。水分子は空気中に飛び出して （蒸発して）行くので、コップの水は減っていきます。空気中からコップに戻る水分子もあり ますが、数は少ないでしょう。しかし、小箱の中の空気の湿度が高まるにつれて、コップから 空気中に飛び出る水分子の数は減り、逆に空気中からコップに戻る水分子の数は増え、やがて 両者の数がほぼ同じくらいになって、コップの水量が、減ることもなく、増えることもなく、 ほぼ一定に保たれるようになります。肉眼レベルではコップの水量は変わりませんが、それで もミクロレベルでは水分子の出入りが続きます。これが平衡と呼ばれる状態です。平衡に向か って変化している途中の状態を非平衡状態と呼びます。 非平衡状態 平衡状態 そして、情報とは、 （１）その存在が他者から区別でき、 （２）その出現が確率的である物事 すべてのことです。情報とは確 率 的 存 在のことです。どのような物事であれ、その存在（＝ 出現）が確率で示され得る物事は、情報であるということになります。これは抽象的であり、 少し難しい概念なので、以下、段階的に説明します。 情報量とは、ある確率的存在（情報）が持つ情報としての価値（ニュース性、確率的稀少価 値）の大きさのことです。滅多に起こらないことを示すならば、その状態の情報量は大きく、 ありふれたことを示す状態の情報量は小さいと考えます。例えば、「状態：人が犬に咬みつい た」は、ニュース性が大きく、 「状態：犬が人に咬みついた」は、ニュース性が小さいです（こ れが、解りやすいけれども正しい説明でないことはすぐ後で説明します） 。 ここで扱う情報は、日常的に使う情報という言葉とは少し意味合いが異なります。例えば明 日が運動会の時、 「明日は晴れる」という予測は、雨の多い日本の小学生にとっては重要な情 報ですが、毎日晴ればかりが続く砂漠の小学生にとっては価値の無い情報です。同じ「明日は 晴れる」という予測の価値が、受け手によって異なります。こういう意味での情報（＝解釈） は、ここで扱う情報（＝確率的存在）とは異なります。したがって、前に述べた「人が犬に咬 みついた」のニュース性も受け手によって異なりますから、正しい説明例ではありません。 したがって、シャノンの情報と呼んで、日常生活で使う情報（＝解釈）と区別するのが良い と思われます。本説明では、情報といえばシャノンの情報を指すこととします。 シャノンの情報（＝確率的存在）は、信号（つまり、ノイズの中から識別されて取り出され る構造、秩序）であり、受け手の立場、文化的な価値観とは関係なく規定される確率的概念で す。つまり、受け手の解釈は全く関係なく、それの発信される確率によってのみ捉えられるも のです。そして、起こる確率が小さいほど情報（＝確率的存在）としての価値は大きいと考え ます。 そこで情報量（確率的稀少価値の大きさ）は、物事が出現する確率 𝑃 の逆数（ 1⁄𝑃 ）で表し ます。確率 𝑃 が 0~1 の値をとるとき、逆数（ 1⁄𝑃 ）は ∞~1 の値をとります。別に、確率 𝑃 のままで扱っても構わないのですが、「確率が小さいほど確率的稀少価値が大きい」と、毎 回、頭の中で逆向きに考えるのが面倒なので、最初から逆数をとっておこうというだけのこと です。 また、物事［A］が起こる確率が 𝐴 であり、物事［B］の起こる確率が 𝐵 のとき、もし物 事［A］と［B］が互いに無関係に起こ得る場合に、二つが同時に起こる、つまり物事［A+B］ が起こる確率は、𝐴 + 𝐵 ではなく、𝐴 × 𝐵 です。しかし、掛け算の関係で考えるのは面倒です。 そこで、情報量を人間の加法的感覚で理解しやすい形で扱うために、対数化します。対数は 乗法的関係を加法的関係に変更する働き： 𝑓(𝐴 × 𝐵) = 𝑓(𝐴) + 𝑓(𝐵) があります。確認してお きましょう。 𝐴 > 0, 𝐵 > 0, 𝐶 > 0, 𝛼 > 0, 𝛽 > 0, 𝐴 = 𝐶 𝛼 , 𝐵 = 𝐶𝛽 のとき、 log 𝐶 𝐴𝐵 = log 𝐶 𝐶 𝛼 𝐶𝛽 = log 𝐶 𝐶 𝛼+𝛽 = (𝛼 + 𝛽) log 𝐶 𝐶 = 𝛼 + 𝛽 = 𝛼 log 𝐶 𝐶 + 𝛽 log 𝐶 𝐶 = log 𝐶 𝐶 𝛼 + log 𝐶 𝐶𝛽 = log 𝐶 𝐴 + log 𝐶 𝐵 となります。 対数化すると、状態［A］が持つ情報量と状態［B］が持つ情報量を単純に足せば、状態［A と B］が持つ情報量になります。この場合、対数化とはあくまで便宜（べんぎ）のためであり、 乗法的感覚に優れていて指数計算の得意な人は、対数化しないまま扱っても構いません。 シャノンの情報量とは、結局のところ、物事の出現確率（存在確率）𝑃 を、「大きいものは 大きく」、 「掛け算よりはむしろ足し算で」、人間が簡単に量的関係を扱えるように加工したも のに過ぎません。シャノンの情報とは何なのか、その解釈に悩む必要はありません。 本説明では、物事が出現する確率 𝑃 の逆数（ 率的稀少価値）とします。もちろん、log2 1 𝑃 1 𝑃 ）の対数、つまり 𝐥𝐨𝐠𝟐 𝟏 𝑷 を情報量（＝確 = log2 𝑃−1 = − 𝐥𝐨𝐠𝟐 𝑷 と、式変形して表示して も構いません。 確率 𝑃 が 0~1 の値をとるとき、その逆数の対数は ∞~0 の値をとります。対数の底は何 でも構いませんが、ここでは「2」としました。 もし、底が「10」の常用対数しか計算できない計算機を使うときは、 𝐴 > 0, 𝐵 > 0, 𝐶 > 0, 𝛼 > 0, 𝐴 = 𝐵 𝛼 のとき、 𝐥𝐨𝐠 𝑩 𝑨 = log 𝐵 𝐵 𝛼 = 𝛼 log 𝐵 𝐵 = 𝛼 = log 2 𝐵 = log10 𝐵 log10 2 ≅ log10 𝐵 0.30103 𝛼 log𝐶 𝐵 log𝐶 𝐵 = log𝐶 𝐵𝛼 log𝐶 𝐵 = 𝐥𝐨𝐠 𝑪 𝑨 𝐥𝐨𝐠 𝑪 𝑩 と変形できるので、 ≅ 3.322 × log10 𝐵 （≅：だいたい等しい）の計算で、底を 「2」としたときの対数の値を計算できます。以降、底の表記を省略します。 さて、期待値とは、平均値の一種であり、確率を考慮した平均値（つまり、確率で重み付け をした平均値、確 率 的 平 均 値）と言ってよいでしょう。 例えばここに２本のクジがあり、１本は賞金 100 円、残りは賞金 20 円のとき、このクジを デタラメに１本引く（つまり１本１本の各確率は 1⁄2 である）ときの期待値は： 1 2 1 × 100 + × 20 = 60 円と計算します。 2 もし２本のクジが色で区別でき、赤を 3⁄5 、白を 2⁄5 の割合で引くとすると、期待値は： 3 5 2 × 100 + 5 × 20 = 64 円と計算します。 （A の出現確率×A の価値）＋（B の出現確率×B の価値）＋（C の出現確率×C の価値） ＋・・・・・ という計算式で系全体の期待値を求めます。 エントロピー（の大きさ）は、 「系が平衡状態にある時、系がとり得る異なる様々な状態に 1 ついて、各状態が持つ情報量（ log 𝑃 ）の期待値」なので、その計算は次のようになります。 ある系が、全部で 𝑛 種類の独立して生起する状態 𝐸1 , 𝐸2 , ⋯ 𝐸𝑛 から成っていて、各状態の 出現確率が 𝑃1 , 𝑃2 , ⋯ 𝑃𝑛 のとき、この系全体が持つ情報量の期待値（つまり平均情報量）は： 1 1 1 2 1 𝑃1 log 𝑃 + 𝑃2 log 𝑃 + ⋯ 𝑃𝑛 log 𝑃 = ∑ 𝑛 𝒏 𝒊=𝟏 𝟏 𝑷𝒊 𝐥𝐨𝐠 𝑷 で計算できます。 𝒊 数学者は簡潔な表現を好むので、シグマの前にマイナスを出して − ∑𝒏𝒊=𝟏 𝑷𝒊 𝐥𝐨𝐠 𝑷𝒊 と表す ことが多いのですが、本説明では意味をしっかりと押さえていくために、確率の逆数を明示し た式を用います。 この式を導いたのはシャノンやギブズですが、一般的にはシャノンの情報エントロピーと呼 ばれています。もちろん、このままでは物理単位を持っていません。 ここで、少し用語を整理しておきます。 （シャノンの）情報量とは、確率の逆数の対数です。要するに確率の関数であり、確率で決 まる値です。確率を 𝑃 として数式で表すと： 𝟏 𝐥𝐨𝐠 𝑷 ・・・・・・・・・(1) 式 情報という用語に拘（こだわ）ると、情報という意味を読み取りづらい複雑な現象への応用、 つまり一般化に制約を受けるため、数式 log 1 𝑃 で表されるものを情報量と理解せずに、確率的 稀少価値の大きさであるとのみ理解して構いません。数式では確率の逆数をとって、それを対 数化していますが、式の本質、つまり変数は確率 𝑃 だけだからです。 期待値とは、対象データについて、各データの出現確率に基づいて確率的重み付けを行った 平均値です。対象データを 𝑥𝑖 、対象データの出現確率を 𝑃𝑥𝑖 として数式で表すと： 𝑃𝑥1 × 𝑥1 + 𝑃𝑥2 × 𝑥2 + ⋯ 𝑃𝑥𝑛 × 𝑥𝑛 = ∑ 𝒏 𝒊=𝟏 𝑷𝒙𝒊 × 𝒙𝒊 ・・・・・・・・(2) 式 情報量の期待値とは、各情報量について、各情報量の出現確率に応じた確率的重み付けを行 った平均値のことです。情報量そのものが確率から来る概念なので、ややこしいですね。式で 説明すると、期待値を表す (2) 式の対象データ 𝑥𝑖 の部分に、(1) 式、つまり各データの情報 1 量 log 𝑃 を入れたものとなります： 𝑥𝑖 𝒏 1 𝑃𝑥1 log 𝑃 𝑥1 1 + 𝑃𝑥2 log 𝑃 𝑥2 1 + ⋯ 𝑃𝑥𝑛 log 𝑃 𝑥𝑛 = ∑ 𝒊=𝟏 𝟏 𝑷𝒙𝒊 𝐥𝐨𝐠 𝑷 𝒙𝒊 ・・・・・・・・(3) 式 情報量の期待値とは、「各状態の出現確率について、各々の確率の逆数の対数を、それぞれ の出現確率に応じた確率的重み付けを行った平均値のことである、つまり確率的稀少価値の確 率的平均値」ということになります。分解して説明するとかえって解りづらいですね。 そこで、これをエントロピーって呼んじゃおう、ということです。元々、情報量には確率的 意味が含まれているし、情報量について平均を取る時は、相加平均や相乗平均ではなく、普通 は期待値（つまり確率的平均値）を取るので、こうしたことを自明の習慣と前提して、エント ロピーを平均情報量と呼ぶこともあります。 しかし、日常的な使い方での「情報」という意味を必ずしも読み取ることができない場合が 多いので、平均情報量と呼ぶよりは、そのままエントロピーと呼ぶ方が良いと思われます。 さて、これまでエントロピーは平衡状態を中心に理解されてきました。系が平衡状態 𝐵 で あるとき、系がマクロ的に異なる 𝐴、𝐶、𝐷、𝐸 といった状態に移行する確率は「0」に近く、 マクロ的には同じ状態に見えるが、ミクロ的に異なる 𝐵1、𝐵2、𝐵3、𝐵4 といった状態間を遷移 していると考えられます。そもそも、そういう変化状態にあることを平衡と呼ぶのです。 しかも、平衡状態なので、𝐵1 → 𝐵2 、𝐵2 → 𝐵3 といった状態遷移の確率は常に一定の可能性 があります（厳密には、マクロ的に安定していれば遷移の確率が変化していても構いません ）。系の平衡 状態のミクロ的状態遷移の確率を用いて平均情報量を計算したものがエントロピーであると いうのが、これまでの解釈でした。なお、ミクロ的な変化の物理単位をエントロピーの物理単 位とすることができます。 しかし、熱力学のエントロピーとシャノンの情報エントロピーは本質的に異なるものであると考える多数の 科学者は、シャノンの情報エントロピーが物理単位を持ち得ることを認めていません。こうした科学者は「情 報」という意味に拘（こだわ）りすぎているのだと考えられます。本説明では、シャノンの情報エントロピー も熱力学のエントロピーも本質的には確率現象を扱った同じものである（確率的稀少価値の確率的平均値）と いう立場で説明しています。 1－3. エントロピーについての解釈（２） エントロピーとは「系が平衡状態にある時、系がとり得る異なる様々な状態についての平均 情報量である（各状態が持つ情報量の期待値である）」という従来からの解釈に対し、 「系が非 平衡状態にある時、系を観察した一瞬時において系が持っている異なる様々な変化の瞬間的確 率に基づいて、各変化が持つ情報量の期待値をエントロピーだと考えよう」という新しい解釈 が提案されるようになりました。 非平衡状態とは、系が平衡状態でない、つまりマクロレベルでも変化している動的状態のこ とです。従来のように平衡状態の平均情報量をエントロピーだと考えるのではなく、非平衡状 態の瞬間的平均情報量をエントロピーだと考えようという提案です。この提案に基づくと、エ ントロピーの一般化された定義は次のようになります。 この世界（あるいはその一部：系）のあらゆる瞬間的な確率的な変化について、それらの確 率的稀少価値の期待値を系のエントロピーと定義する。このとき瞬間的な確率的な変化量の物 理単位がエントロピーの物理単位となる。 エントロピーの数式は、シャノンの情報エントロピーと同じ形式です。計算に用いる確率が 異なるだけのことです。平衡状態の確率ではなく、非平衡状態の確率（次の瞬間には変化して いるもの）を用います。 では、エントロピーの解釈（１）と（２）の違いが明確になるように、具体的な運動をして いる系のエントロピーを求めてみます。 ある粒子１個が１メートルずつ離れて直線上に並ぶ５つのセル（cell-1～cell-5）のどこかに 存在していて（図 1 と図 2） 、１秒毎に［同じセルに留まる］か［すぐ隣のセルに移る］か［二 つ隣のセルに移る］かの運動を、 （ここでは計算を簡単にするために）等確率でしているもの と仮定します。 例えば、図 1 (2) のように左端の cell-1 に粒子がある時は、cell-1～cell-3 に移る確率は各々 1/3 であると考えます。また、図 1 (3) のように cell-2 に粒子がある時は、cell-1～cell-4 に移 る確率が各々1/4 であると考えます。図 1 (4) は cell-3 に粒子がある時、次に移る確率を示し ています。 (1) cell-1 cell-2 cell-3 cell-4 cell-5 (2) 1/3 1/3 1/3 (3) 1/4 1/4 1/4 1/4 (4) 1/5 1/5 1/5 1/5 1/5 (5) 𝑎 𝑏 𝑐 𝑏 𝑎 (6) 1 1 1 𝑎+ 𝑏+ 𝑐 3 4 5 1 2 1 𝑎+ 𝑏+ 𝑐 3 4 5 2 2 1 𝑎+ 𝑏+ 𝑐 3 4 5 1 2 1 𝑎+ 𝑏+ 𝑐 3 4 5 1 1 1 𝑎+ 𝑏+ 𝑐 3 4 5 図 1. 系の 1 例 エントロピーの解釈（１）では、十分に長い時間が経過して平衡状態となり、粒子の存在確 率が安定した状態でエントロピーの大きさを計算します。その時の、各 cell に粒子が存在する 確率を図 1 (5) のように、系の対称性を考慮して cell-1：𝑎、cell-2：𝑏、cell-3：𝑐、cell-4：𝑏、 cell-5：𝑎 とします。 (2) cell-2 (3) cell-1 (4) cell-1 cell-2 cell-3 cell-4 cell-5 cell-3 cell-4 cell-5 cell-4 cell-5 (5&6) 図 2. 図 1 の変化の様子を示したもの ここで、平衡状態における粒子移動確率の連立 1 次方程式を作ります。 まず、全確率は 1 ですから 𝑎 + 𝑏 + 𝑐 + 𝑏 + 𝑎 = 2𝑎 + 2𝑏 + 𝑐 = 1 が成立します。 次に、平衡状態では各セルを出入りする確率が等しくなることを式で表します。 cell-1 の場合、セルから出る確率は 1 3 1 1 𝑎 + 3 𝑎 + 3 𝑎 = 𝑎 、セルに入る確率は、図 1 (6) 及び図 1 1 1 2 (5&6) に示すように cell-1 ⇒ cell-1：3 𝑎 、cell-2 ⇒ cell-1：4 𝑏 、cell-3 ⇒ cell-1：5 𝑐 の 合計です。この両者が等しいという式を立てます。同様にして cell-1～cell-3 について次の３ つの等式を得ます。 1 1 1 1 2 1 3 4 5 3 4 5 𝑎= 𝑎+ 𝑏+ 𝑐 、 𝑏= 𝑎+ 𝑏+ 以上の４つの方程式を解いて、𝑎 = 3 19 2 2 1 3 4 5 𝑐 、 𝑐= 𝑎+ 𝑏+ 𝑐 、𝑏 = 4 19 、𝑐 = 5 19 を得ます。 エントロピーの解釈（１）では、平衡状態において各状態がもつ存在確率でエントロピーを 計算するので、この系のエントロピーは（対数の底を 2 とすると） ： 𝑎 log 1 1 1 1 1 + 𝑏 log + 𝑐 log + 𝑏 log + 𝑎 log = 2.2942740 ∙∙∙∙∙ 𝑎 𝑏 𝑐 𝑏 𝑎 となります。解釈（１）では、平衡状態のエントロピーしか計算できません。 しかも、多くの粒子の集まりである現実の物質系では、系がとり得る状態数が 10 の何十乗 という巨大なスケールになるため、平衡状態における各状態の存在確率を区別して（上に示し た例のように）計算することが不可能となります。そこで、各状態は等確率で存在していると 仮定して計算します（このような仮定を等重率の原理とか、等確率の原理と呼ぶことがありま す） 。 今回の例だと、𝑎 = 𝑏 = 𝑐 = 1 5 と仮定します。その場合のエントロピー計算は： 1 1 5 × × log = log 5 = 2.3219280 ∙∙∙∙∙∙ 1 5 ( ) 5 となります。 したがって、エントロピーの解釈（１）における一般的なエントロピーの計算方法は次のよ うになります。 系が平衡状態においてとり得る状態の種類が全部で 𝑊 通りあるとき、𝑊 種類の状態が等 確率で出現している、つまり各状態の出現確率は 1 𝑊 であると仮定し、 1 1 1 1 1 1 1 1 log + log +⋯ log = 𝑊 × log = 𝐥𝐨𝐠 𝑾 1 1 1 1 𝑊 𝑊 𝑊 𝑤 (𝑊 ) (𝑊 ) (𝑊 ) (𝑊 ) と計算します。 そして熱力学的エントロピー 𝑆 の大きさは、物理単位 𝐽⁄𝐾（ジュール／ケルビン）を持つ比 例定数（ボルツマン定数） 𝑘 = 1.38066 × 10−23 を掛けて、𝑺 = 𝒌 𝐥𝐨𝐠 𝑾 とします（この定数を使 う場合、対数の底は 𝑒 = 2.7182818284 ∙∙∙∙∙∙ とします） 。物理学や化学の実験で測定されるエントロピ ーを、この数式で解釈しようというのが、現代科学の主流です。 なお、エントロピーの大きさを決めるのは 𝑊 なので、𝑊 、log 𝑊 、𝑘 log 𝑊 のいずれも諸 説明の中で（エントロピーの決定因子という感じで）単に「エントロピー」と呼ばれる可能性 があります。前後の文脈から判断する必要があります。 平衡状態を重視してエントロピーを解釈する主流派に対し、異を唱える異端派のひとつがエ ントロピーの解釈（２）の立場です。 非平衡状態を重視するエントロピーの解釈（２）では、どの瞬間においてもエントロピーを 計算できます。 ある観察の瞬間、粒子が cell-1 にあったとすると、その時の系のエントロピーは： 1 1 1 1 1 1 × log + × log + × log = log 3 = 1.58496250 ∙∙∙∙∙∙ 1 1 1 3 3 3 (3) (3) (3) となります。粒子が cell-2 にある時の系のエントロピーは： 1 1 4 × × log = log 4 = 2.0 1 4 (4) 粒子が cell-3 にある時の系のエントロピーは： log 5 = 2.3219280 ∙∙∙∙∙∙ となります。このエントロピーに物理的単位を与えるときは、系において確率的に変化する 量の物理単位を用います。 以上の計算から、平衡状態では、粒子が cell-3 に存在する確率が最も大きいこと、また粒子 が cell-3 にある時、系はマキシマム・エントロピー（maximum entropy、極大エントロピー、 最大エントロピーとも言う）を持つことが分かります。 また、この例では解釈（１）で等重率を仮定した場合のエントロピーの値（2.321928……） と、解釈（２）のマキシマム・エントロピーの値は一致していますが、単なる偶然です。セル の数を 7 に増やせば、解釈（１）のエントロピーは log 7 = 2.80735 ∙∙∙∙∙∙ となり、解釈（２） のマキシマム・エントロピーより大きくなりますし、そもそも物理単位を付けて比較している わけではありませんので。 同じような運動条件で、系を構成するセルの数を 8 個に増やします。cell-1 から cell-8 ま でが一列に並んだ系のエントロピーを計算してみましょう。 （表 1） 表 1. 系（セル数 8 個の場合） (1) cell-1 cell-2 cell-3 cell-4 cell-5 cell-6 cell-7 cell-8 (2) 𝑎 𝑏 𝑐 𝑑 𝑑 𝑐 𝑏 𝑎 (3) 3⁄ 34 4⁄ 32 4⁄ 34 4⁄ 32 5⁄ 34 4⁄ 32 5⁄ 34 4⁄ 32 5⁄ 34 4⁄ 32 5⁄ 34 4⁄ 32 4⁄ 34 4⁄ 32 3⁄ 34 4⁄ 32 (4) 平衡状態における存在確率を表 1 (3) に示します。確率が平坦化していることがわかります。 系を構成するセルの数が何百、何千と増えていくと、ほとんどが等確率になり、系の端や端に 近いセルの確率の違いなど無視してもよいことがわかります。そこで、こんな小さな差異など 無視して等確率で考えよう（等重率の原理）というのが、平衡状態におけるエントロピーの解 1 4 8 32 釈（1）です。その時の確率を表 1 (4) に示しています（ = で表示） 。 表 1 (3) のエントロピーは： 2× 3 1 4 1 5 1 × log +2× × log +4× × log = 2.97133 ∙∙∙∙∙∙ 3 4 5 34 34 34 (34) (34) (34) 表 1 (4) のエントロピーは： 8× 4 1 × log = log 8 = 3 4 32 (32) では、同じような運動条件で、系を構成するセルの数を 13 個に増やします（表 2）。方程式 を作ると、すぐに cell-3 ～ cell-11 までの平衡時の存在確率は等しいことに気づきます。 表 2. 系（セル数 13 個の場合） (1) cell-1 cell-2 cell-3 cell-4 cell-5 cell-6 cell-7 cell-8 cell-9 cell-10 cell-11 cell-12 cell-13 (2) 𝑎 𝑏 𝑐 𝑑 𝑒 𝑓 𝑔 𝑓 𝑒 𝑑 𝑐 𝑏 𝑎 𝑎 𝑏 𝑐 𝑐 𝑐 𝑐 𝑐 𝑐 𝑐 𝑐 𝑐 𝑏 𝑎 (3) 3⁄ 59 4⁄ 59 5⁄ 59 5⁄ 59 5⁄ 59 5⁄ 59 5⁄ 59 5⁄ 59 5⁄ 59 5⁄ 59 5⁄ 59 4⁄ 59 3⁄ 59 (4) 5⁄ 65 5⁄ 65 5⁄ 65 5⁄ 65 5⁄ 65 5⁄ 65 5⁄ 65 5⁄ 65 5⁄ 65 5⁄ 65 5⁄ 65 5⁄ 65 5⁄ 65 表 2 (3) のエントロピーは： 2× 3 1 4 1 5 1 × log +2× × log +9× × log = 3.67931 ∙∙∙∙∙∙ 3 4 5 59 59 59 ( ) ( ) ( ) 59 59 59 表 2 (4) のエントロピーは（表では 13 × 1 13 5 = 65 で表示）： 1 1 × log = log 13 = 3.7004 ∙∙∙∙∙∙ 1 13 (13) 無数の構成要素を持つ系の場合、エントロピーの解釈（１）に基づいて平衡状態におけるエ ントロピーを計算するときは、等重率の原理を仮定しても問題なさそうだということが感じら れると思います。 エントロピーの解釈（２）では、系の観察時にどのような状態がどれだけの確率を持つかは、 観察の直前に系がとる状態によって決まる、と考えますが、このようにとらえる確率を条件付 き確率と呼びます（条件付き確率で追いかけることのできる変化の過程を、特にマルコフ過程と呼ぶこと もあります） 。しかし、エントロピーの解釈（１）も平衡状態にあるという条件で確率を考えて いるわけであり、条件付き確率という用語を導入しても説明しやすくなるわけではないので、 ここでは用いないことにしました。 1－4. １次元情報系のエントロピー では、エントロピーの解釈（２）に基づいて、1 次元情報系のエントロピー、特にマキシマ ム・エントロピーを計算してみましょう。 １次元の情報処理システムは、生物にとって最も原始的で基本的な情報処理の仕組みです。 例えば、遺伝情報を保管している DNA は 4 種類の塩基（A, T, G, C）の１次配列です。タンパ クは 20 種類のアミノ酸の１次配列です。人間の言葉（音声）も１次元情報です。紙面に文字 を書いたものは２次元情報ですが、文を読むときは１次元情報として順に脳に取り込み処理し ています。 １次元の情報処理は機構が単純なので、２次元や３次元よりも信頼性が高く、また扱う情報 量が小さい場合はコスト・パフォーマンスも良いと期待されます。生物の増殖や成長といった 原始的で重要な機能を支える情報処理システムでは、そのような１次元の情報処理を用いてい る可能性が高いのではないかと考えられます。 ここでは、00101111011… のような 0 と 1 を要素（元）とする１次元配列について調べて みます。１秒ごとに、各要素は隣の要素と位置を換えることができるとします。また、ここで はすべての交換は対称的で等確率であると考えます。 ただし、0 ⇔ 0、1 ⇔ 1 のように、同じ数値同士が位置を交換しても、状態としては区別 できない（つまり異なる状態として数えない）ものとします。これは、量子力学の考え方の影 響を受けた仮定です。 また、100 が 001 に変わるように、二回続けての変化（100→010→001：この場合２秒を要 する）が一度に起こること（100→001）は認めません。 そして、一度に変化できるのは 0 と 1 とが隣同士のワン・ペアのみであり、101 が 010 にな るような重複変化は認めません。 二つ以上の 01（または 10）のペアとペアが互いに干渉し合わない限り、何ペアでも同時に 変化、つまりそれぞれのペアの中で 0 と 1 が位置を交換できると考えます。 例えば 01010011 から任意の数のペアを、例えば 01010011 の下線部分のように２組選び、 １秒後には 01100101 と変化することができると考えます。そして１秒後に取り得るすべての 場合の数を F として計算します。この F は、系のエントロピーを計算するときの種のような 1 ものです。F の性質がそのままエントロピー（ 𝑆 = 𝐹 × 𝐹 log 1 1 𝐹 ( ) = log 𝐹 ）に反映されること になります。 では、幾つか例を示します。 000111 は 000111 または 001011 と変化できますから F (000111) = 2 と計算します。 011101 は 011101、101101、011011、011110、101011、101110 のいずれかへ変化できま すから F (011101) = 6 と計算します。このとき、前方の 01 と後方の 101 の変化は独立してい る（つまり、互いに干渉し合わない）ことに着目すれば、F (011101) = F (01) ×F (101) = 2 ×3 = 6 と計算できます。 この条件下では、同じ長さの配列では 010101 または 101010 と、両者は本質的に同じこと ですが、0 と 1 が交互に並んだタイプの F が最大となることは簡単に理解できます。 そこで今度は、 元の個数を n とし、n = 0 の状態から 1 個ずつ元を増やしながら最大の F を 計算します。その結果を表に示します。 表１． １次元情報系のマキシマム・エントロピー（の種） 元の数 対称性 0 0 1 0 2 1 3 2 4 3 5 4 6 5 7 6 F (0101…) F ( ) = 1 と決める F (0) = 1 F (01) = 2 F (010) = 3 F (0101) = 5 F (01010) = 8 F (010101) = 13 F (0101010) = 21 F (1010…) F ( ) = 1 と決める F (1) = 1 F (10) = 2 F (101) = 3 F (1010) = 5 F (10101) = 8 F (101010) = 13 F (1010101) = 21 （0）、1、1、2、3、5、8、13、21、34、55、89、 ・・・と続く数列が得られました。各項 は 1+1＝2、1+2＝3、2+3＝5、3+5＝8 と、前の二つの項を加えることで新しい項が作られて います。このような数列をフィボナッチ数列と呼びます。 隣り合うふたつの項の比は 1/1＝1、1/2＝2、3/2＝1.5、5/3＝1.666、8/5＝1.6、13/8＝1.625、 21/18＝1.615、34/21＝1.619・・・となり極限は黄金比（1.6180339…）となります。 世の中で一番シンプルな１次元情報系は、マキシマム・エントロピーを保って成長する（増 殖する、要素数を増やす）とき、エントロピーの種とも言うべき F の値はフィボナッチ数列 を生み出すのです。 マキシマム・エントロピーの生物学的な意義を列挙します： （１） 利用できる低エントロピーエネルギーを完全に使い果たした状態（無駄が無い！） （２） その系内における化学反応が完了しており，化学的に安定した状態（燃え残りが無 く安全！） （３） 情報の記録装置として見る場合，最大多数のデータを記録できる状態（情報変化に 対して最も適応的な状態，つまり賢い！） マキシマム・エントロピーには生物学的なメリットが多くあります。これらのメリットをよ く理解するのは高校生レベルの知識では難しいと思われます。 ここでは、エントロピーについての新しい解釈（２）が正しい（かもしれない）ことを示す 物的証拠をひとつ紹介しておきます。 1971 年に化学者の細矢治夫は、トポロジカルインデックス（発見者の名前をとって細矢イ ンデックスとも呼ばれます）について発表しました。 これは、メタンやエタンといった炭化水素の炭素骨格に着目して、先に紹介した 1 次元情報 システムのマキシマム・エントロピー計算と同じような方法で計算して導く指数です。 細矢治夫は実験等で、このトポロジカルインデックスは、炭水化物について熱力学的に測定 されたエントロピーの値との間に一定の相関関係があることを認めました。 現在、トポロジカルインデックスは、炭化水素の炭素骨格に関係した電子分布のエントロピ ーではないかと推測されています。あらゆる確率的変化はエントロピーを持ち、熱力学的に測 定した炭化水素のエントロピーは、様々な種類のエントロピーの寄せ集めであると考えられ、 トポロジカルインデックスは、そうしたエントロピーのひとつであろうというわけです。 これは、エントロピーについての新しい解釈（２）の物的証拠としては、まだ弱い証拠です が、将来、検証が進み、最初の物的証拠として評価されることが期待されます。 【参考文献】 ・ H. Hosoya “Topological Index. A Newly Proposed Quantity Characterizing the Topological Nature of Structural Isomers of Saturated Hydrocarbons” Bulletin of the Chemical Society of Japan, 44 (1971) 2332-2339. ・ Ying-duo GAO and Haruo HOSOYA “Topological Index and Thermodynamic Properties. IV. Size Dependency of the Structure-Activity Correlation of Alkanes” Bulletin of the Chemical Society of Japan, 61 (1988) 3093-3102. ・ 細矢治夫著「トポロジカル・インデックス」日本評論社、2012 年、副題：フィボナッチ数 からピタゴラスの三角形までをつなぐ新しい数学 また、1981 年に数学者の堀部安一は、フィボナッチ木（Fibonacci trees）についてシャノ ンの情報エントロピーを用いた計算をおこなって、黄金比がマキシマム・エントロピーを意味 していることを発表しています。 【参考文献】 ・ Y. Horibe “An Entropy View of Fibonacci Trees” The Fibonacci Quarterly 20 (1982) 168-178 ・ Y. Horibe “Notes on Fibonacci Trees and Their Optimality” The Fibonacci Quarterly 21 (1983) 118-128 ・ Y. Horibe “Entropy of Terminal Distributions and the Fibonacci Trees” The Fibonacci Quarterly 26 (1988) 135-140 ・ 堀部安一著「黄金比とエントロピー」数理科学 No.294, サイエンス社，1987 年 ・ 堀部安一著「情報エントロピー論（第 2 版） 」森北出版，1997 年第 2 版，「付録：黄金 比とエントロピー」に，数理科学 No.294, 1987 に掲載された同題の記事が転載されて います。 【参考文献】フィボナッチ数とエントロピーに関して数冊 ・ 中村滋著「フィボナッチ数の小宇宙（改訂版）」日本評論社、2008 年第 2 版 ・ アリー ベン-ナイム著、中嶋一雄訳「エントロピーがわかる」講談社ブルーバックス B1690，2010 年 エントロピーが系の確率的状態を示す量的指標であることを解りやすく説明してくれてい ます。Arieh ben-Naim “Entropy Demystified” の翻訳ですが、英語もやさしいので原著を読まれることをお奨めし ます。 ・ 竹内淳著「高校数学でわかるボルツマンの原理」講談社ブルーバックス B1620、2008 年 高校の数学と物理を終えていないと難しいと思われます。 ・ 鈴木炎著「エントロピーをめぐる冒険」講談社ブルーバックス B1894、2014 年 研究の 歴史的展開の様子が解りやすく説明されています。 ・ 清水博著「生命を捉えなおす 生きている状態とは何か」中公新書（1978 年初版、1990 年増補版） エントロピーとは何かを理解できたならば、やはり次は生命論にぜひ進んで行っていただきたいも のです。 ・ 佐藤直樹「エントロピーから読み解く生物学―めぐりめぐむ 年 わきあがる生命」裳華房、2012 東京大学教養学部（文系）の教科書です。とてもバランスがよくとれています。 以上で、 「勝手にしやがれ！エントロピー が読むための準備説明を終えます。 文系高校数学でも理解できる確率的世界像」を高校２年生
© Copyright 2024 ExpyDoc
