PowerPoint プレゼンテーション -

情報エントロピーを用いた
森林情報の解析
Forest Information Analysis using
the Information Entropy
Forest Community Dynamics, Kyoto Prefectural University
MINOWA,Yasushi, Ph.D (Agric. of Tokyo)
Today's contents
 主観的情報の理論的考察
シャノンの情報理論（情報量），ファジィ理論（曖昧さ）
ベイジアン統計学（主観確率）
 エントロピー計算を用いた２種類の観測システムの情報量比較
ー目測の傾向を考慮しない場合ー
通常の観測システム，ファジィ観測システム
 エントロピー計算を用いた２種類の観測システムの情報量比較
ー目測の傾向を考慮する場合ー
通常の観測システム，ファジィ観測システム
 目測の傾向を考慮した場合の報量比較
情報とは
広辞苑（岩波書店、第４版1991年発行）
１．或ることがらについてのしらせ。
２．判断を下したり行動を起こしたりするために必要な知識。
新選国語辞典（小学館、新版1980年発行）
１．事情についての知らせ。
２．なんらかの知識をあたえるもの。知らされる内容。インフォメーション。
現代用語の基礎知識（自由国民社、1992年発行）
情報のもっとも簡単な定義は「報せ」であるが，より正確な定義は「生活主体
と外部の客体との間の情報関係に関する報せ」
専門的な意味での情報とは
総合コンピュータ辞典（共立出版、1984年発行）
１．データを表現するために用いた約束に基づいて，人間がデータに割り当て
た意味。
２．対象となる事象の性質や作用・意味などの内容で、事象の集合によって
表現された生物，機械，組織などが決定したり行動したりするために必要
なもの。
マグローヒル科学技術用語大辞典日刊工業新聞社、1979年発行）
（通信）事実やデータの集合。
哲学事典による情報の説明
「情報の確定的な定義はまだされていない。情報を漠然と，理性的な存在として
の人間が特定の目的に対してもつ知識，意味とする理解は，きわめて狭い理解
である。情報現象は生物や機械や社会組織といった系にも認められ，ウィーナー
のサイバネティックスの構想以来，情報概念は再検討され，物質，エネルギーと
並ぶ位置を与えられている。すなわち，広義の物質現象に，教義の物質（物素，
材料）の物質形態とエネルギー形態の他に，第３の重要な形態として情報が加
わったのである」
「広義の情報は，物質，エネルギーを「秩序・無秩序」的次元から見た共通形式
であり，時間的，空間的，定性的，定量的ないっさいのパターンである。このパ
ターンは，パターンのにない手にかかわりなく，加工（伝達，変換，貯蔵）が可能
であり，にない手としての物質、エネルギーがどんな形態をとろうとも，量的に測
定可能である。情報の量的側面はシャノンの提唱した情報理論によって解明さ
れ，そこでは，情報の量的側面としての「意味内容」を捨象し，確率過程として処
理するから，情報量が客観的に測定され，情報量を表現するためにエントロピー
という語が用いられている。」
シャノンの情報理論（SHANNON’S Information Theory）
自然科学では，確率の対数的測度は熱力学第２法則（エントロピー
増大の法則：閉じた系内ではエネルギーの配分が均一化し，エント
ロピーが増大する方向に向かう）によって「エントロピー（entropy
）」と呼ばれる物理量で表される。熱力学第１法則では「仕事する
可能性を表す尺度」として「エネルギー（energy）」という物理量
が定義されているが，エントロピーはこのエネルギーの中の使用不
可能な部分を指している。また，エントロピーという語は，熱力学
のみでなく，人間社会を含めた自然界すべてに当てはめられ，一般
には「秩序・無秩序の度合いを測る尺度」として認識されている。
1984年，アメリカの数学者C.E.SHANNON は「情報は１つのメッセー
ジを選ぶときの選択の自由度の尺度である」として定義することに
より，情報を定量的に評価できることを示し，またそのとき情報の
量（情報エントロピー：Information entropy）が確率の対数的測度で
表されることを提示した。SHANNONの情報理論では，ある事象系の
エントロピーをその事象系の生起確率分布から定義し，情報を受け
取る前後でのエントロピーの差を用いて，その情報がもたらす情報
量を導出する。
例）サイコロを振ってどの目が出たかを観察する
「１の目が出た」
情報
（１の目が出るという）事象が生起した
この系は「１の目」から「６の目」までの６つの事象が等確率で生起する事象
系である。
「情報がもたらす系の状態の不確定さの減少分をその系の（自己）情報量
という」
最初に観測を行う前，つまり系がどの目を出したかが全くわからない状態
不確定度（エントロピー）の高い状態にある
次に，観測し「１の目が出た」という情報によって系の状態が確定
不確定度（エントロピー）の低い状態となる
ハートレーの情報量 - R.V.L. Hartley (1982) 今，伝送できる記号の集合を考え，それがｎ個の記号からなる場合を考える。こ
の集合からN個の記号を選んで作った系列はｎのN乗通りある。よって，このよう
な系列の中から１つを受信したときに得られる情報量は，情報量をHとすると，
H  log10 n  N log10 n
N
〔単位：Hartley〕
情報量の単位
Ip  log p
において
対数の底を２にとれば，単位はビット，10にとればデジット，自然対数の底ｅ
(=2.71828…)にとればナットとなる。
１ビットの情報量とは二者択一の，１デジットとは10者択一の，１ナットはｅ者択一
の事象が生じたことを報せる情報のもつ情報量である。
１デジット＝3.22ビット，１ナット＝1.443ビット
log XY  log ZY log ZX
情報を定量的に評価する
P0  P1  P2
← 情報の加法性
I0：サイコロの１の目が出たことを直接報せる情報量
I1：奇数の目が出たことを報せる情報量
I2：奇数の目が出たことを知った上で，それが１の目であることを報せる情報量
情報量は事象の生起確率のみの関数，よって生起確率P0＝1/6，p1＝1/2 ，
p2＝1/3 を用いて
I1 6  I1 2  I1 3
Ip0  p1  p2   Ip1  Ip2 
を満たす初等関数は対数関数である。従って，確率pの事象が生起したことを
報せる情報の量（情報量，あるいは自己情報量）は
Ip  log p
（負号は情報量を正の値にするため）
自己情報量
サイコロを振って１の目が出たときの自己情報量は
I1 6  log2 p1 6  2.585 (bit)
６者択一の事象が生じたわけだから，４者択一の場合の２ビットより多く，８者択一の場
合の３ビットより少ない値となる。一方，系が様々な確率で時々刻々をと異なる状態に
あることが判っている時、多数回の観測を行った場合に得られるであろう１情報あたり
の情報量は
情報量の評価方法
X = xi = {x1, x2, … , xn} (I = 1〜n) ：n個の事象からなる集合
p(xi) = {p1, p2, … , pn} (i = 1〜n) ：集合の中の各事象の生起確率ただし，Σ pi = 1
とすると，そのときの自己情報量I(xi)は
Ixi   log2 pxi 
となる。この値は事象 xiの確率p(xi)によるので時々刻々において異なる。よって，時々
刻々と伝えられる事象の自己情報量は変化を繰り返して定まらないが，その重み付け
平均値，
IX   p1 log2 px1   p1 log2 px1 
 pn log2 px n 
n
  px i  log2 px i 
i1
として与えることができる。
；平均情報量(自己情報量の期待値)
ファジィ理論（Fuzzy Theory）
Fuzziness（ファジィ性）の概念に関する提案は，1965年カリフォル
ニア大学バークレー校教授のL.A.ZADEHによる「Fuzzy Sets」と題す
る論文によりなされた。ファジィ性の概念については、古くから
Vaguness，Ambignity，Genelality等といった曖昧さに対する定性的
な考察はなされており，その数学的手法として確率，すなわち
Randamness（ランダム性）の概念が広く利用されている。しかし，
ランダム性では確率現象にみられるような対象的性質としての不確
かさ，すなわち”客観的”不確かさしか処理できず，人間の主観に
起因する”主観的”不確かさは処理できない。
「彼女は美人だ」
「彼はかなり背が高い」
実験や観測では完全に解
消されない
「サイコロを投げて
３の目が出る」
「明日、雨が降る」
実験や観測によって明ら
かとなる
本質的曖昧さ：言葉の意味，概念の定義
Ａ:境界のはっきりしない容れ物
〜
Ｂ:境界のはっきりした容れ物
Ｘ:よくわかっている対象
Ｙ:よくわからない対象
〜
ファジィ集合
“ｘ∈Ａ”の度合い
ファジィ測度
“ｙ∈Ｂ”の度合い
〜
ファジィ集合はクリスプ集合（通常の集合）の拡張
ファジィ測度は確率測度（ルベーグ測度）の拡張
1.0
小さい
中位い
従来の集合（クリスプ
集合）を用いた「大・
中・小」の表現
大きい
0.0
1.0
ファジィ集合を用いた
「大・中・小」の表現
小さい
0.0
中位い
大きい
ファジィ演算
2  3 = 5
~
~
（「だいたい２」+「だいたい３」=「だいたい５」）
~
ファジィ論理と古典論理
「明日は小雨が降りそうだ」
‖
「小雨が降る」は”だいたい真”
ファジィ命題
ファジィ真理値
「２は偶数である」
‖
「２は偶数である」は”真”
クリスプ
二者択一
ファジィ推論
前提１凍っている道は滑る
前提２滑りやすい道は危険だ
前提１車間距離が短くなったら減速せよ
前提２車間距離は約20m
結論凍っている道はとても危険だ結論とても減速せよ
(管野,1988)
ベイジアン統計学（あるいはベイズ統計学）
通常の確率に対し，主観確率（Subjective probability）というものを考え，母集団の
未知の要素，つまり母数についての事前確率分布が存在しているとする考え方。通
常の確率論では，事象の起こりやすさについてのみ確率の概念を適用し，”命題
（統計学においては仮説）”については確率という概念は適用されない（”命題”
とは真偽いずれかであるかは定まっているべきもので，同程度に確からしいといっ
た概念は考えられないとする立場から）。これに対し，主観確率の立場は，通常の
概念およびその適用範囲の拡張として，事象だけでなく命題についても確率を考え
ようとするものである。これは不確実性のもとでの個人の”確信の度合い”を表し
ており，この場合，確率はすべて「経験」とか「知識」といったものを前提とした
条件付き確率である。
ベイズの定理（Baye’s theorem）
有限個または可算無限個の事象H１，H２，…のどの２つも互いに排反でかつ
UiHi = Ω（Hiの和集合が全事象Ωになること）であるとき、p(A )> 0である
事象Aに対し，
pHk | A 
pHk pA | Hk 
k
 pHi pA | Hi 
i1
が成り立つことを言う。
（Hのいずれか（Hk）が起こっ
たときの事象Aが起こる確率）
森林から得られる情報の種類とその曖昧性-「数値情報」単木における調査項目
量
長さ
面積
体積
重量
時間
その他
次元
L1
L2
L3
M
T
-
項
目
幹の直径，樹高，樹冠幅etc
幹の断面積，樹冠断面積，樹冠表面積etc
全体の体積，立木材積，幹材積，樹冠体積etc
幹重量，枝重量，葉重量，地上部（地下部）総重量etc
樹齢etc
樹種，立木位置etc
森林調査における調査項目
作業区分
地况情報
（外的情報）
林况情報
（内的情報）
その他
皆伐，択伐，補植etc
標高，斜面方位，傾斜，斜面位置，土壌条件，下層植生
地質，気象条件 etc
林分蓄積，成立本数，立木粗密度，樹種構成，林木配置
上表にあげた樹木構成 etc
林分面積，混合歩合，NL別（針葉樹，広葉樹）
etc
森林から得られる情報の種類とその曖昧性-「その他の情報」森林から得られる情報の種類
(a)・・・胸高直径が26.5cmというような数値情報
(b)・・・ある林分がAという林型に所属するというカテゴリー情報
(c)・・・リモートセンシングの読み取りなどのような，境界領域が
不明瞭な画像情報
(d)・・・「やや枯損している」「成長が良い」という明確な基準のない
情報，つまり自然言語情報
２種類の観測システム
情報源（ここでは森林）には種々の情報がある種の確率を持って存
在すると考え「情報源から情報を抽出し、その結果を報告する装置
（あるいは方法）」を「観測システム」と呼ぶこととする。
「森林から得られる主観的情報(Subjective Forest Information)とは，
人間の主観が大きく関与するもの（例えば，目測による樹高測定，
樹形級区分，立木の評価等）や，それらを用いた行動（例えば，枝
打ち技術，伐採木等の選木技術，経営計画おける意思決定）など
「経験（則）」とか「勘」が重要な役割を示す情報のことである」
と定義する（美濃羽，1995）。
シミュレーションの条件
①．情報源の種類：樹高測定
②．測定範囲：9.5m〜14.4m、単位は0.1m
③．観測システム：通常（測高器），ファジィ（目測）
④．目測の傾向の有無
通常の観測システム
1.0
X1
X２
X３
X４
X５
10
11
12
13
14
0.5
0.0
確率的情報源
種々の測高器（測棹，レラスコープ，ブルーメライス，等）を
用いた計測。
測定値は１m単位で四捨五入。10.5mも11.4mも同じ11mと報告
される。
縦軸：メンバーシップ関数［0, 1］，横軸：樹高(m)
ファジィ観測システム
1.0
A1
A2
A3
A4
A5
10
11
12
13
14
0.5
0.0
9
15
ファジィ情報源
目測による計測。
ex)
ファジィ情報源A2：「およそ11mぐらいの木である」
つまり，10mから12mまでの間のメンバーシップ値で表される。
縦軸：メンバーシップ関数［0, 1］，横軸：樹高(m)
２つの観測システムとその評価の仕方
情報 Xp
確率 p(Xp)
通常の情報システム
（確率的情報源）
H(Sk|Xp)
条件付き確率 p(s1|X1) p(s2|X1)…
確率
p(X1) p(X2)
…
事象
X1 X2
…
H(S|Xp)
H(S|X)
I(X) = H(S) - H(S|X)
事象系 S
事象
確率
…
s1 s2
…
p(s1) p(s2)
H(S)
I(A) = H(S) - H(S|A)
ファジィ情報システム
（ファジィ情報源）
ファジィ事象 A1 A2
…
確率
p(A1) p(A2)
…
条件付き確率 p(s1|A1) p(s2|A1)…
H(S|A)
H(S|Ap)
ファジィ情報 Ap
確率 p(Ap)
H(Sk|Ap)
ファジィメンバーシップ関数
左右対称なL-Lファジィ数Aijを
Aij   ij , c ij L
μ
1.0
μAij(sk)
と表現し，メンバーシップ関数を以
下のように定義する。


L s   c
ij  ij
  k

sk   ij , c ij  0

Aij sk   
L  ij  sk  c ij


sk   ij , c ij  0



sk
0.0
cij
αij
cij
ただし，α1j=10, α2j=11, α3j=12, α4j=13, α5j=14, ci2=1.0, ci3=1.5, ci4=2.0, ci5=2.5 である。
また，L(sk)は，(1). L(sk) = L(-sk), (2). L(0) =1, (3). L(sk)は[0, ∞]において厳密に減少する，を
満たす型関数である。なお，αijは中心をcijは幅を表している。
ここでは，左右対称な三角形型ファジィ数を考えているので，L(sk)は
Lsk   max0, 1- sk 
となる。
情報量の計算
事象系SをS = si = {s1, s2, …, sm} (i= 1〜m)とおく。刻みは0.1としたので，
m=50となる。事象の確率p(sk) (k=1〜50)は，
1
ps50  
50
ps1  ps2  
50
 psk  1
k =1
通常の観測システムでは，測定値は0.1m単位だが情報として用いるときは1m
単位に四捨五入する。つまり9.5〜10.4mのときはX１を，10.5〜11.4mのときは
X２というように，事象系の状態skに応じてXp（p=1〜５）なる観測結果を報告
する。そのときの確率は，
pX1  pX2  
1
pX5  
5
pXp   psk  sk  Xp
50
k1
(ただし和は事象Xpに含まれるすべての根元事象sk(ここでは事象系の状態sk)に
ついてとられる。)
 pX p  = 1
5
p1
X p  X
情報量の計算 -通常の観測システム情報量H(S)は，次式より
50
HS    psk log2 psk   5.644 (bit)
k1
また，条件付き確率p(sk | Xp)より，情報を得た後の事象系がもたらすエントロピー
の期待値は次式の条件付きエントロピーで表される。
Hsk | Xp  psk | Xp log2 psk | Xp 
また，
HS | Xp   psk | Xp 
より，
 HS | X1  H S | X2  
 HS | X5   3.222 (bit) となる。また，
H S | X    pX p S | X p 
である。
50
k1
5
p1
以上より，情報源X= {X1, X2, …}の持つ情報量I(X)は，
I(X) = H(S) - H(S | X) = 5.644 - 3.222 = 2.322 (bit)
すなわち，この例における林木が持っている樹高情報を確定するのに必要な5.644
ビットのうち，2.322ビットの情報量がこの観測により得られると期待される。
情報量の計算 -ファジイ観測システムメンバーシップ値をAij(sk)とするとき，ファジィ事象を報告する確率p(Aij)および条
件付き確率p(sk | Aij)は，それぞれ
50
p(Aij )    Aij (sk ) p(sk ),
ただし，
k1
psk | Aij 
pAij , sk   Aij sk  pX p , sk ,
5
p1
pAij , sk 
pAij 
pX p , sk  psk | X p pX p 
よって，情報を得た後の対象系のエントロピーの期待値は
Hsk | Aij  psk | Aij log2 psk | Aij , HS | Aij   Hsk | Aij 
50
k1
さらに次式より，
H S | Aij    pAij H S | Aij 
5
p1
 HS | A2   3.888 HS | A3   4.393 HS | A4   4.716 HS | A4   4.955
となる。ゆえにファジィ情報のもたらす情報量は，I(A)=H(S)-H(S|Aj)より
右表のようになる（通常を
ÉGÉìÉgÉçÉsÅ[(bit) Åì
100％とした場合）。
í èÌ
2.322
100.0
ÇQm
ÇRm
ÇSm
ÇT m
1.756
1.251
0.929
0.689
75.6
53.9
40.0
29.7
目測の傾向を考慮した場合の情報量比較
»
調査地
北海道大学演習林本部内の札幌実験苗畑に成立するカラマツ人工林
»
概要
面積：約0.086 ha，立木本数：74本（861本/ha），
直径：10.0-49.0 cm （平均24.1 cm），樹高：7.3-20.6 m（平均14.9 m）
樹高はレラスコープで実測し真値とした。
»
»
測定者：6人（林学科3年生，４年生）
解析方法
教師なし学習モデル：測定者に最後まで真値を教えない方法
教師つき学習モデル：１本測定するごとに測定者に真値を教える方法
»
評価式
Ht  He
Er 
Ht
Er>0：測定者が過小評価，Er<0：測定者が過大評価
（Er：誤差率，Ht：真の樹高値，He：目測による樹高値）

0.5
0.5
0.4
0.4
0.3
0.3
0.2
0.2
誤差率 (%)
誤差率 (%)
測定者の誤測の傾向
0.1
0.0
- 0.1
樹高(m)
- 0.2
0.1
0.0
- 0.1
- 0.3
- 0.3
- 0.4
- 0.4
- 0.5
8
10
12
14
16
18
教師なし学習モデル
20
22
樹高(m)
- 0.2
- 0.5
8
10
12
14
16
18
教師つき学習モデル
20
22
1.0
0.0
7.0
12.0
17.0
22.0
教師なし学習モデル
1.0
0.0
7.0
12.0
17.0
教師つき学習モデル
é˜çÇèÓïÒÇ¾ämíËÇ
Ç ÈÇÃÇ…ïKóvÇ» èÓïÒó 7.022-3.32 2=3.700 ÅiÇ±ÇÍÇ¾100%Ç²Ç•
Ç ÈÅj
ÉÇÉfÉãÇÃéÌó¼
ÉGÉìÉgÉçÉsÅ[(bit) Åì
ã•
étÇ» ÇµäwèKÉÇÉfÉã
1.421
38.4
ã•
étÇ¬Ç´äwèKÉÇÉfÉã
2.602
70.3
22.0

Download Report