4. システムの評価

4. システムの評価
システムの評価
• 四章では評価とは「意思決定」であるとする
• 評価属性が複数個存在する場合には2つの
ステップがある
①個々の属性の評価
②総合的な評価
システムの評価
• システムの認識では要素と相互関係(構造)
とが重要である
• 評価が難しいのは、分析をいくら精密客観的
に行っても、最後には評価者の主観が入ると
いう点である
• 評価者だけでなく、問題に関係する人々が納
得できるものでなければ不満が残る
4.1 総合評価の方法
• システムの評価とは代替案の価値や優劣を
判定することである
• 評価者(評価自体)、代替案、評価基準の3
つが関係してくる
4.1.A 階層構造モデルによる評価
4.1.A 階層構造モデルによる評価
• システムの階層構造の認識は、総合評価の
問題でも重要な役割を果たす
• 最終目的である抽象的な評価基準を、より具
体的な評価属性(評価項目)によって階層構
造モデルに表現することが考えられる
4.1.A 階層構造モデルによる評価
Vitality
Sense
交通アクセス
都市環境の魅力
Accessibility
情報アクセス
Fit
Control
図1 評価基準の階層構造モデル
4.1.A 階層構造モデルによる評価
• 階層構造モデルによる評価方法として、AHP
(階層化意思決定法)がある
• 各評価属性に対して同一階層レベルごとに
重要度を求め、それらの加重和によるスカ
ラー比によって総合評価が行われる
4.1.A 階層構造モデルによる評価
AHPの手順(1)階層図の作成
• 評価基準の階層構造モデルをもとに、その最
下位のレベルに各代替案を配置することで階
層図を得る
• 同一階層レベルの評価属性は、互いに独立
あるいは独立に近いものを選定する
4.1.A 階層構造モデルによる評価
レベル1
レベル2
(レベルk-1)
レベル3
(レベルk)
最終目的
●
評価属性 1
評価属性 h
●
評価属性 n
●
代替案 1
●
代替案 i
図2 AHPの階層図
代替案 j
代替案 m
4.1.A 階層構造モデルによる評価
AHPの手順(2)各要素の重要度の一対比較
• AHPの階層図にあるように、階層レベルkの
m個の要素が、その直上の階層レベルk-1
の要素hに関係しているとする
• 階層レベルkの各要素について、要素hから
みた重要度の差異を一対比較によって調べ
ていく
4.1.A 階層構造モデルによる評価
AHPの手順(2)各要素の重要度の一対比較
• 階層レベルkの2つの要素 i と j について、要
素hからみた重要度の差異を評価者に尋ね、
数値 aij を与える
• 一対比較を繰り返すことにより、m×m行列
A=[aij]を得る
4.1.A 階層構造モデルによる評価
AHPの手順(2)各要素の重要度の一対比較
• 各要素の重要度をwi(i=1、…、m)とすると
aij=wi/wj
4.1.A 階層構造モデルによる評価
(3)一対比較の整合性チェックと
各要素の重要度の算定
• aij=wi/wjより、一対比較行列Aと要素の
重要度ベクトルW=(w1,w2,…,wm)Tにつ
いて、理想的には次の関係が成り立つ
4.1.A 階層構造モデルによる評価
(3)一対比較の整合性チェックと
各要素の重要度の算定
AW =
= mW
1
w₁/w₂
w₁/w₃
・・・
w₁/wm
w₁
w₂/w₁
1
w₂/w₃
・・・
w₂/wm
w₂
・・・
・・・
・・・
・・・
・・・
・・・
wm/w₁
wm/w₂
wm/w₃
・・・
1
wm
4.1.A 階層構造モデルによる評価
(3)一対比較の整合性チェックと
各要素の重要度の算定
• 現実にはばらつきなどによって完全な整合性
を持たない
• 行列Aが値 m の固有値をもつとは限らない
• 一対比較判断の整合性チェックの指標として
整合度が提案されている
4.1.A 階層構造モデルによる評価
(3)一対比較の整合性チェックと
各要素の重要度の算定
行列Aの全ての固有値を算出し、その中の
最大固有値λmaxから
λmax - m
C.I. =
m-1
によって整合性を判定
4.1.A 階層構造モデルによる評価
(3)一対比較の整合性チェックと
各要素の重要度の算定
• 完全に整合性があれば C.I. = 0 となり、整合
性がないほど C.I. は大きくなる
• 一般的に 0.1 より大きくなれば見直しの必要
がある
• チェックをパスすれば、ベクトルWは行列Aの
最大固有値λmax に対応する固有ベクトルと
して算出できる
4.1.A 階層構造モデルによる評価
(4)代替案の総合評価
① 階層レベルk-1での各要素hの合成重要
度を vh(k-1)とする。最上位の階層レベル1に
は、最終目的という1つの要素があるだけで
あり、 v(1)=1と定める
4.1.A 階層構造モデルによる評価
(4)代替案の総合評価
② 要素hからみた階層レベルkの要素 i の重
要度を whi (k) とすると、要素 i の合成重要度
vi(k) を次式で算出する
vi(k)=∑vh(k-1)whi (k)
h
総和∑は、階層レベルk-1の中で、要素 i
と結合している全ての要素hについてとる
4.1.A 階層構造モデルによる評価
(4)代替案の総合評価
③ ①、②の操作を繰り返し、最下位の階層レ
ベルに位置している各代替案の合成重要度
を求める
4.1.B 入出力モデルによる評価
4.1.B 入出力モデルによる評価
• システムの階層構造の認識に基づく評価方
法は、代替案の選考に窮している評価者をサ
ポートする。
• 評価基準の階層構造モデルの作成や、各要
素の重要度の設定が不適切であると、AHPを
利用した総合評価の結果に対し、評価者が
異議を唱えることもありうる。
4.1.B 入出力モデルによる評価
• AHPによる総合評価の結果と評価者の答と
が一致しなければ、AHPの結果のほうに修正
が加えられる。
• その目的は
評価基準の階層構造モデルを
完成させるということである。
4.1.B 入出力モデルによる評価
• 特定の評価者と同じ選考判断を下す評価モ
デルを作ろうとするなら、階層構造モデルに
限定する必要はない。
• 代替案を入力すれば、ブラックボックスから評
価結果が出力されるという入出力モデルで
あってもよい。
そこでは評価基準の
構造を問題にしない
4.1.B 入出力モデルによる評価
• 評価の入出力モデルに必要になるのは、代
替案と評価結果の組としての学習標本である。
• 学習標本を相当数蓄積できれば、多変量解
析、階層型ニューラルネットワークを利用し、
入出力モデルを構築することが可能
4.1.B 入出力モデルによる評価
• 代替案の入力については、各代替案を特徴
付ける属性が的確に設定されたデータ構造
を考える
• 評価結果の出力についても、評価者がその
代替案に与えた総合得点やランクなどの評
価地を表現できるデータ構造にしておく
4.1.B 入出力モデルによる評価
入
力
層
中
間
層
出
力
層
V1’
1
1
1
V10
V2’
2
2
2
V20
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
Vp’
p
q
r
Vr0
階層型ネットワーク
4.2.A 1属性評価
評価尺度
• 一つの変量があり、その変量の値を計測表
示しようとするとき、もの指しに相当する尺度
(scale)が重要である
• 評価の結果を計測表示する場合にも尺度が
必要となる
尺度の種類
• 名義尺度(nominal scale)
• 順序尺度(ordinal scale)
• 基数尺度(cardinal scale)
・間隔尺度(interval scale)
・比率尺度(ratio scale)
・絶対尺度(absolute scale)
丁度可知差異
• 丁度可知差異
(just noticable difference)
人間の認識できる微妙な差異の限界
尺度の設定には大切な基準
経済性
• 経済性とは
最小の費用で最大の効果を上げる程度
経済性の評価
• 費用便益分析
代替案によってもたらされる効果を
金額で評価しようとすること
(便益─費用)が評価基準となる
・便益とは?
金額に換算された効果のこと
悪効果はマイナスの効果に換算される
金額が評価尺度である場合の留意点
• 金額の価値は時間的に変化する
• 現在価値(present value)
F
(4.7)
P=
n
(1+r)
・現在価値P、将来価値F、割引率(利子率)r、とする
評価尺度の留意点(2)
• 金額の価値は空間的に変化する
• 金額の価値は、その金を取得した経緯、その
用途によっても異なる。
4.2 B 多属性評価
評価属性
• 評価マトリックス
• 効用関数
• 集団意思決定
順序尺度の評価マトリックス例
表4.2 順序尺度の評価マトリックス例─下宿探し
属性
代替案
建物の
センス
町並みのセ
ンス
交通の便
物件 a
△
◎
◎
物件 b
◎
△
△
物件 c
×
×
×
基数尺度の評価マトリックス例
表4.3 基数尺度の評価マトリックスの例─下宿探し
属性
代替案
物件 a
床面積
(m)
20
賃貸料
(万円)
4
築年数
(年)
物件 b
27
3.8
10
物件 c
18
4
15
1
多属性評価の特徴
• 多属性評価は属性値やその評価値を客観的
に計測できたとしても、総合評価の規範がな
い限り評価者の主観に依存する
多属性評価は本質的に主観的である
効用関数(1)
• 「満足」あるいは「有効性」の度合いを評価値
とし、その有用性の度合いを効用(utility)と
いう
効用関数(2)
• 代替案の評価属性がn個あるとする
• 代替案の属性値ベクトルを
X=(X1、…、Xn)、代替案a(X=xa)が代
T
替案b(X=xa)よりも有用であるという選好
(preference)の関係をa→bとすると
u(xa)>u(xb)
がなりたつ
(4.8)
効用関数(3)
• 任意の2つの代替案に対して、評価者の選好
判断と矛盾しないように関数u(X)を構築でき
れば、その関数を効用関数あるいは多属
性効用関数という
効用関数(4)
• 全体の効用u(X)が各評価属性ごとの効用ui
(Xi)の重みつき総和
u(X)= ∑wiuni(xi)
(4.9)
i=1
で表されるという加法性を
便宜的に仮定する
効用関数(5)
• 効用と属性値との間には
ui(Xi)=aiXi
(4.10)
という線形性を仮定する
集団意思決定
• 多属性評価問題は評価者の主観に依存す
る
同一評価者であっても気分によって結果が
異なる可能性を意味する
効用関数の例
• 限界効用逓減(所得)
• 非単調効用(鼻の高さ)
集団意思決定(2)
• システム工学での評価は問題解決の代替案
の選好に関する意思決定である
• 複数の評価者による評価
集団意思決定
は難しい
投票の逆理(voting paradox)
•
•
•
•
甲:a→b→c
乙:b→c→a
丙:c→a→b
多数決:a→b、b→c、c→a
一般可能性定理
• 集団意思決定について、各構成員の自由な
選好順序から集団全体の選好順序を構成す
ることは論理的に不可能であるという主張を
一般可能性定理という
集団意思決定(3)
• 集団全体の効用の大きさを示すグループ効
用関数あるいは社会的厚生関数を構成する
ことが論理的に困難であっても、社会の中で
意思決定は下されねばならない