測定の妥当性と信頼性 妥当性とその検証 • 測定値が、測定すべき構成概念を正しく反映している程度のこと。 • 測定の質を表す概念として2種類ある。 • 検証するためには、必要条件をリストアップし、それらの条件が満 たされているかを確かめる。「測定値が妥当であるとしたら、具体 的にどのような条件が満たされるべきか」 • 妥当性 (validity) • 信頼性 (reliability) * これらを評価する際に変数間の相関関係が中心 的な役割を果たす。また妥当性や信頼性が変数間 の相関関係に大きな影響を与える面もある。 例： 逸脱行動得点は狙い通りに「学校、家庭、および社会における比較的軽微な秩 序逸脱行動の程度」を反映しているだろうか？ (p.70) 自己報告はしばしば自分を実際よりもよく見せようとする社会的望ましさ傾向によって ゆがめられる。 収束的証拠（convergent evidence) 高い相関を示すべき変数間で高い相関が得られる。 もし社会的望ましさ傾向によってゆがめられていないならば、本人の報告に基づく得点と、 その本人をよく知っている他者に回答してもらった結果は、高い相関関係を示すだろう。 142 弁別的証拠（discriminant evidence) 低い相関を示すべき変数間で低い相関が得られる。 逸脱行動得点が妥当であるためには、社会的望ましさ傾向自体を反映する尺度との相関 が低くなるであろう。。 143 測定値のモデルと信頼性 信頼性とその推定 測定の信頼性を統計学的に検討する際に は、測定値 x が測定誤差 e を含んでいる とするモデルを考える。 • 測定値の一貫性を表す概念。 x =t +e • 再検査信頼性 • ある期間をおいて測定を繰り返したとき、1回目と2回目で測定値 が一貫している（相関係数が高い） • 平行検査信頼性 • 同じテスト作成デザインに基づいて作成したテストの複数の ヴァージョン（例えば、本調査用、追跡調査用）の間で得点が一 貫している（相関係数が高い） • 測定の信頼性は、妥当性のための必要条件。 • 測定が妥当であれば、測定値の一貫性は高い • 測定値がいくら一貫していても、目的から外れたものを測定 しているとしたら、測定の妥当性は低くなる。 ここで、測定誤差ではない部分である t を 真値と呼ぶ。つまり真値に測定誤差が加 わることで測定値の一貫性・信頼性が損な われるとするモデル。 そこで、測定値 x と同じ真値を持つ別 の測定値を ここで、測定誤差 e はランダムで、真値 とは相関しないものと仮定すると、測定 値の分散は とし、その x と x’ との共分散は、 s x2 = st2 + se2 測定値のモデルと信頼性 つまり、真値は同じで測定誤差のみが異な る測定値 x と x’ の共分散が、観測できな い真値の分散に等しくなる。 ここで、さらに両測定値の測定誤差の分散 が等しいと仮定すると、p・145 左 2つ目の 数式から、測定値の分散も等しくなる。 この時、測定値 x と x’ の間の相関係数 は、 rxx ' = s xx ' sx sx' = st2 s x2 この x と x’ のように、真値が等しく、測 定誤差の分散も等しい測定値のことを 平行測定値と呼ぶ。 左の式は、平行測定値を得ることがで きれば、その間の相関係数をもって信 頼性の推定値とすることができること を意味する。 = rx となり、測定値 x の信頼性と等しくなる。 146 p.135 と同様、無相関な ら共分散が消える 測定値の分散に対する真値の分散の比、 つまり、真値による分散説明率 rx = 144 この真値による分散説明率を測定値 x の信頼性と定義する。しかし、ここには 測定することのできない真値の分散が 含まれている。 st2 s x2 p.135 とy^の分散の式 から並べ替え x′ = t ′ + e′ s xx ' = s( t + e )(t + e ') = st2 + ste ' + set + see ' p.127 合成変 数の共分散 ここで、測定誤差と真値の無相関性を 仮定したように、測定誤差を含む共分 散をゼロと仮定すれば、 s xx ' = st2 145 妥当性が相関係数に与える影響 • 測定の妥当性が低いということは、その変数が反映すべき構成 概念とは別の要因（社会的望ましさなど）によって変数の値が大 きく左右されるということ。このような要因をかく乱要因と呼ぶ。 • 構成概念の内容からすれば変数間に高い相関が期待されるとき でも、かく乱要因によって変数間の相関が低く抑えられることが ある。 • 逆に、2つの変数が同じかく乱要因を共有する場合（両変数とも 社会的望ましさ傾向を強く反映している場合）、社会的望ましさ傾 向の強い人は両変数とも高く、傾向の弱い人は両変数とも弱くな り、結果的に高い相関を生じることがある。 • 測定値間の相関係数が構成概念間の関係を正しく反映するため には、それぞれの測定値が高い妥当性を持っていることが必要 である。 147 信頼性が相関係数に与える影響 2つの変数x、y について、 x =t +e y = t ′ + e′ というモデルを考える。これら2変数間の共 分散は s xy = s(t + e )(t '+ e ') = stt2 ' + ste ' + set ' + see ' ここで、測定誤差はランダムであり真値 と無相関のため共分散はゼロと仮定す ると、 測定値間の相関係数 rxy は、この共 分散 Sxy をそれぞれの測定値の標準 偏差sx、sy の積で割ったものだが、こ れらの標準偏差は sx = rxy = (s t = stt ' rx st ' )( ry p.145左 3つ 目の数式 ) stt ' × rx ry st st ' = rtt ' × rx ry 真値間の相関係数にそれぞれの測定値 の信頼性の積の平方根（これを幾何平均 と呼ぶ）をかけたものに等しくなる。 ここで、測定値の信頼性の値は1以下だか ら、その幾何平均も1以下となるから、 と表せるので、結局、測定値間の相関 係数は、 s xy = stt ' となり、測定値間の共分散が、その真 値間の共分散に等しくなる。 st s , sy = t' rx ry 信頼性が相関係数に与える影響 148 rxy ≤ rtt ' という関係が成り立つ。このように測定 値の信頼性が完全でない程度に応じて 測定値間の相関係数が真値間の相関 係数よりも低くなることを、相関の希薄 化（attenuation) と呼ぶ。 また、真値間の相関係数の絶対値が 1以下になることより、 rxy ≤ rx ry という関係も成り立つ。この式は、測 定値間の相関係数が、測定値の信頼 性の幾何平均を超えることができない ということを示している。つまり、本来 真値間に高い相関がある場合でも、 信頼性の低い測定値からは高い相関 をえることはできないということ。 測定値間の相関係数が真値間の相 関係数が真値間の相関係数を正しく 反映するためには、それ俺の測定値 が高い信頼性を持っていることが必要。 149
© Copyright 2024 ExpyDoc
