インターネットリサーチにおける 「ボランティア・パネル」の特性 立教大学 社会学研究科 応用社会学専攻前期2年 出口慎二 修士論文構想発表会(2004年06月26日) 03MA002W 出口慎二 1.修士論文において目指す到達点 本テーマにとって「有用」な実例の提示 ボランティアパネル(自らパネル登録した人からなるパネ ル)を使ってインターネットリサーチを行なっている会社,あ るいは,ボランティアパネルを使ったインターネットリサー チの結果を利用する会社の方にとって,ひとつの事例とし て「参考になる」と感じてもらえる. 同様のテーマに関心を持つ方が,ひとつのアイデアとして, 同じような方法を用いた(一般的性格の測定を含む)調査 を行なってみようかな,と思う. 修士論文構想発表会(2004年06月26日) 03MA002W 出口慎二 2 2.修士論文の構成 修士論文の主要な内容としては,下記「1」~「8」を想 定. 1.背景 2.本稿で扱う範囲 3.論点の整理 4.調査の方法 5.結果 6.考察 7.結論 8.補遺 修士論文構想発表会(2004年06月26日) 03MA002W 出口慎二 3 2.1.背景(1) 標本調査における推論 回答者から目標母集団について推論を行ないたい. できるだけ目標母集団と一致する枠母集団(サンプリングフレー ム)を構築.計画サンプルは枠母集団への確率的な推論が可能 なようにサンプリング.できるだけ高い回収率を得る.また,その 他の誤差(Measurement errorなど)を極力減らす.(図1) 目標母集団(target population) カバレッジ誤差(coverage error) 枠母集団(frame population) 標本誤差(sampling error) 計画サンプル(sample) 無回答誤差(nonresponse error) 回答者(respondents) 図1.目標母集団から調査回答者に至るまでの過程と,誤差の源泉についての概略. (Groves(1989)より作成). 修士論文構想発表会(2004年06月26日) 03MA002W 出口慎二 4 2.1.背景(2) インターネットリサーチの場合 ほんとうは「一般消費者」を調べたいが・・・ (通常)インターネットユーザしか対象者にできない. 「ネットユーザ」というサンプリングフレームは構築不能. 便宜的サンプルとして利用可能な選択肢は,ネットリサーチ会社 の「パネル」. 仮にその「パネル」を枠母集団として,これに対する推論が可能な ような実査を行ない得たとしても,枠母集団(パネル)と目標母集 団(一般消費者)の関係は(ボランティア・パネルにおいては)断絶 しており推論不可. 修士論文構想発表会(2004年06月26日) 03MA002W 出口慎二 5 2.1.背景(3) 2つの方向のアプローチ 目標母集団と枠母集団の間に手続き的な関係性を構築す る. 志向として正当であり,目的によっては,この方向しか選択肢はな い. 目標母集団と枠母集団の関係を経験的に把握する. 傾向に安定性があれば,経験則として有用.また,現状のスタイ ル(ボランティア・パネル)を所与とすると,これしか方法がない. 修士論文構想発表会(2004年06月26日) 03MA002W 出口慎二 6 2.2.本稿で扱う範囲(1) 調査法研究の2側面 インターネットリサーチの場合,比較対照となる従来型調 査とは,調査の方法(モード)が違うだけでなく,通常は対 象となる枠母集団自体が異なる. 「だれ」(対象者(回答者))と「どうやって」(モード)を分離し た議論が必要. 調査の方法による違いを見るためには,(他の条件ももち ろんだが)母集団が揃っている必要がある(Vehovar and Lozar Manfreda, 2003). 本稿では「対象者」に注目 修士論文構想発表会(2004年06月26日) 03MA002W 出口慎二 7 2.2.本稿で扱う範囲(2) パネル構築の分類 そもそもインターネットリサーチ自体,多種多様. いわゆる「クローズ型」にしても,パネル構築の方法により 特性は異なる(吉村・大隅,2003). 本稿では,「Web公募系」(吉村・大隅,2003)リソースにお ける「リソース内サンプリング方式」(吉村,2001),あるい は「ボランティア・パネル」(Couper, 2000)によるインター ネットリサーチを対象とする. 修士論文構想発表会(2004年06月26日) 03MA002W 出口慎二 8 2.2.本稿で扱う範囲(3) ボランティア・パネルについて 先に目標母集団に対応するサンプリングフレームがあり, ここに応諾を呼びかけるのではない. 通常,オプトインメールやポータル上のバナー広告などで 募集し,自ら進んでパネル登録した人により構築される. 各人に対して積極的に登録を促すようなリクルーティング は行なわれない. opinion giver(林,2002) 日本では多くの場合,ポイント制全員謝礼など,回答を促 すインセンティブが用意される. professional respondents,調査参加常習者(吉村・大隅,2003) 修士論文構想発表会(2004年06月26日) 03MA002W 出口慎二 9 2.3.論点の整理(1) 前提 本研究で関心を向けるインターネットリサーチは,ボラン ティア・パネルを用いるものであり,大隅(「調査環境の変 化に対応した新たな調査法の研究」研究グループ,2004) の言う「インターネット調査」ではない. 本研究は,パネルそのものの特性に関心があり,回答者 集団の特性に注目するものではない.したがって,実査方 法(回答の打ち切りなど)や実査上の管理(依頼メール送 信や調査票ページへのアクセスに関するログ管理など)に 関する問題(吉村・大隅,2003)は議論されない. 修士論文構想発表会(2004年06月26日) 03MA002W 出口慎二 10 2.3.論点の整理(2) 本研究の目的 本来の関心 インターネットリサーチという調査方法の「質」(信頼して使うことが できるか). ここでは対象者について注目.特にボランティア・パネル. 問題 目標母集団と枠母集団の関係性の断絶. 誤差を推定できない=質の議論ができない. そこで・・・ 経験則として,一般消費者とボランティア・パネル間の特性比較. 特性のうち,一般的性格に注目. 修士論文構想発表会(2004年06月26日) 03MA002W 出口慎二 11 2.3.論点の整理(3) 本研究のアプローチ 対象者に注目 モードをそろえる. 同一母集団のうちの一般消費者(集団全体)とパネル登録者(集 団のうちの一部)を比較する. 特にボランティア・パネルに注目 特にアドレス記入を促すような行為は行なわない. 特性として一般的性格に注目 属性など,外見的な部分はできるだけ等質な集団を対象に設定. (e.g. Terhanian, Smith, Bremer and Thomas (2001)における地域・ 年齢・性・教育レベル) 前向き調査として行なう(「パネルである→一般的性格が異なる」 の方向だと「調査なれ」などの効果が含まれてしまう). 修士論文構想発表会(2004年06月26日) 03MA002W 出口慎二 12 2.4.調査の方法(1) モードを固定した前向き調査 外的妥当性より内的妥当性を目標とする実験調査. 調査概要 対象者(全数調査):2003年度における立教大学社会学部1~2年 生全学生(2003年5月1日時点在籍者総数1,112人) 実施概要:自動登録の必修科目の授業時間を利用して,2003年5 月13日~2003年7月01日の間に計 7回の集合調査を実施. 有効回収:有効回収882(対母集団有効回収率79.3%). 修士論文構想発表会(2004年06月26日) 03MA002W 出口慎二 13 2.4.調査の方法(2) パネルへの登録意向による群分け 調査票末尾に図2に示した欄を設け,ここへ有効と思われ るアドレスを記入した場合を,パネルへの登録意向が高い と判断,こうした集団の特性を記述することを本調査の目 的とした. 今後,このような研究のためのアンケートを,インターネット上でも行う予定です.今回の調査に謝礼はありませんが, インターネット上で行う調査では,抽選ではありますが,謝礼も用意する予定です. こうしたアンケートに協力しても良いとお考えの方は,下記にあなたのメールアドレスをご記入ください. なお,ご記入いただいたメールアドレスは,研究調査へのご協力をお願いする以外の目的で使用することはありません. @ 図2.インターネット調査に対する協力意向の測定に使用する設問.ここでのメールアドレスを 記入有無により,それぞれ「アドレス記入」群,「アドレス未記入」群とする. 修士論文構想発表会(2004年06月26日) 03MA002W 出口慎二 14 2.4.調査の方法(3) インターネット利用頻度による群分け(1) 本調査の対象者には,正確には,インターネットを全く利 用しない人はいないと考えられる. しかし,利用可能な環境にいることと,積極的に利用する こととは異なると考え,本調査では,擬似的に,インター ネットの利用頻度の多寡で,ネット利用の高群/低群という 群分けを行い,これをインターネットのユーザ/非ユーザと みなして解釈することとした. 修士論文構想発表会(2004年06月26日) 03MA002W 出口慎二 15 2.4.調査の方法(4) インターネットの利用程度による群分け(2) これにあたっては図3の設問を使用し,「1.ほぼ毎日利用 した」あるいは「2.20日くらい利用した」を選択した人を 「ネット利用高」群,「3.10日くらい利用した」,「4.数回だ け利用した」,「利用しなかった」のいずれかを選んだ人を 「ネット利用低」群とした. 図3.インターネットの利用程度の測定に使用する設問.ここで「1」・「2」を選んだ群と,「3」・「4」・ 「5」を選んだ群の2群に分け,前者を「ネット利用高」群,後者を「ネット利用低」群とする. 修士論文構想発表会(2004年06月26日) 03MA002W 出口慎二 16 2.4.調査の方法(5) 一般的性格検査の項目を含む調査票 同じ大学・学部の1~2年生に対象者を限定したことで,基 本属性を含め,測定されない諸特性についても,ある程度 の等質性を期待. そのうえで,一般的性格を比較する目的で,「新性格検 査」(柳井・柏木・国生,1987)の全13尺度130項目のうち, 各尺度から3項目ずつ,計39項目の質問を使用した. うち12尺度については,柳井・柏木・国生(1987)にて報告のあっ た因子パタン行列を参照,各尺度とも因子負荷のおおきいほうか ら3項目ずつを選んだ. 柳井・柏木・国生(1987)の因子分析には含まれていなかった虚構 性尺度については,柳井・国生(1987)における,尺度ごとの主成 分分析の結果より,虚構性尺度の10項目による主成分分析の結 果の第一主成分に対する負荷のおおきいほうから3項目を選んだ. 修士論文構想発表会(2004年06月26日) 03MA002W 出口慎二 17 2.4.調査の方法(6) 既存研究との比較可能性 その他,既存の研究成果と照らし合わせて結果を見ること ができるよう,先行研究より,従来から良く使われていて, 比較的回答傾向が安定している設問を調査票に含めた. また,そうした性格の分かっている設問のうち,インター ネットの利用有無,ないしインターネットリサーチと従来型 調査で回答傾向が異なると報告されている設問も調査票 に含めた. 修士論文構想発表会(2004年06月26日) 03MA002W 出口慎二 18 2.5.調査結果(1) 使用尺度の妥当性の確認 柳井・柏木・国生(1987)に示された「新性格検査」の作成 手順に習い,本調査のデータを因子分析(直交解の3乗を 目標パタンとする斜交プロマックス回転)するなどして,各 項目が想定どおりのまとまり(同じ尺度の3項目がそれぞ れ互いに同じ因子に高い負荷を示す)となるか確認した. 結果,活動性,規律性,抑うつ性の3尺度は,期待通りの まとまりを示さなかったため,本調査結果の解釈において は,これらの尺度得点は使用しないこととした. 修士論文構想発表会(2004年06月26日) 03MA002W 出口慎二 19 2.5.調査結果(2) 解釈には10の尺度のみを使用 表1に示す,活動性,規律性,抑うつ性の3つの尺度を除く, 10尺度30項目のみを使用することとした. 表1.結果の解釈に使う10尺度30項目.「新性格検査」(柳井・柏木・国生,1987)の13尺度130 項目より抜粋.「逆転項目」は,尺度得点の計算の際,他と得点の与え方を逆とする項目. 本調査の項目 q12_1.話し好き q12_6.広く付き合う q12_34.気さくに q12_9.助ける q12_13.苦しみ q12_35.同情 q12_2.変わった q12_10.発明 q12_36.アイデア q12_14.投げ出さず q12_20.一生懸命 q12_30.粘り強く q12_4.注目 q12_21.目立ちたい q12_23.コンクール 逆転項目 対応する尺度 社会的外向性 社会的外向性 社会的外向性 共感性 共感性 共感性 進取性 進取性 進取性 持久性 持久性 持久性 自己顕示性 自己顕示性 自己顕示性 修士論文構想発表会(2004年06月26日) 03MA002W 出口慎二 本調査の項目 逆転項目 q12_7.言い返す q12_24.相手を批判 q12_26.失礼な q12_11.自分さえ q12_16.信用できない q12_37.世の中の人 q12_17.自信 ○ q12_27.つまらない q12_33.間違って q12_8.気になる q12_28.すぐ忘れる ○ q12_38.くよくよ q12_3.軽蔑 q12_22.嘘をつかない q12_32.悪口 ○ 対応する尺度 攻撃性 攻撃性 攻撃性 非協調性 非協調性 非協調性 劣等感 劣等感 劣等感 神経質 神経質 神経質 虚構性 虚構性 虚構性 20 2.5.調査結果(3) その他設問について(1) 以下のような調査の設問を使用し,カッコ内に示した年に 行なわれた調査結果と本調査の結果を比較したが,いず れも,おおむね似通った回答傾向であった. 全国大学生活協同組合連合会「学生の消費生活に関する実態調 査」(2002年)※1 内閣府「国民生活に関する世論調査」(2003年)※2および「社会意 識に関する世論調査」(2002年)※3 統計数理研究所「国民性調査」(1998年)※4 ※1 ※2 ※3 ※4 全国大学生活協同組合連合会経営開発チーム(2003) 内閣府大臣官房政府広報室(2003) 内閣府大臣官房政府広報室編(2003) 統計数理研究所第10次日本人の国民性調査委員会(1999) 修士論文構想発表会(2004年06月26日) 03MA002W 出口慎二 21 2.5.調査結果(4) その他設問について(2) 先行研究にて※1,インターネットの利用有無,ないしイン ターネットリサーチと従来型調査で回答傾向が異なると報 告されている設問についても,おおよそ同様の傾向が見ら れた. デジカメ所有率は,非ネットユーザよりネットユーザのほうが高い. 生活満足度は,インターネットリサーチでは「不満」のほうに偏る. ※1 たとえば横原・武田・細井(2003)など. これまでと異なる傾向もあった. 国民性調査「人情課長」設問.先行研究においてはインターネット リサーチだと,「面倒を見る課長」のスコアが低く出ているが,本調 査では,アドレス記入者(パネル登録意向が高い群)における「面 倒をみる課長」のスコアが全体に比べ高く出た. 修士論文構想発表会(2004年06月26日) 03MA002W 出口慎二 22 2.5.調査結果(5) ネット利用程度による一般的性格の違い ネット利用程度別に10の尺度得点を比較したところ,「ネッ ト利用高」群における「進取性」の高さが目立った 表側: 尺度得点 全体 0 1 2 3 4 5 6 全体 ネット利用低 ネット利用高 N % N % N % 0% 10% 20% 30% 859 100 522 100 337 100 0 34 4 24 5 10 3 1 67 8 45 9 22 7 2 171 20 112 21 57 17 3 160 19 99 19 59 18 4 171 20 99 19 72 21 5 119 14 67 13 49 15 6 145 17 76 15 68 20 ※%は列%. 独立性のχ^2検定 マン・ホイットニーのU 検定 χ^2= 9.799 順位和:ネット利用低 213701.0 (n=522) df= 6 順位和:ネット利用高 155669.0 (n=337) p= 0.133 Z= -3.076 E<5のセル 0(全14セル中) p= 0.002 ネット利用低 ネット利用高 図4.インターネットの利用程度の異なる2群間での尺度得点の比較(4.進取性). 修士論文構想発表会(2004年06月26日) 03MA002W 出口慎二 23 2.5.調査結果(6) パネル登録意向による一般的性格の違い 「ネット利用高」群のなかでアドレス記入の有無(パネル登録意 向の有無)別に10の尺度得点を比較したところ,「アドレス記入」 群における「自己顕示性」の高さが目立った. 「ネット利用高」群 表側: 全体 アドレス 未記入 アドレス 記入 尺度得点 N % N % N % 0% 10% 20% 30% 40% 全体 337 100 263 100 74 100 0 40 12 33 13 7 9 0 1 35 10 32 12 3 4 1 2 61 18 49 19 12 16 2 アドレス未記入 3 66 20 53 20 13 18 3 アドレス記入 4 61 18 48 18 13 18 4 5 5 41 12 26 10 15 20 6 6 33 10 22 8 11 15 ※%は列%. 「ネット利用高」群 マン・ホイットニーのU 検定 独立性のχ^2検定 順位和:アドレス 未記入 42340.0 (n=263) χ^2= 12.132 df= 6 順位和:アドレス 記入 14613.0 (n= 74) Z= -2.882 p= 0.059 p= 0.004 E<5のセル 0(全14セル中) 図5.インターネットリサーチへの心的関与の異なる2群間での尺度得点の比較【「ネット利用 高」群】(7.自己顕示性). 24 2.6.考察 本調査の限界の確認 学生調査,自発的登録ではなく依頼への応諾・・・. その他考慮すべき問題 イージー・レスポンデンツ 安定性 パネル構築経路が多様であること 正解のない予測? 「世論調査」と世論「予測」調査 修士論文構想発表会(2004年06月26日) 03MA002W 出口慎二 25 2.7.結論 本調査から得られた知見 ネットユーザは「進取性」が高い(平凡より変わったことをし たい,発明をしてみたい,新しいアイデアを考えるのが好 き). パネル登録者はさらに「自己顕示性」が高い(注目の的に なりたい,目立ちたい,コンクールに入賞したい). 経験則の積み上げの必要性 同種の前向き調査. 一般消費者対象の後ろ向き調査. プレ・リクルーテッド・パネル(Couper, 2000)構築の際の一 般的性格調査. 修士論文構想発表会(2004年06月26日) 03MA002W 出口慎二 26 2.8.補遺(1) 傾向スコア調整に関する話題 そもそもは,観察調査による因果推論において,各処理の 群間における共変量を1つにまとめあげることで,共変量 の影響を取り除いた推論を行おうというもの(Rosenbaum and Rubin, 1983). 2000年米大統領選において,米ハリス・インタラクティブ社 がインターネットリサーチの結果に傾向スコア調整を用い て行なった予測が好成績であったことから,この方法がイ ンターネットリサーチの分野で注目された(Terhanian, Smith, Bremer and Thomas , 2001). 修士論文構想発表会(2004年06月26日) 03MA002W 出口慎二 27 2.8.補遺(2) 実例(モデル) 従属変数: 「ネット利用高」かつ「アドレス記入」群を「1」(「パネル」群),それ 以外を「0」(「非パネル」群)とする2値変数. 説明変数: デジカメ保有ダミー,および10の尺度得点とその2次の交互作用 項からスタートして変数選択(減少)の結果残った表2の21変数お よび定数項. デジカメ 社会的外 共感性 神経質 共感性 * 社会的外 社会的外 * 進取性 自己顕示 * 社会的外 攻撃性 共感性 共感性 虚構性 持久性 進取性 虚構性 * * * * * * * 社会的外 持久性 劣等性 共感性 進取性 劣等性 進取性 持久性 * 自己顕示 持久性 * 劣等性 持久性 * 神経質 攻撃性 * 自己顕示 自己顕示 * 神経質 虚構性 * 劣等性 虚構性 * 神経質 表2.ロジスティック回帰モデルに投入した変数.「*」は交互作用項を表す. 修士論文構想発表会(2004年06月26日) 03MA002W 出口慎二 28 2.8.補遺(3) 実例(結果) ~0.05 ~0.10 ~0.15 ~0.20 ~0.25 ~0.30 ~0.35 ~0.40 ~0.45 ~0.50 ~0.55 ~0.60 ~0.65 ~0.70 ~0.75 ~0.80 ~0.85 ~0.90 ~0.95 ~1.00 この程度では役に立たないという結果に(図6). N % 非パネル(0) パネル(1) 非パネル(0) パネル(1) 392 10 0.499 0.135 199 13 0.254 0.176 91 15 0.116 0.203 48 8 0.061 0.108 25 9 0.032 0.122 14 6 0.018 0.081 5 3 0.006 0.041 4 1 0.005 0.014 2 0 0.003 0.000 2 2 0.003 0.027 1 3 0.001 0.041 1 0 0.001 0.000 0 0 0.000 0.000 0 3 0.000 0.041 0 1 0.000 0.014 1 0 0.001 0.000 0 0 0.000 0.000 0 0 0.000 0.000 0 0 0.000 0.000 0 0 0.000 0.000 傾向スコアの分布 非パネル( 0) パネル( 1) 60% 50% 相 40% 対 30% 頻 度 20% 10% 0% ~0.05 ~1.00 傾向スコア パネル/非パネルの変数と傾向スコア(予測値)の相関(r = η) r = 0.349 ( p=0.000 ) ※n=859(尺度得点N A あるいはネット利用頻度N A のサンプルを除く) 図6.実従属変数データと計算された傾向スコアの比較.表2の変数および定数項からなるモデルで計算. 修士論文構想発表会(2004年06月26日) 03MA002W 出口慎二 29 3.今後の具体的課題 「2.6考察」で触れた点への対応 学生以外を対象とした追調査と行なえるか たとえば,豊島区30代男女への郵送調査? ‣ サンプリング費用と労力,リマインドを含めた通信費,謝礼費 用など・・・. ‣ 7月には参院選. ‣ 「人」の議論をしているので,低回収率では説得力がない. リクルーテッドでないセルフセレクションの登録者の調査 前向き調査は難しいであろう(低発現率).後ろ向き調査は? ‣ やはり低発現率であろう(学生の応諾者で1割だった). ‣ 一定以上の対象者規模が必要. ‣ セルフセレクションの登録者だけの回答では意味がない. 修士論文構想発表会(2004年06月26日) 03MA002W 出口慎二 30 4.文献(1) Couper, M. (2000). Web surveys: A review of issues and approaches, Public Opinion Quarterly, 64(4), pp.464-494. 「調査環境の変化に対応した新たな調査法の研究」研究グループ(2004).インターネッ ト調査の信頼性と質の確保に向けての体系的研究. George Terhanian, Renee Smith, John Bremer and Randall K. Thomas (2001),"Exploring analytical advances. Minimizing the biases associated with Internet-based surveys of non-random samples", Worldwide Online Measurement Conference, ESOMAR Publication Series, 248, pp.247-272. Groves, R. (1989). Survey errors and survey costs. Wiley. 林知己夫(2002).いま調査者が心掛けること.新情報,86,pp.32-38. 内閣府大臣官房政府広報室(2003).国民生活に関する世論調査,世論調査報告書 平成15年6月調査.内閣府大臣官房政府広報室. (http://www8.cao.go.jp/survey/h15/h15-life/) 内閣府大臣官房政府広報室編(2003).社会意識,月間世論調査 平成15年5月号.国 立印刷局. Rosenbaum, P. R., & Rubin, D. B. (1983). The Central Role of the Propensity Score in Observational Studies for Causal Effects. Biomatrika, 70, pp.41-55. 修士論文構想発表会(2004年06月26日) 03MA002W 出口慎二 31 4.文献(2) 統計数理研究所第10次日本人の国民性調査委員会(1999).国民性の研究 第10次全 国調査 1998年全国調査.統計数理研究所研究リポート83. Vasja Vehovar and Katja Lozar Manfreda (2003). Meta-analysis of web surveys. 統計 数理研究所シンポジウム「インターネットリサーチの現状を検証する」抄録,pp.1-14. 柳井晴夫・柏木繁男・国生理枝子(1987).プロマックス回転法による新性格検査の作 成について(Ⅰ).心理学研究,58(3),pp.158-165. 柳井晴夫・国生理枝子(1987).新性格検査の作成について,人事試験研究,124, pp.2-11. 横原東・武田正樹・細井勉(2003).DENTSU_R-netに基づくインターネット調査の検証 ―とくに第4次実験調査結果を中心として―,統計数理研究所シンポジウム「イン ターネット調査の現状を検証する」抄録,pp.55-74 吉村宰(2001).インターネット調査にみられる回答者像,その特性.統計数理,49(1), pp.201-213. 吉村宰・大隅昇(2003).インターネット調査の質の評価を考える.統計数理研究所シン ポジウム「インターネットリサーチの現状を検証する」抄録,pp.15-32. 全国大学生活協同組合連合会経営開発チーム(2003).学生の消費生活に関する実 態調査報告書.全国大学生活協同組合連合会. 修士論文構想発表会(2004年06月26日) 03MA002W 出口慎二 32
© Copyright 2025 ExpyDoc