2015/1/13 選択式テストの特徴 ◆卯城(2009) 選択式リーディングテストの 妥当性を高めるための選択肢 人文・文化学群 人文学類2年 R.M. 選択式リーディングテストの要素 ◆Ushiro, Morimoto et al.(2007) テキスト （文、段落） 項目 （質問の種類） 選択肢 テ ス ト の 難 易 度 ○長所 正答は一つ →採点基準のぶれが生じないので、公平に採点 できる。 大人数の受験者がいる場合に向いている →データを大量に得られる。 ○短所 当て推量で正解する可能性がある →テストの妥当性が低くなるおそれがある。 選択式リーディングテストに おける問題点 ◆Kobayashi(2002) 受験者が文章を完全に理解していなく ても、選択肢などから推測し、正答す ることができてしまう。 ◆Henry L. Roediger Ⅲ, Elizabeth J.Marsh(2005) 錯乱肢を正しいと思い込むと、テキス トの内容を誤って解釈したり、誤った 知識を身に付けたりする恐れがある。 （正しい/誤りの選択肢） 選択式リーディングテストに おける問題点 つまり、選択肢の存在によって、 学習者が本当にテキストを理解してい るのかが分からなかったり、学習者の テキスト理解を妨げたりする事態が生 じる。 →テストの妥当性が低くなる恐れ。 ⇒どのような選択肢を作ればよい のか？ 選択肢の作り方 ◆Haladyna, Downing, and Rodriguez(2002) 選択肢作成のガイドラインより一部引用 互いに独立したものとし、重複してはいけ ない。 内容や文法が均質になるようにする。 長さを均一にする。 難しい語彙、否定語は使わない。 生徒たちの典型的な誤りを使って錯乱肢を 作る。 できるだけもっともらしい選択肢をつ くる。 ⇒抽象的。具体的な記述なし 1 2015/1/13 質問タイプ別もっともらしさに 影響する要素の例 もっともらしい選択肢とは？ ◆Ushiro, Morimoto et al.(2007)の研究 「言い換え」「照応」問題 →選択肢に含まれる語や情報の テキスト中の位置 対象：大学生一年生114名 方法：TOEFL Practice test Cのリーディング セクションを用いてテストを実施。 「言い換え」「推論」「文章構造」問題 →選択肢とテキストとの語彙の重複 結論： 質問タイプごとに、選択肢のもっとも らしさに影響する要素が存在する。 ◎選択肢のもっともらしさは、 テキストと項目（質問タイプ） 両方から影響を受けて決まる。 ⇒テキスト・項目・選択肢の3要素を 個々に分けて考えるのではなく、それ ぞれを組み合わせて考えることで、難 易度を決定しやすくなる。 (％) 90 上位群 下位群 80 70 60 50 結果： 全ての設問タイプにおい て、熟達度の上下群で有 意差が見られた。 「主題」問題 →選択肢に含まれる情報の細かさ、 テキストとの内容の一致/不一致 テキスト理解を問うことができる 選択肢 ◆木村(2013)の研究 対象：日本人大学生45名 方法：英検, TOEFL, センター試験問 題の長文読解セクションを用いてテ ストを実施した。 解答に必要なマクロルール（詳細情 報、 削除、一般化、構成）に応じて 設問を ４つに分類した。 受験者を熟達度テストにより上位群 と下位群に分類した。 熟達度に関わらず、詳細よりもメインアイ ディア理解を問う問題の方が正答率が低 い。 下位群は上位群に比べ、一般化・構成の正 答率が最も有意に低い。 40 30 ⇒マクロルールを用いて多 肢選択式テストの正答選択 肢を作ることで、学習者を 適切に弁別できる。 20 10 0 各設問タイプの正答率 木村(2013) p.67 図４より →正答選択肢にテキスト内の情報がそのまま 表れる詳細問題は解き易いが、テキスト内の 情報を統合したり、メインアイディアを構築 したりする必要のある一般化・構成の問題は 難しい。 ⇒学習者のテキストの要旨の理解度は、正答 選択肢を選ぶのに必要なマクロルールが一般 化・構成であれば、より測りやすくなる。 2 2015/1/13 まとめ 錯乱肢は、その他の難易度の要因であ るテキストや質問タイプを考慮し、組 み合わせることによって、もっともら しさが増し、受験者をより引き付け る。 学習者を習熟度別に分けたり、テキス ト内容の要旨を理解しているのかを調 べたりするには、マクロルールを用い て正答選択肢を作ることが有効であ る。 ◎「選択」すること自体は単純で容易な 作業。 ↓ 正答にたどり着くのに必要なプロセス が、自由記述式や要約問題と同様に複雑 で、自分の読解ストラテジーを駆使する ものになるように選択肢を作ることが、 選択式リーディングテストの妥当性を高 めると思われる。 課題・限界 「選択」が受動的な作業である以上、 自ら産出・統合する力は測れない。 参考文献 確率的には、全く分かっていなくても 当たってしまう可能性がある。 テキスト自体の特性の見直しなど、選 択肢のみでは解決できない問題もあ る。 Henry L. Roediger Ⅲ, Elizabeth J.Marsh(2005). The Positive and Negative Consequences of Multiple-Choice Testing Journal of Experimental Psychology: Learning, Memory, and Cognition 2005, Vol.31, No.5, 1155-1159. Kobayashi, M.(2002). Method effects on reading comprehension test performance: text organization and response format. Language Testing, 19, 193-220. 木村雪乃(2013). マクロルールに基づくメイ ンアイディア理解能力の検証 EIKEN BULLETIN 2013,Vol.25, A研究部門 報告Ⅲ, 5576. 卯城祐司(2009).『英語リーディングの科学 ―「読めたつもり」の謎を解く』. 研究社 Ushiro,Y., Morimoto,Y., Hijikata,Y., Nakagawa,C., Watanabe,F., Kai,A., et al.(2007). What makes distractors plausible in multiple-choice reading tests? JLTA Journal,10, 56-67. Haladyna,T.M., Downings,S.M.,& Rodriguez,M.C.(2002). A review of multiplechoice item-writing guidelines for classroom assessment. Applied Measurement in Education,15,309-334. 3
© Copyright 2024 ExpyDoc
