データベースを用いた問題生成システムの研究

データベースを用いた問題生成
システムの研究
信州大学大学院工学系研究科修士課程情報工学専攻
05TA572G 前田 強
2007年2月10日
海尻・海谷研究室
背景
• インターネットの普及により、web上で提供
されるCBT方式のe-learningが可能となり、
注目されている。
• CBTを作成するために問題を一つ一つ入
力するのは非常に労力がかかる。
• プログラミングの入門言語としてJAVAが用
いられることが多くなった。
• JAVAの基礎教育のCBTでのコンテンツは
まだ少ない
目的
• 本研究では、e-learningにおける自習用
CBTの効率よい問題生成システムについ
て研究する。
• 生成される問題は、少ない記述からより多
くの問題を生成することを目的としている。
• 対象はJAVAの問題とする。
利用するソフトウェア
• HTML
ブラウザとして利用
• PostgreSQL
問題のデータ蓄積に利用
• PHP
動的処理に利用
基本理念
•
•
•
•
•
•
CBT方式の問題生成を行う
少ない記述で多くの問題を生成する
問題の内容はJAVAの基礎的な内容
利用対象はプログラミング初心者の学生
自習用のシステムとする
出題する範囲を教師側が指定することが
出来る
用語の説明
• 単語(概念):単語とはJAVAに出てくるフレーズ
のこと。概念とは単語に順ずる内容であいまいな
もの。この二つは問題生成の際に同等に扱われ
ることが多いので統合して単語と呼ぶ。
• 説明:単語の内容や意味を説明したもの。
• カテゴリ:単語を分類をするもの。
• カテゴライズ:カテゴリを複数まとめること
• グループ名:カテゴライズされたカテゴリのタイト
ル
問題のモデル化(参考書より読
み取れること)
• 出題内容
単語や概念を問う問題とプログラムが提示
されるものが多いがこの研究では前者の
タイプのものを利用する。単語と説明は一
対になっていることが多い。
• 出題方法
多肢選択問題と複数選択問題が多い
• 多肢選択問題は4択とし、複数選択問題は
8択とする
• 問題は単語とその説明から構成する。 ま
た、出題位置を表すカテゴリがそれらに付
図する
• 単語と説明とカテゴリは一つのレコードに
格納する
• 単語のみを問う記述式問題も考慮する
問題生成の基本的関係1
• 出題内容
単語を出題文とし説明を問うもの→多肢選
択問題
説明を出題文とし単語を問うもの→多肢選
択問題、記述式問題
カテゴリ(同じ分類)に当てはまる単語を問
うもの→複数選択問題
問題生成の基本的関係2
• 問題生成の基となる要素
出題に利用するもの→単語、説明、カテゴ
リ
解答に利用するもの→単語、説明
問題の分類を分けるもの→カテゴリ
出題範囲の指定
• 出題したい内容のカテゴリを必要な数選択
し、それにグループ名をつけデータベース
に登録する。
• 出題時にグループ名を指定すれば選択さ
れたカテゴリを持つレコードのみが問題生
成に反映される。
問題生成の例
複数選択問題
実際のシステム
• 学生が利用する出題ページと管理者が利
用する管理ページがある。
• 出題ページには出題、管理ページにはカ
テゴライズ等の付随した機能がついている。
出題ページの機能
• 出題の際には自分のIDを入力する。
• そのIDでカテゴライズされたもののうちど
れを回答したか履歴が残る。
• 他人と同じIDを使わないように、すでに登
録されているIDを確認できる。
• IDを入力した後、問題が生成され出題され
る。
管理ページの機能
• 単語、説明、カテゴリのデータの登録、修
正、閲覧が出来る。
• 出題範囲のカテゴライズをし、グループ名
を作成、修正、閲覧が出来る。
• 問題生成のテストが行える。
出題方式
• 問題は10問出され、途中で間違えれば一問目に
戻る。
• 1問目から3問目までは単語から説明を問う多肢
選択問題。
• 4問目から6問目までは説明から単語を問う多肢
選択問題。
• 7,8問目はカテゴリに当てはまる単語を問う複数
選択問題。
• 9,10問目は説明から単語を問う記述式問題。
出題例
• 1問目から3問目までの単語から説明を問
う問題の例
• 4問目から6問目までは説明から単語を問
う問題の例
• 7,8問目はカテゴリに当てはまる単語を問う
複数選択問題の例
• 9,10問目は説明から単語を問う記述式問
題の例
評価
以下の3点に着目する
• 生成できる問題数について
• 適切な問題が出題できるか
• 問題の文書は自然なものか
生成できる問題数1
• 単語から説明を問う多肢選択問題の生成できる
問題数を求める数式
出題範囲に当てはまる単語をA個(重複するものは
1個とする)、出題範囲に当てはまる説明をB個、
問題部に用いた単語と重複する単語を持つ説明
の個数をC個、生成できる問題数をSとすると、
S=A×C×(B-C)×(B-C-1)×(B-C-2)個
となる。
生成できる問題数2
• 説明から単語を問う多肢選択問題の生成できる
問題数を求める数式
出題範囲に当てはまる単語をA個(重複するものは
1個とする)、出題範囲に当てはまる説明をB個、
正答に用いた単語と重複する単語の個数をD個、
生成できる問題数をSとすると、
S=B×D×(A-D)×(A-D-1)×(A-D-2)個
となる。
生成できる問題数3
• カテゴリに当てはまる単語を問う複数選択
問題の生成できる問題数を求める数式
出題範囲のカテゴリをE個、出題範囲のすべ
てのレコードをF個、生成できる問題数をS
とすると、
S=E×(F-1)×(F-2)×(F-3)×(F-
4)×(F-5)×(F-6)×(F-7)個
となる。
生成できる問題数4
• 説明から単語を問う記述式問題の生成で
きる問題数は
出題範囲に当てはまる説明をB個、生成でき
る問題数をS個とすると
S=B個
となる。
生成できる問題数について
• 問題生成の数は、出題文、選択肢、選択
肢の順番、これらが異なればその分、生成
できる問題数が増えると考えたため、生成
できる問題数はかなりの数がが出来ると
見られる。
• 一度出た問題とまったく同じ問題が出題さ
れる可能性はあるが、かなり確率は低い。
適切な問題が出題できるか
• これの良否は出題範囲の設定にある。適
切なカテゴリを設けることと、カテゴライズ
する際の組み合わせに大きく依存する。
• あまり多くの管理者を置くと内容が乱れが
ちなので、意思の疎通のとれる少数の管
理者で管理することで緩和できる可能性が
ある。
問題の文書は自然なものか
• 出題の文章はほぼ固定されているので、
完全に自然な文書にすることは出来てい
ない。
• しかし、意味を読み取れるレベルにはある
と考える。
考察
• この研究の一番の目的の、少ない記述か
ら多くの問題を生成するということだが、こ
れに関しては達成できたが、出題パターン
が少ないことや、表現が一定でありそこを
改良すればさらに多くの問題生成を可能
に出来たのでないかと考える。