相互評価システムの開発と大学情報科目における利用柴田好章(名古屋大学大学院) 小川亮(富山大学教育学部) 社会情報システム学柴田大樹研究の目的 • 学習者が情報メディアを利用して表現した作品について、学習者相互で評価を行うことを支援するシステムを開発する。 • 相互評価システムを使用した学習過程の分析を通して、相互評価システム利用の意義を明らかにする。 2 研究の目的(簡易版) • 情報メディアを使った作品を学習者がお互いに評価しあうシステムを開発する • そして、このシステムが役に立ったかを検証する 3 システム開発の背景 • 情報メディアを利用し、情報の収集、整理、表現すること • これが一方的に進むのではなく、 • 双方向的に進めて、よりよいものに改善していく • これで、自分がどのように評価されているのかを知ることができる 4 設計方針 • 掲示板、メーリングリスト – 匿名性がないため率直な意見を述べたり、厳しい評定がつけにくい • ワークシートや電子メール – 匿名性が保たれるが、作業が繁雑になってしまう • 相互評価システムでは評価者が特定されない形を選択した。 5 システム開発の実際 • システムの概要図 6 授業の概要と相互評価システムの利用 • 教員養成課程の1年次を対象（必須科目） • 受講生 160人（20～30人の7クラス） • 学習の流れ – 5月～6月下旬 – 6月下旬～7月 – 夏休み中 – 9月上旬作品制作（ワープロで自己紹介）作品発表（プレゼンも含む）相互評価評価分析・作品改善作品、分析レポート提出 7 相互評価システムの分析1/3 • 観点1：対象は何か？ – 内容（文章、写真、絵など） – 形式（書体、利用した機能など） – 作品内容形式ー上記両方 – 不特定 – 作品・プレゼン • 観点2：右の内容に対してどうか？ – – – – – – – 肯定否定上記両方アドバイス共感その他他 8 相互評価システムの分析2/3 • この論文の表はある1クラスの評価 – 29（件）×30（人）＝870件 – これを分析 • 観点1の結果 – 形式や内容に言及・・・ – プレゼン・・・ – →ほとんどが作品に言及 85％ 2.6％ 9 相互評価システムの分析3/3 • 観点2の結果 – 肯定的な評価 – 今後の作品制作に役立ちそうな評価 76．3％ 16．6％ • アドバイス、否定、両方 • 評価のしかたに関する指導を充実させるべき 10 相互評価に基づく学生による評価レポートの分析～学生が自分の評価をどうしたか？～ • 方法 – どのように自分が評価されたのかをレポートで提出（9月上旬） – レポートの構成 • 文章 – 他者からのコメント – 作品の自己評価 – 作品改良の方向性 • グラフ – 他者からの評価の人数分布表 • 30人分のレポートを分析 11 相互評価に基づく学生による評価レポートの分析～学生が自分の評価をどうしたか？～ • 30人のレポート – 他者からのコメントをふまえたものか？ – 自己評価に関するものなのか？ – 作品の改良に結びつくものなのか？ • これを考慮し、コードワードを付与 12 相互評価に基づく学生による評価レポートの分析～学生が自分の評価をどうしたか？～ • コードワード分析結果 – 30人中28人が他人のコメントを引用 – 30人中15人が自己評価だけで評価 – 30人中7人が他者の評価中に学んだ – 30人中24人が作品の改良について言及 13 相互評価に基づく学生による評価レポートの分析～学生が自分の評価をどうしたか？～ • 学生は自らの作品の欠点や改善方法に気づくことができたといえる。 • しかし、中にはコメントを生かせなかった人もいるのも事実。 – 生かし方を指導することが必要になってくる 14 相互評価にもとづく作品の改良～何に基づいて改良したのか？～ • 30人中 18人が他者のコメントを基に改良 • 6人が自己評価のみで改良 • 2人が他人の作品を評価することでまなんだことを生かして改良、 – 明らかに改良点が何に基づいたものかわかる場合のみをカウントしたので、実際はもっと多い可能性がある。 • 開発したシステムは役に立った 15 研究の目的(簡易版) • 情報メディアを使った作品を学習者がお互いに評価しあうシステムを開発する • そして、このシステムが役に立ったかを検証する 16 個人的見解 • 受理されたのが2001年1月なので、およそ3年前になる論文。 • 論文中のスクリーンショットでスクリプトの拡張子が.php3となっていたので、PHP3で開発したものだと思われる。もしPHP4に移植し、拡張モジュールを追加してグラフもイメージで出せたり、管理者モードで「一人一人の評価分析傾向」を出せればもっと正確な評価がだせるのではないかと思った。 • このシステムを改良して本学で必須科目となっている情報メディア入門、コンピュータ入門などの授業に生かせるのではないかと思った。 17 参考文献 • ありません 18