WU Wien (PDF 519 kB)

Crowdevaluation: Einbindung
Externer in den Bewertungsprozess
Dr. Christian Garaus
Crowdevaluation
Grundlegendes zu der offenen Evaluierungsform
 Was ist Crowdevaluation?
 Einladung an potenziell alle
 Aufgabe: Bewertung
 Warum Crowdevaluation?
 Verringerung von Zeit und Kosten
 „Wisdom of the crowd“
 Stakeholder-Einbindung
 Rückmeldung von Außen
Forschungskooperation
Begleitung der open4data.at challenge 2016
Welche Personen in der Crowd können Einreichungen
ähnlich gut bewerten wie eine Fachjury?
 Vermutete Einflussgrößen




Wissen
Bewertungserfahrung
Motivation
Persönlichkeit
 Analyse der Anwendbarkeit
 Nutzen
 Originalität
 Umsetzbarkeit
 Potential
Neuartiger Zugang
Anders als übliches „Voting“
 Ausgestaltung des Wettbewerbs
 Eigenständiger Evaluationswettbewerb nach dem ersten
Wettbewerb (Ideen, Anwendungen und Datensätze)
 Preise für konkretes, konstruktives und hilfreiches Feedback auf
Einreichungen
 Einschätzung von Nutzen, etc. als Pflichtfeld (nicht
gewinnrelevant!)
 Positive Effekte
 Zusätzliche Gewinnmöglichkeit für großen Kreis an Personen 
Preisgeld : EUR 2.500
 Ermöglicht Lernen: Vermeidung von strategischem Verhalten der
Bewerter/innen & Auswertung von Feedback
 „Peer-to-peer Support“: Feedback für Einreicher/innen
Prozess: open4data.at challenge 2016
Ablauf der Bewertung
Plattform
Bewertung von so vielen Einreichungen
wie gewünscht
2
2
1a
Einreichungsübersicht
Login
5
3
Einzelbewertung
Registierung
Gutschrift von
Punkten
Feedback an
Einreicher
4
Bewertung
des Feedbacks
Plattform-User
Einreicher/in
Bewerter/in
5
Ranking
Ablauf: open4data.at challenge 2016
Parallele Bewertung durch Crowd und Jury
Phase 1: Einreichung
Phase 2: Bewertung
Bewertung durch Crowd
Bewertung durch Jury
6
Auszeichnung
Zusammenfassung und Ausblick
Erfolgreiche Zwischenbilanz
 Beteiligung
 Knapp 250 angemeldete Bewerter/innen
 Rund 1.000 abgegebene Bewertung
 Erwartete Ergebnisse
 Einflussgrößen auf Evaluierungsgüte
 Abweichung in einzelnen Dimensionen
 Zukünftige Forschung zu Crowdevaluation
 Unterschiedliche Anreize und Bewertungsverfahren
 Andere Kontexte und Problemstellungen
Kontaktdaten
Für Rückfragen und weitere Informationen
Dr. Christian Garaus
Department für Strategie und Innovation
Department of Strategy and Innovation
WU
Wirtschaftsuniversität Wien
Vienna University of Economics and Business
Welthandelsplatz 1, Gebäude D5, 5. OG
1020 Wien
Tel: +43-1-313 36-5419
Fax: +43-1-313 36-90 5419
E-Mail: [email protected]
wu.ac.at/ufi

Download Report