TITEL TOOLS EN DIENSTEN VOOR LEARNING ANALYTICS

TITEL EN DIENSTEN
TOOLS
VOOR LEARNING ANALYTICS
2
Tools en diensten voor learning analytics
VOORWOORD
In deze brochure vindt u informatie over enkele tools en diensten voor learning
analytics. De toolbeschrijvingen in deze brochure zijn afkomstig van de leveranciers
en vertegenwoordigen niet de opvattingen van SURF. Genoemde leveranciers zijn
geen preferred suppliers. Deze brochure geeft een eerste overzicht van beschikbare
tools. Hierin is ook opgenomen welke bij SURF aangesloten instellingen de
beschreven producten gebruiken. Dit maakt het makkelijker te informeren naar
gebruikerservaringen met deze tools.
SURF en learning analytics
SURF onderzoekt sinds 2011 in samenwerking met het hoger onderwijs de
mogelijkheden van learning analytics in Nederland. Instellingen experimenteren
hierbij op kleine schaal met learning analytics, en maken daarbij onder andere
gebruik van de in deze brochure beschreven tools.
Disclaimer
Deze brochure bevat enkele beschrijvingen van tools en diensten op het gebied van learning
analytics. Deze lijst is niet volledig, geeft geen kwaliteitsoordeel en wordt niet actief bijgehouden.
SURFmarket heeft nog niet met alle leveranciers overeenkomsten afgesloten. Neem contact op
met SURFmarket als een overeenkomst met een leverancier gewenst is. SURFmarket kijkt naar
de belangen voor alle onderwijsinstellingen (vraagbundeling), de technische ontsluiting via
SURFconext en aandachtspunten zoals Service Level Agreement en HO-normenkader. Er kunnen
geen rechten aan deze lijst ontleend worden.
Tools en diensten voor learning analytics
3
INHOUDSOPGAVE
Introductie tools voor learning analytics
4
Toolbeschrijvingen van leveranciers
BLACKBOARD ANALYTICS FOR LEARN
6
BUSINESS INTELLIGENCE DEVELOPMENT FRAMEWORK 9
EESYANALYTICS
11
INZICHT IN ZICHT 13
PROF – PROGRESS TEST FEEDBACK
15
SCORION
18
SOWISO
20
STUDENT ACTIVITY METER (SAM)
23
STUDENT ANALYTICS SERVICE 25
Overzicht toolgebruikers
27
Overzicht software in SURF-experimenten learning analytics
29
4
Tools en diensten voor learning analytics
INTRODUCTIE
TOOLS VOOR
LEARNING ANALYTICS
Anjo Anjewierden en Wibo Bakker
Deze inleiding geeft in vogelvlucht inzicht in de samenhang tussen de verschillende
databronnen en tools die gebruikt kunnen worden om learning analytics te realiseren,
overigens zonder al te specifiek te worden. Als je kijkt naar het aanbod dan wordt
in één oogopslag duidelijk dat het hier om een breed veld gaat, dat nog volop in
ontwikkeling is: kant-en-klare oplossingen zijn dan ook nog niet uitgekristalliseerd.
Duidelijke link tussen de tools en beschikbare data
In het algemeen geldt dat er een sterke afhankelijkheid is tussen de beschikbare data
(en de databronnen), en de tools die gebruikt kunnen worden. Zo is er in de zeven
grassrootsprojecten uit de SURF-innovatieregeling Learning Analytics 2012 regelmatig
voor gekozen om zelf tools te ontwikkelen om de beschikbare data te kunnen analyseren (denk hierbij aan Vak voor vak, Pinpoint, UvA analytics, ProF). Ook bij commerciële
aanbieders van tools voor learning analytics is er vaak een sterke koppeling tussen
de gepresenteerde tools en de typen data (en/of databronnen) die door die tools
verwerkt en geanalyseerd kunnen worden.
Statische en dynamische data
Het is zinvol om te kijken welke soorten data over studenten en de leeromgeving
beschikbaar zijn, en waar die data vandaan komen. We maken daarbij een onderscheid tussen statische data die bijvoorbeeld inschrijfgegevens en studieresultaten
vastleggen, en dynamische data die het leerproces of studiegedrag weerspiegelen.
De meeste ho-instellingen in Nederland gebruiken studentinformatiesystemen (SIS)
en studentvolgsystemen om essentiële gegevens vast te leggen over vakken die leerlingen volgen en de resultaten die ze behalen. Naast tekstuele informatie betreft het
vaak eenvoudige numerieke gegevens. Om patronen in deze data te vinden kunnen
standaard tools voor statistische analyse (Excel, SPSS) gebruikt worden. Het lastige is
echter dat de studieresultaten weinig zeggen over hoe het studiegedrag te verbeteren
is. Naast het analyseren van studieresultaten kan ook gekeken worden naar data over
studiegedrag: de activiteiten die leiden tot resultaten.
Veel leeractiviteiten vinden tegenwoordig plaats op internet. De meeste ho-instellingen
in Nederland gebruiken hiervoor elektronische leersystemen (ELO’s). Ook bieden
enkele organisaties MOOCs aan, een vrij toegankelijke variant van ELO’s. Hierin worden
cursusmaterialen geplaatst zoals documenten en weblectures en kunnen studenten
samenwerken, opdrachten inleveren en soms ook toetsen maken, alhoewel hier ook
aparte toetsapplicaties voor zijn. Om het gebruik hiervan in kaart te brengen kunnen
logfiles, of speciale trackingtools worden gebruikt, denk bijvoorbeeld aan Google
Analytics of Piwik. Met behulp van deze tools kan bijvoorbeeld worden vastgelegd
welk materiaal studenten bekijken, en hoe vaak en hoe lang ze dat doen. Door deze
data – in combinatie met data over studieresultaten – te analyseren kan worden vastgesteld wat succesvol studiegedrag is.
De meest interessante data zijn te vinden in leeromgevingen die gebruik maken
van technieken voor machine learning. Machine learning werkt vaak het beste bij
een specifiek domein (bijvoorbeeld thermodynamica of wiskunde) of methode (het
maken van een concept map, het schrijven van een samenvatting). De data die in deze
Tools en diensten voor learning analytics
leeromgevingen wordt geproduceerd, is zo specifiek dat er speciale tools voor kunnen
worden ontwikkeld, die niet alleen rekening houden met de data, maar ook met de
pedagogische relevantie van de data. Bijvoorbeeld welke concepten en relaties tussen
concepten relevant zijn, of welke termen in een samenvatting voorkomen.
Mogelijkheden van social media
Daarnaast zijn er applicaties voor social media. Ook hier is in potentie belangrijke data te vinden die iets kan zeggen over hoe studenten in een groep leren,
denk bijvoorbeeld aan Facebook of Twitter. Soortgelijke, maar meer rudimentaire
functionaliteiten worden ook door ELO’s aangeboden, zoals chatmogelijkheden
en discussiefora. Activiteiten in deze applicaties kunnen gevolgd en gevisualiseerd
worden met bijvoorbeeld Social Network Analysis (SNA) tools. Vooralsnog worden
deze alleen voor onderzoek gebruikt.
Dashboards bieden inzicht
Analyses van studiedata kunnen gevisualiseerd worden in dashboards. Hierop kunnen
management, docenten of studenten studiegedrag monitoren, en/of aanwijzingen
krijgen over hoe dit te verbeteren is. Voor veel ELO’s zijn eenvoudige dashboards
beschikbaar. Tegenwoordig wordt echter ook geëxperimenteerd met dashboards
die datastromen uit verschillende softwareapplicaties integreren. Vaak betreft het
open-sourceproducten. Een voorwaarde is dan echter wel dat de data makkelijk uit
de applicaties te halen zijn. Het voordeel van deze dashboards is dat ze het makkelijker
maken om uitgebreide analyses te visualiseren, die zijn gebaseerd op data over studieresultaten én studiegedrag.
Tools moeten goed op elkaar zijn afgestemd
Er is voorlopig nog geen allesomvattende tool voor learning analytics die breed kan
worden ingezet. Tools zijn vaak specifiek voor een bepaald onderwijsdomein of hebben
slechts betrekking op een deel van de zogenoemde cyclus van learning analytics. Om
de hele cyclus te voltooien, van dataproductie, verzameling, analyse, visualisering tot
interventie, zijn vaak diverse tools nodig die met elkaar samenwerken. Daarom moet
bij de keuze voor tools goed worden opgelet in hoeverre de data en de analyses die
ze produceren uitwisselbaar zijn. Daarbij is het handig om voort te bouwen op eerdere
ervaringen die gebruikers met deze tools hebben opgedaan.
5
6
Tools en diensten voor learning analytics
BLACKBOARD
ANALYTICS FOR LEARN
FUNCTIONALITEIT
Beoogde gebruikers:
Campus leaders, instructors, staff and students.
Firmanaam:
Blackboard International
Contactpersoon:
Richard Burrows
E-mail:
[email protected]
Adres:
175 Oxford Street
London W1D 2JS
United Kingdom
Website:
www.blackboard.com/platforms/
analytics/overview.aspx
Neem contact op met SURFmarket
als een overeenkomst met een
leverancier gewenst is.
Zo kan Blackboard Analytics for Learn worden gebruikt:
The Analytics for Learn solution is a packaged eLearning Analytics Solution. It
includes a dimensional data warehouse and provides self-service reporting, dashboards, and trend analysis so that users can visualize and analyze the wealth of information within both the Blackboard Learn 9.1 platform and their student information
system. Blackboard Analytics for Learn helps you meet challenges like these:
• Increasing student retention by identifying students at risk
• Identifies areas for improving student performance
• Identifying online learning best practices
• Determining ROI of LMS investments
• Capacity planning
•Integrating administrative (ERP/SIS) data with instructional (LMS) data for
reporting and analysis
With Blackboard Analytics for Learn you will:
•Eliminate information delivery bottlenecks by providing self-service access to
actionable information
•Measure student achievement against goals by monitoring and analyzing trends
to enact curriculum and pedagogical change over time
•Establish and track Key Performance Indicators - a single source of the truth for
monitoring strategic goals and enabling data-driven decision making
The Blackboard Analytics application delivers information to your end-users quickly,
with short implementation process. The data warehouse is populated with institutional data in days, followed by a services engagement that includes knowledge transfer, data validation, and embedding of your business rules.
Our solution covers a much wider base than any other alternative on the market. Our
learning analytics data model delivers 15 Fact Tables and more than 100 Measures,
including many that are derived or calculated by Blackboard Analytics for Learn, and
don’t exist natively in the LMS or SIS. The measures are then embedded in the data
model and can be customized with institutional business rules.
Welke data wordt gebruikt en gegenereerd?
The Blackboard Analytics for Learn platform transforms raw data from your LMS and
SIS into actionable information. The application provides a library of standardized
metrics and descriptive attributes consistent with best practices in higher education
management.
Blackboard Analytics provides its customers with detailed documentation that includes a data dictionary, ERD designs, and a full view into our underlying code. This will
enable the institution to not only better understand the application as delivered, but
empower them to extend it with customized table structures, new data sources, and
advanced metrics and measures.
Tools en diensten voor learning analytics
Wie is eigenaar van de data?
The Institution / Client
Hoe vrij beschikbaar en transporteerbaar is de data?
The data in the warehouse is accessible via SQL and MDX Queries. When using the
Pyramid Analytics visualization tool, reports can be exported to MS Excel or MS
Powerpoint. MS SQL Server Reporting Services reports can be exported to multiple
formats including MS Excel, CSV and PDF.
TRACK RECORD
Wat is het track record van het product in een (Nederlandse)
onderwijsomgeving?
As an analytics tool designed for use with Blackboard Learn it is designed specifically
for use in educational settings, and comes bundled with reports designed to inform
students, instructors, department and institutional leadership.
A Dutch localized version of Blackboard Analytics for Learn will be released in 2014
and as of January 2014, we have customers across the world such as:
•
•
•
•
•
•
•
•
•
•
•
•
The University of Maryland, Baltimore County (United States)
Coppin State University (United States)
The University of Westminster (United Kingdom)
The University of Pretoria (South Africa)
Swinburne University (Australia)
University of Queensland (Australia)
The University of Western Sydney (Australia)
Charles Darwin University (Australia)
Nanyang Technological University (Singapore)
King Khalid University (Saudi Arabia)
King Abdulaziz University (Saudi Arabia)
King Faisal University (Saudi Arabia)
INFRASTRUCTUUR EN ARCHITECTUUR
Binnen welke infrastructuur/architectuur kan het product functioneren?
Blackboard Analytics is built on a solid foundation of Microsoft SQL Server and
Microsoft Analysis Server to create, host, and manage the dimensional data
warehouse. Blackboard Analytics includes sample reports delivered in Microsoft SQL
Server Reporting Services as well as more than 50 Business Intelligence reports and
dashboards delivered in Pyramid Analytics tool set. In addition we have proven that
our data warehouse is compatible with most BI and reporting tools on the market
including Microsoft Excel pivot tables.
Utilizing On Line Analytical Processing (OLAP) technology, we deliver a self-service
environment that shifts institutions from the “report writer/report requester” world
to an end-user defined reporting environment. This technique allows non-technical
users to interact with the underlying data model without engaging technical
resources.
7
8
Tools en diensten voor learning analytics
TOEKOMSTIG GEBRUIK
In welke mate is het product ‘future proof’?
Blackboard Analytics is built on Microsoft SQL Server, which is the leading
commercial database software, and provides the strongest foundation for continuity
and upgrade.
The core code of Blackboard Analytics is separate from the configuration and customizations, so facilitating easy upgrade of both Blackboard Analytics and Blackboard
Learn. Unlike other data warehouse solutions, the Blackboard Analytics for Learn is
easily updated as new LMS upgrades become available. Most upgrades have minimal
effect on the underlying data model, because they are generally designed around the
transactional nature of the LMS and SIS; however even those upgrades that require
change are easily handled within our architecture, generally with a delivered upgrade
script.
Visie op ontwikkeling product / learning analytics
Analytics for Learn shall provide critical insights and information that helps students,
instructors, and administrators maintain visibility on key performance metrics, guide
decision making with appropriate and timely data, and maintain adaptability to each
institutions unique requirements and achieving strategic goals.
Focus areas for product development include responding to client and market feedback such that reports and dashboards are tuned to better meet institutional needs
all over the world. Also key is building in additional flexibility and extensibility to the
data model so that each institution may accommodate a variety of academic structures, program offerings, and flexible course delivery means (e.g. self-paced learning
or flexible academic terms). The development team will work closely with existing
and future Analytics clients to clearly understand requirements and respond directly
in kind with capabilities that help solve critical institutional challenges through timely
and accurate reports, dashboards, and insights.
Tools en diensten voor learning analytics
BUSINESS INTELLIGENCE
DEVELOPMENT
FRAMEWORK
FUNCTIONALITEIT
Firmanaam:
Valid B.V.
Contactpersoon:
Boris Corvers
E-mail: [email protected]
Telefoon: 06-15835042
Adres:
Flight Forum 565,
5657 DR Eindhoven
Website:
www.valid.nl
Neem contact op met
SURFmarket als een overeenkomst
met een leverancier gewenst is
Beoogde gebruikers:
Afdelingshoofden, managers Bedrijfsvoering, managers Finance, managers HRM,
managers Marketing & Communicatie, student Informatie Zaken, IT & informatiemanagers.
Zo kan het Business Intelligence Development Framework worden gebruikt:
Valid benadert business intelligence en learning analytics zowel vanuit een businessperspectief als vanuit technologisch perspectief. Aan de businesszijde beoordelen we hoe u binnen uw organisatie informatie consolideert, analyseert en
distribueert. Daarbij leggen we vast wie wanneer welke informatie nodig heeft voor
strategische, tactische en operationele beslissingen.
In de eerste fase van onze dienstverlening worden vooral de behoeftes geanalyseerd.
De ervaring leert dat het credo “think big, act small” het beste werkt voor businessintelligence-trajecten. In kleine stappen wordt toegewerkt naar de wenselijke situatie.
Geheel afhankelijk van uw huidige situatie wordt gestart met een pilot om de toegevoegde waarde en de kracht van de werkwijze aan te tonen.
Stapsgewijs kan de business intelligence en learning analytics succesvol in de organisatie worden uitgerold, met de voor u belangrijkste databronnen (zoals SIS, ELO,
DLWO, DUO, etcetera) en rapportages en dashboards op het gebied van bijvoorbeeld
inschrijvingen, switchgedrag, uitschrijvingen, studievoortgang, diploma-rendementen
en onderwijskwaliteitscontrole.
Het Business Intelligence Development Framework van Valid bestaat uit een bewezen
architectuur en Microsoft-technologieën die zorgdragen voor de informatieverwerking en rapportages. Door het business- en techniekperspectief te combineren kunnen we samen met u een geïntegreerde businessintelligence-oplossing realiseren.
Diensten die Valid in dit kader levert zijn:
Consultancy - Development - ETL-werkzaamheden - Testen - Projectmanagement
Welke data worden gebruikt en gegenereerd?
De belangrijkste databronnen zijn de systemen die het primaire proces bewaken,
zoals een SIS, ELO, DLWO, maar ook bronnen als DUO en NSE. Daarnaast kunnen ook
bijvoorbeeld financiële en HRM-systemen als bron worden gebruikt. Deze combinatie van bronnen voorziet de organisatie van rapportages, dashboards, scorecards,
kubussen en vrij te gebruiken Excel-sheets op het gebied van bijvoorbeeld inschrijvingen, switchgedrag, uitschrijvingen, studievoortgang, diploma-rendementen en
onderwijskwaliteitscontrole.
Wie is eigenaar van de data?
De onderwijsinstelling blijft altijd de eigenaar van de data en de ICT-afdeling faciliteert normaliter een omgeving voor data-opslag. Valid kan ook voorzien in storage
en hosting, indien wenselijk.
9
10
Tools en diensten voor learning analytics
Hoe vrij beschikbaar en transporteerbaar zijn de data?
Data zijn zo vrij beschikbaar als de interne organisatie het toelaat. Er worden vooraf
afspraken gemaakt over hoe toegang en autorisatie in te regelen. Daarnaast wordt
natuurlijk aansluiting gezocht bij de wensen op het gebied van security en encryptie.
TRACK RECORD
Wat is het track record van het product in een (Nederlandse) onderwijsomgeving?
Oplossingen van Valid worden gebruikt door onder andere:
Technische Universiteit Eindhoven, Universiteit Maastricht, Fontys Hogescholen, Hogeschool Zuyd, Arcus College en ROC Midden Nederland. [ILLUSTRATIE]
INFRASTRUCTUUR EN ARCHITECTUUR
Binnen welke infrastructuur/architectuur kan het product functioneren?
De oplossingen voor business intelligence en learning analytics zijn op maat afgestemd op de behoefte van de individuele instellingen en instituten. Ze maken allen
echter wel gebruik van het BI Framework van Valid. Hierdoor hebben ze voordeel van
‘best practice’-oplossingen gerealiseerd bij anderen. Het maatwerk zit vaak in de aan
te sluiten databronnen en de specifieke wensen in de presentatielaag.
Tot nu toe zijn alle installaties lokaal ingeregeld, maar met een Microsoft-cloudplatform als Windows Azure & SharePoint kan er eenvoudig een PaaS/SaaS-oplossing
worden gemaakt. De architectuur vormt hierin geen belemmering. Valid heeft de
competenties in huis om een “As a Service”-model te implementeren. Indien wenselijk
kunnen we ook toewerken naar centrale ontsluiting via SURFconext.
TOEKOMSTIG GEBRUIK
In welke mate is het product ‘future proof’?
Valid hanteert het motto “Stay ahead”, hetgeen betekent dat we altijd naar technologieën kijken die op de roadmap staan van onze technologiepartners (zoals Microsoft) en toepasbaar zijn voor onze oplossingen. Alle cloudgebaseerde technologieën
worden ingezet om toekomstvaste diensten te leveren volgens het ‘pay per use’
model. Met meer dan 300 medewerkers is Valid ‘small enough to care & big enough
to deliver’. Onze Special Interest Group Business Intelligence zorgt ervoor dat we ook
op business intelligence en learning analytics relevante technologieën toe kunnen
passen.
Visie op ontwikkeling product / learning analytics:
Oplossingen zullen meer en meer gebruikt gaan worden op basis van ‘anytime, anywhere and any device’. Daarnaast zorgt individualisering van het onderwijs ervoor
dat monitoring van de resultaten en sturing op individueel niveau noodzakelijk is.
Een andere tendens is dat externe data gecombineerd gaan worden met interne
instellingsdata, en die worden bij voorkeur real time inzichtelijk gemaakt (Big Data).
Dit betekent dat de gebruikte technologie rekening moet houden met deze ontwikkelingen om waarde te blijven houden voor de gebruikers. Valid kiest voor Microsofttechnologieën als SharePoint, die rekening houden met bovenstaande ontwikkelingen
en integratie met de gehele ICT-omgeving.
Tools en diensten voor learning analytics
EESYANALYTICS
FUNCTIONALITEIT
Firmanaam:
EesySoft
Contactpersoon:
Michel Visser
E-mail: [email protected]
Telefoon: 06 - 83239788
Adres:
Beech Avenue 54-80, Schiphol-Rijk
Website:
www.eesysoft.com/education
Neem contact op met SURFmarket
als een overeenkomst met een
leverancier gewenst is.
Eesysoft analyseert het gebruik van de digitale leer-en werkomgeving door student,
docenten en medewerkers. Via real-time rapportages krijgt de gebruiker inzicht in de
mate waarin gebruik wordt gemaakt van de beschikbare functionaliteit.
Beoogde gebruikers:
Budget holders digitale leer- en werkomgeving, head of learning and teaching,
functioneel beheer.
Zo kan EesyAnalytics worden gebruikt:
EesyAnalytics wordt veelal gebruikt om inzicht te krijgen in het gebruik van Blackboard, maar kan mogelijk ook voor andere webbased softwareoplossingen binnen
de digitale leer- en werkomgeving (DLWO) worden ingezet. Tevens zorgt de module
EesyMessaging ervoor dat er op basis van deze analyse zeer gericht gecommuniceerd kan worden met bijvoorbeeld docenten die een specifieke functionaliteit nog
niet (optimaal) gebruiken. Doelstelling is adoptie van de DLWO te verhogen.
Welke data worden gebruikt en gegenereerd?
Op individueel gebruikersniveau analyseert EesyAnalytics het gebruik van applicaties: welke functionaliteit wordt gebruikt, door wie (bijvoorbeeld docent, student of
faculteit), hoe lang, wanneer, et cetera.
Wie is eigenaar van de data?
EesyAnalytics wordt als SaaS-oplossing aangeboden. De data zijn eigendom van de
klant en worden opgeslagen binnen de SaaS-infrastructuur van EesySoft.
Hoe vrij beschikbaar en transporteerbaar zijn de data?
Data zijn beschikbaar via reports als raw data (CSV file).
TRACK RECORD
Wat is het track record van het product in een (Nederlandse)
onderwijsomgeving?
Circa 23 instellingen hebben het EesySoft building block voor EesyAnalytics geïnstalleerd. Dit zijn in Nederland onder andere: Saxion, TU Delft, Haagse Hogeschool, Hogeschool Leiden, Avans, Radboud Universiteit, Universiteit Leiden, Hanzehogeschool.
INFRASTRUCTUUR EN ARCHITECTUUR
Binnen welke infrastructuur/architectuur kan het product functioneren?
EesyAnalytics vereist installatie van het EesySoft Building Block (voor Blackboard) of
het toevoegen van de trackingcode (javascript) aan de webbased applicatie. Verder
werkt het product als SaaS-oplossing.
11
12
Tools en diensten voor learning analytics
TOEKOMSTIG GEBRUIK
In welke mate is het product ‘future proof’?
EesyAnalytics is voortgekomen uit feedback van klanten die EesySoft reeds enkele
jaren gebruiken voor in-application support. We streven naar 2 upgrades per jaar,
plus specifieke kleine wijzigingen op basis van de feedback van onze gebruikers.
Visie op ontwikkeling product / learning analytics:
EesySoft benadert learning analytics vanuit een pragmatische invalshoek. Dit in
tegenstelling tot de onderzoekende methoden waarbij veelal datamining-technieken
worden ingezet. Wij geven inzicht in het gebruik van de DLWO door docenten en
studenten. Door deze informatie te vergelijken met studieresultaten kan worden
onderzocht of er een causaal verband bestaat tussen deze twee variabelen.
Tools en diensten voor learning analytics
INZICHT IN ZICHT
FUNCTIONALITEIT
Beoogde gebruikers
Firmanaam:
UP learning
Contactpersonen:
Theo Osse
e-mail: [email protected]
telefoon: 06-29289540
David Bezemer
e-mail: [email protected]
telefoon: 06-40224142
Adres: Business & Science Park,
Agro Business Park 82,
6708 PW Wageningen
Website:
www.uplearning.nl
Neem contact op met SURFmarket
als een overeenkomst met een
leverancier gewenst is.
UP ondersteunt zowel de onderwijsorganisatie als de administratieve organisatie
van instellingen in het mbo en hoger onderwijs. Onze diensten zijn gericht op alle
betrokkenen bij het leerproces van de student. Of dit nu managementinformatie is
om de organisatie te sturen, of informatie om de student direct te begeleiden. Bij
alle informatie staat de student centraal. Daarnaast biedt UP leeroplossingen voor de
zakelijke markt.
Zo kan de methodiek van UP worden gebruikt
UP steekt in op de ondersteunende kant van learning analytics met behulp van bestaande tooling, met eventueel uitbreiding van bestaande systemen. De eerste stap
is een gesprek met ‘de gebruiker’ en ‘de klant’ om de informatiebehoefte vast te stellen. Daarna brengt UP de bestaande systemen in kaart en stelt vast welke gegevens
nodig zijn om tot de benodigde informatie te komen. Met diverse betrokkenen vindt
daarna een sessie plaats. Er wordt in kaart gebracht welke systemen input leveren, of
aanpassingen nodig zijn en of er nog een latente informatiebehoefte is. Daarna vindt
de uitwerking plaats, waarin er diverse rapportagemogelijkheden zijn zoals bijvoorbeeld dynamische dashboards, heat maps, real-time indicatoren en rapportages op
basis van evaluatiedata.
Welke data wordt gebruikt en gegenereerd?
UP maakt zo veel mogelijk gebruik van data en tools die al aanwezig zijn binnen de
organisatie, of dat nu ons SIS (EduArte of Alluris) of Blackboard of Moodle is. Maar
ook systemen die niet door UP zijn geleverd of worden ondersteund kunnen uiteraard meegenomen worden. De inzet van de op de instelling beschikbare businessintelligence-tools heeft onze voorkeur. Of het nu Business Objects, Microsoft Business
Intelligence of Cognos is. Van de bestaande data, eventueel aangevuld met externe
bronnen, maakt UP met deze tools de informatie die aansluit bij de informatiebehoefte van de gebruiker.
TRACK RECORD
Wat is het track record van het product in een (Nederlandse)
onderwijsomgeving?
UP biedt sinds 1997 oplossingen op het gebied van didactiek, online leren en SIS.
Dit doet UP in de zakelijke markt onder andere bij KLM, Shell, Belastingdienst en
Achmea, en binnen het onderwijs bij de Open Universiteit, Universiteit van Amsterdam, Hogeschool Arnhem en Nijmegen en meer dan 30 mbo-instellingen. Daarnaast
bestaan er diverse partnerships met partijen die op grotere schaal (learning) analytics inzetten binnen organisaties en onderwijsinstellingen, waarbij UP haar specifieke
expertise inbrengt.
INFRASTRUCTUUR EN ARCHITECTUUR
Binnen welke infrastructuur/architectuur kan het product functioneren?
Omdat UP voor learning analytics geen softwarepakket van de plank levert, maken
wij zo veel mogelijk gebruik van de bestaande infrastructuur en architectuur. Dit is
onafhankelijk van de gekozen systemen, of dit nu SaaS in één van de eigen beveiligde
13
14
Tools en diensten voor learning analytics
datacentra of op locatie bij de klant of leverancier is. Door deze platformonafhankelijke werkwijze, onafhankelijk van derden, komt UP samen met de klant tot een solide
oplossing binnen bestaande IT-ecosystemen. Om dit mogelijk te maken, gebruikt
UP kennis over de vele mogelijkheden om data te benaderen in deze systemen. Met
behulp van specifieke methoden voor data-mapping, combineert UP data uit alle
onderliggende bronsystemen.
TOEKOMSTIG GEBRUIK
In welke mate is de dienstverlening ‘future proof’?
UP blijft ook op het gebied van learning analytics werken met een flexibel portfolio
producten, diensten en partners. Centrale gedachte daarbij is dat learning analytics
gestuurd en geïnitieerd moet worden vanuit een vraag of probleem, en niet vanuit de
technologie. Deze visie wordt blijvend ondersteund met marktonderzoeken, publicaties, didactische modellen en advies.
Visie op ontwikkeling product / learning analytics:
Meer doen met bestaande data is waar UP voor staat. Met bestaande data (actueel
én historisch) kan steeds accurater worden voorspeld. Dit in plaats van enkel achteraf
rapporteren en constateren. Door alleen de hiaten in kaart te brengen en daar een
oplossing voor te bieden, kan learning analytics in iedere omgeving efficiënt worden
ingevoerd. Implementatietrajecten zijn daardoor kort. Door learning analytics worden
interventies in toenemende mate op basis van actuele en complete data gepleegd.
Hierdoor neemt de kwaliteit van en de grip op interventies toe. Zowel op strategisch
als uitvoerend niveau.
Tools en diensten voor learning analytics
Firmanaam:
Maastricht University
Contactpersonen:
Jeroen Donkers
E-mail: [email protected]
Frank van de Kamp
E-mail: [email protected]
Adres:
Dep. EDUC, FHML. Postbus 616,
6200 MD Maastricht
Website:
www.ivtg.nl
Neem contact op met SURFmarket
als een overeenkomst met een
leverancier gewenst is.
PROF – PROGRESS
TEST FEEDBACK
FUNCTIONALITEIT
Beoogde gebruikers:
Management, middelmanagement, beleidsmedewerkers, studieloopbaanbegeleiders
en studieadviseurs, docenten, studenten.
Zo kan ProF worden gebruikt:
The ProF-system (Progress test Feedback) is intended to provide online longitudinal feedback on progress test results to students and staff. Although the ProFsystem was originally developed specifically for the progress test in medicine, it
has been generalized to deal with general progress tests. A progress test, in this
respect, is a test that is taken at regular intervals during a student’s trajectory (e.g.
twice or four times a year) and is exactly the same for all levels of students. The
test is taken at the level of graduation which means that starting students score
lower than students at the end of their study. The standards for each student are
based on the score distribution within the student’s peer group.
The scores for the progress test may be differentiated in several types of subscores, e.g. on disciplines or knowledge categories. This type of test allows for a true
measurement of progress. By comparing their own results with those of their peers
(aggregated), students can analyze their strong and weak points in their own development. Moreover, educators can study the behavior of their student population.
The progress test can be administered by multiple institutions simultaneously, as is
for example the progress test in medicine. In this case, the progress test also acts
as a benchmark between institutions. For more background on progress testing we
refer to www.ivtg.nl.
Students can browse through their progress test data using an intuitive dashboard
that allows the selection of parameters along a series of dimensional axes, such as:
total score, or detailed score, raw data or cumulative, type of score and the peergroup data which should be presented as background. The data can be presented in
a longitudinal or momentaneous view. The dashboard allows the student to switch
easily between all parameters. This gives the students much freedom to explore their
results and make their own analysis. Staff members can see data on the level of peer
groups and may or may not, depending on their permissions, see results of individual
students.
The ProF application is enhanced with a web-analytics tool (Piwik) that makes it possible to trace the use of the system by students and staff members.
Please contact us if you wonder whether test outcome data of you institute or consortium might be suitable for being displayed by ProF.
Welke data wordt gebruikt en gegenereerd?
The ProF system takes the outcome data of a series of progress tests (which should
be provided by the client in a required format) and pre-computes longitudinal views,
cumulative scores and group aggregates for all students. Next to this, the webanalytics tool Piwik is used to generate ProF usage data.
15
16
Tools en diensten voor learning analytics
Wie is eigenaar van de data?
Client organisations have access to the data and remain the owner of the data.
Hoe vrij beschikbaar en transporteerbaar is de data?
Consortia can extract data by the client as needed. Piwik website usage reports can
be downloaded by the client in several formats.
TRACK RECORD
Wat is het track record van het product in een (Nederlandse)
onderwijsomgeving?
ProF is currently in use in three different settings:
A) Medicine (Maastricht University / MUMC, Radboud universiteit Nijmegen / UMCN,
Universiteit Groningen / UMCG, Leiden University / LUMC, Vrije Universiteit Amsterdam / This configuration involves about 12.000 users.
B) G
eneral practitioners (Huisartsopleiding Nederland (UMCN, LUMC, UMCG, AMC,
UMCU, MUMC, UM, Erasmus MC, VUmc)
This configuration involves about 1.900 users.
C) Psychology at Maastricht University
This configuration involves about 950 users.
The ProF system was first evaluated on its usability during a pilot study at Groningen
University. The reactions of students were very promising. Since 2009 the system is
continuously in use within the 5 partners of the iVTG. In 2012, an investigation of the
usage of ProF was performed in the SURF Learning Analytics Innovation project. The
usage varied greatly among groups of students. We concluded that it is important
to incorporate the use of ProF in the curriculum, and to advocate the use of ProF by
tutors and study advisors. A follow-up study in 2013 showed an increased usage and,
more importantly, signs for a positive longitudinal effect on test outcomes.
INFRASTRUCTUUR EN ARCHITECTUUR
Binnen welke infrastructuur/architectuur kan het product functioneren?
The system consists of three parts: (I) an import/computation module, (II) a central
data warehouse and (III) the user interface – including Piwik web analytics. The import/computation module is developed in Perl and Project R and uses a local MySQL
database for its computations. The data warehouse is implemented as a MySQL database. The user interface is developed in PHP. ProF does not support the Tin Can API,
but for institutions that are member of SURF it allows federated login through SURF
Conext. For other users, individual passwords can be used to login into the system.
Each consortium of institutes that run a progress test together will have their own
private data warehouse and version of computation module. We call this a “configuration”. All configurations share the same user interface. The ProF system is offered
as SAAS. The application is hosted by an external provider (Pine Digital Security BV).
TOEKOMSTIG GEBRUIK
In welke mate is het product ‘future proof’?
Since its first version in 2009, ProF has been extended continuously. The first
additional functionality was connection to SURF Federation (now SURFconext). In
2011 the system was made configurable so that multiple consortia can use ProF, each
having their own data warehouse and import/computation module version. In 2012 a
connection was introduced with the web-analytics tool Piwik.
Tools en diensten voor learning analytics
The development and maintenance of the system is done at Maastricht University.
Next to regular maintenance, the introduction of ProF to new consortia always leads
to requests for new functionality. Since everyone shares the same user interface, we
will coordinate these requests and try to find solutions that fit all consortia. Substantial changes will have to be negotiated and will request additional funding.
Visie op ontwikkeling product / learning analytics
We envision several extensions to ProF in the coming years. The navigational structure will be improved to motivate students even more to stroll through their data. We
will try to improve the prognosis model, based on advanced data analysis methods.
The system will become more adaptable to the specific needs of consortia. More
languages (next to Dutch and English) will eventually become available.
17
18
Tools en diensten voor learning analytics
SCORION
FUNCTIONALITEIT
Firmanaam:
Parantion
Contactpersonen:
Roel Smabers & Robert Smeenk
Telefoon: 0570-622939
Adres:
Munsterstraat 9 7418 EV Deventer,
Postbus 2109 7420 AC Deventer
Website:
www.parantion.nl
Neem contact op met SURFmarket
als een overeenkomst met een
leverancier gewenst is.
Beoogde gebruikers:
Studenten, docenten, begeleiders en opleiding.
Zo kan Scorion worden gebruikt:
Het doel van Scorion is om talentontwikkeling te ondersteunen door het leerproces
en leerresultaat inzichtelijk te maken voor de student, de docent, begeleiders en de
opleiding. Doordat alle resultaten vastgelegd worden via vragenlijsten en documenten en een grote verscheidenheid aan toets- en feedbackmethoden kunnen worden
toegepast, kunnen de data goed worden vergeleken. De open standaarden zorgen
voor brede analysemogelijkheden. De grafische weergaven en het gebruik van de
Scorion App geeft real-time inzicht in resultaat.
Welke data wordt gebruikt en gegenereerd?
Data worden verzameld op het niveau van de student, de docent, maar ook over de
volle breedte van de opleiding. Het persoonlijke dashboard en filtering zorgen voor
analytics op maat.
Wie is eigenaar van de data?
De data zijn eigendom van de licentiehouder. Meestal is dat de opleidingsinstantie,
maar data kunnen ook van de student zijn wanneer een opleiding dit zou willen.
Hoe vrij beschikbaar en transporteerbaar is de data?
De data kunnen in allerlei soorten formaten worden geëxporteerd of gekoppeld.
Bijvoorbeeld: Excel, SPSS, CSV, XML, PDF en Word.
TRACK RECORD
Wat is het track record van het product in een (Nederlandse)
onderwijsomgeving?
Scorion wordt onder meer gebruikt door SURF, TUDelft, UMCG, UvA, RuG, Avans,
Erasmus Medisch Centrum, Academisch Ziekenhuis Maastricht, UMC st Radboud,
Hogeschool Leiden, Hogeschool Utrecht, Hogeschool de Kempel Saxion, Fontys,
INHOLLAND en de Politieacademie. Fontys heeft onderzoek gedaan naar het gebruik
van Scorion. Verder doen bijna alle instituten gebruikersonderzoek naar al hun applicaties. Informatie kan desgewenst bij desbetreffende instanties en Parantion worden
ingewonnen.
INFRASTRUCTUUR EN ARCHITECTUUR
Binnen welke infrastructuur/architectuur kan het product functioneren?
Scorion is een volledige private cloudoplossing die draait vanaf twee datacenters op
Nederlandse bodem. Configuratie en dataopslag zijn volledig redundant uitgevoerd.
Scorion ondersteunt SURFconext.
Tools en diensten voor learning analytics
TOEKOMSTIG GEBRUIK
In welke mate is het product ‘future proof’?
Enkele van de nieuwe functionaliteiten die in 2013 ontwikkeld zijn;
-Integratie met GoogleMaps. Hiermee kunnen geografische posities worden
gekoppeld. Een mooi voorbeeld hiervan is: www.oursaxionworld.com.
-De hybride app, die klantspecifiek configureerbaar is, inclusief een persoonlijk
dashboard, werkt op alle platforms en devices. Gebruikmakend van PhoneGap,
Sencha en HTML5.
-JIT (Just in time) surveying met de app door koppeling met bestaande systemen.
Bijvoorbeeld lesevaluatie met app, op basis van lestijden, afkomstig uit roostersystemen.
Er wordt gewerkt in ontwikkelsprints van circa 4 weken, en er wordt 12 keer per jaar
geüpdatet. Dit gebeurt zonder dat gebruikers dat merken, en dus zonder downtime.
Nieuwe functionaliteit is nagenoeg altijd instelbaar, zodat de gebruiker de keuze
heeft om deze ‘aan of uit te zetten’.
Verwachte ontwikkelingen voor 2014:
-Een ‘tailormade’ dashboard voor gebruikers. Met behulp van XML en HTML zijn
dashboards geheel aan te passen. Hiermee kunnen klanten hun eigen dashboard
inrichten.
-Doorontwikkeling van de datamanager: Flexibele filtering, gebruikers kunnen zelf
filters instellen. Hierdoor is het mogelijk om eigen datasets te creëren.
-Delen van specifieke (gedeeltes van) datasets en delen van het dashboard. Met
behulp van de ‘analistenlink’ kunnen gebruikers bepaalde data in laten zien door
collega’s.
- Koppelingen met Blackboard en Turnitin.
- Functionaliteit voor het inleveren van opdrachten.
19
20
Tools en diensten voor learning analytics
SOWISO
FUNCTIONALITEIT
Firmanaam:
SOWISO bv
Contactpersoon:
Marc Habbema
E-mail: [email protected]
Telefoon: 06-46112535 /
020-7520000
Adres:
Science Park 400,
1098 XH Amsterdam
Website:
www.sowiso.com
Neem contact op met SURFmarket
als een overeenkomst met een
leverancier gewenst is.
Beoogde gebruikers:
NOTE: The focus of our e-learning platform is the exact sciences.
We can identify multiple end users of our product, and our platform ensures that
they all benefit from its features.
• Students. The students that follow the courses on our platform benefit from the
advanced interactivity in their learning experience. They get instant feedback
exactly where and when they need it. They receive more than binary wrong/correct
feedback. Because of the effective feedback and hints, our application is more of a
learning-system than just a testing-system.
• Teachers. For the teachers our platform eases their workload by taking over some
of their repetitive tasks and by providing targeted attention to the students at all
times. Moreover, because of the extensive progress reports, the teacher can identify
problematic subjects/skills and students. The interactive learning content can be
exported to multiple formats and channels.
• Authors. Because of the user-friendly authoring tool, the authors (often these are
the teachers) have a tool to create rich interactive e-learning without them needing
to code. The authoring tool accepts multiple input-languages, such as TeX, but also
has a what-you-see-is-what-you-get type input editor.
• Educational institutions. Our platform is modestly priced, so institutions can benefit in a financial way as well. The increase in productivity and learning results more
than enough compensate for the costs incurred. We adhere to a very transparent
pricing structure with campus-wide licenses.
We also offer a comprehensive first year university calculus-course based on
the platform.
The platform is scalable and can be used by multiple departments within an institution at the same time. The platform also has community-features, so that co-creation
and co-learning is stimulated. It’s even possible to have cooperation in content creation between different institutions.
Zo kan SOWISO worden gebruikt:
The SOWISO e-learning platform is a turn-key state-of-the-art e-learning solution for
the exact sciences in higher education. It enables institutions to create, manage and
publish the next generation e-learning. Progress reports / learning analytics is just one
feature of this platform. A list of some of the features of this platform is provided here:
• Learning management system with student/teacher/author/admin profiles and
functions. The platform acts as an LMS/CMS in which courses can be presented for
students.
• Interactive e-learning with intelligent communication between user and software.
Interpretation of open answers and targeted feedback and hints. The software is
not only able to see that a mistake is made, but also what that mistake is. Apart
from exercises, the e-learning also includes theory-pages.
• Randomization. The exercises are composed with random parameters: students
can practice a particular problem/skill as intensive as they want.
• Progress reports for students and teachers at any desired level of detail. Very suited for learning analytics and predictive learning.
• Authoring tool for teachers/authors so they can create interactive content without
programming knowledge. This holds for exercises, theory and tests.
• Tests can be composed and taken by teachers. These can be entrance or exit-level
(diagnosing) tests. Less formal (self-)tests are also possible.
Tools en diensten voor learning analytics
•T
ags and metadata make sure the platform can be applied in a diagnosing and
remedial way by the use of learning-taxonomy.
•C
ommunity features enable students, teachers and authors to co-create and colearn
• Cross-browser, cross-device HTML5 future-proof technology, accessible through
PC or tablet the like. No use of flash or java-applets that require local installation of
software.
• Cloud-based. The platform is cloud-based: the client/student only needs a device
with a browser to access the platform. The platform can be installed on a local server if the institution desires so.
•A
ll mathematical subjects are covered by our platform, ranging from arithmetic to
advanced calculus.
• 1 4 exercise types Our platform currently provides templates for a lot of exercise
types, like open exercises or more graphical exercises. Many more types are constantly being developed.
•M
ulti-channel publishing The interactive content can be exported to different formats (pdf, LaTeX, MS Word, ePub) with the click of one button.
In general, all these features enable institutions to create future-proof technology
enhanced learning that fit the needs of their students.
A demo-website is available at: http://demo.sowiso.nl
Welke data wordt gebruikt en gegenereerd?
The data generated for the progress reports is actually an incredible amount: Userid,
school, class, chapter, subject, question, correct/wrong answer, hints/solutions asked,
types of errors made, date, time, day. But apart from this also the random parameters that were generated for that particular exercise are stored, so that students and
teachers can use a replay-functionality so that one can see the exact same context
in which the particular answers were given. Finally, also meta-data tags that describe
skills or categories of mistakes are stored. This all means that the progress-reports
can be based on many types of stored data. A teacher can for example run reports
on the types/categories of mistakes that his or her students have made in a particular
course. The teacher can adapt to this in coming meetings. The ‘cockpit, that teachers
or students have in the reporting-tool is easily customizable.
Because the platform is capable of dealing with open answers and providing targeted feedback, a whole lot of specific detailed user data is stored. The data, and thus
the Learning Analytics that can be performed with it, is a direct result of the learning
process of the student.
Wie is eigenaar van de data?
The data is stored in a database. Concerning intellectual property, there is a clear distinction. All content that is created by the client on the platform, and the user-data
that is generated by its use of the platform, is owned by the client on that particular
platform. SOWISO remains the legal owner of the platform.
Hoe vrij beschikbaar en transporteerbaar is de data?
The data is flexible and open, because it can be exported in any format, like xml, json,
csv, excel or ods. It’s also possible to import existing digital material. Theory in the
form of text, pictures or movies can be incorporated. Also exercises (preferably with
XML-type structure) can be imported.
21
22
Tools en diensten voor learning analytics
TRACK RECORD
Wat is het track record van het product in een (Nederlandse) onderwijsomgeving?
The SOWISO e-learning platform is relatively new, but already being used at around
a dozen universities, colleges and publishers. Some of them are: The University of
Amsterdam, Leiden University, Amsterdam University of Applied Sciences, Eindhoven University of Technology and many more. We are in the process of expanding
to for example Scandinavia and Sout-East Asia. All our projects have been delivered
on-time, on budget. The company providing the e-learning platform is a spin-off from
the Technical University of Eindhoven, at which the underlying technology was developed and tested many times.
For a use-case of our platform, we can refer to a university of applied sciences.
A course was developed to complement the existing class-room education. Over
14.000 exercises were made by around 40 students. After the exam was made, this
was one of the results:
Number of exercises made
0
30
50
100
150
300
600
Average grade
5,79
5,88
5,91
5,90
6,12
6,91
8,00
% of students passing
61%
63%
65%
67%
71%
82%
100%
39
31
27
25
19
12
4
Number of students
INFRASTRUCTUUR EN ARCHITECTUUR
Binnen welke infrastructuur/architectuur kan het product functioneren?
The platform is partly based on many years of scientific research at the Technical
University of Eindhoven. When it comes to the exact sciences, it is the most advanced solution out there.
The platform is also very flexible and open in architecture so we can deal with future
developments/trends/standards in the e-learning world. We can call on different
(mathematical, graphical, social, analytical, etcetera) programs as services. The open
architecture ensures us that we can do this in the future as well. The technology we use
is HTML5-proof and works on all types of devices and browsers. We support SURF Conext and Kennisnet Entree. We will also support the Tin Can API and the LTi standard.
TOEKOMSTIG GEBRUIK
In welke mate is het product ‘future proof’?
As an innovative company with strong co-operation with many players in the educational market, we are constantly up-to-date with current demands and desires for future developments. Personal attention is a proven concept in education. Our platform
provides this attention on two levels. First, because of the intelligent feedback that
is provided to the student. Second, because of the extensive progress reports, the
teacher can adapt his or her teaching towards the students’ needs.
Apart from this, we believe in a class-room future in which testing is not a precondition for establishing a student’s level of knowledge. An intelligent system which
constantly monitors progress on all types of dimensions, and which can present the
student in an adaptive way with the most suited content, is able to define at which
point the student has reached the desired end-level.
Concerning updates, we work with major and minor releases that are periodically released. All upgrades are backward compatible, so that developed content will always
be supported.
Tools en diensten voor learning analytics
STUDENT ACTIVITY
METER (SAM)
FUNCTIONALITEIT
Firmanaam:
KU Leuven
Beoogde gebruikers:
Contactpersoon:
Sten Govaerts
E-mail: [email protected]
Zo kan de Student Activity Meter worden gebruikt:
Website:
http://www.role-widgetstore.eu/
tool/student-activity-meter
Neem contact op met SURFmarket
als een overeenkomst met een
leverancier gewenst is.
Students and teachers
The Student Activity Meter visualizes time spent and resource use of students to enable awareness for students and teachers and to support self-reflection for students.
One of the three available visualizations shows the time spent of all students over the
period of the course, enabling students and teachers to see when students are active
and what they are doing. For example, teachers can detect dropouts early with this
visualisation or students can see whether they spend the expected amount of time.
The Parallel Coordinates visualisation provides more details on resource use, time
spent and other metrics depending on the course. For instance, in a computer-programming course teachers can get a better understanding on the use of programming tools and taught concepts if tool use is tracked.
A third visualization displays the distribution of various metrics tracked in the course.
A student’s personal information is highlighted in all visualisations and can be compared against minimum, maximum and averages, when she (the student) is authenticated.
Welke data wordt gebruikt en gegenereerd?
The Student Activity Meter (SAM) uses tracking data from various platforms. For
better performance, the Student Activity Meter uses a preprocessing step that
collects the data and calculates metrics. This preprocessing step transforms basic
log records (e.g. timestamp, user info, action, resource, etc.) into a higher level
format compatible with SAM (see https://github.com/ROLE/ROLE/wiki/Widgetstudent-activity-meter-preprocessing-scripts for more info). We have provided
scripts for various data sources, e.g. Contextualised Attention Metadata (CAM)
and Moodle (http://www.moodle.org).
The Student Activity Meter easily allows the use of custom metrics as the
visualizations will dynamically update based on the data provided. The preprocessing
scripts are open source and freely available.
Wie is eigenaar van de data?
The data used by the preprocessing scripts is owned by the owner of the tracked
data. The owner has full control over the data and can decide where he applies SAM.
Hoe vrij beschikbaar en transporteerbaar is de data?
SAM uses a simple JSON format (see https://github.com/ROLE/ROLE/wiki/Widgetstudent-activity-meter-preprocessing-scripts). The JSON data is structured per
course and can be used by any installation of SAM.
23
24
Tools en diensten voor learning analytics
TRACK RECORD
Wat is het track record van het product in een (Nederlandse)
onderwijsomgeving?
SAM has been evaluated in 4 real-world settings: (1) a computer science course at
KULeuven, (2) an agroforestry course at CGIAR (http://www.cgiar.org), (3) a MOOC
on learning analytics and (4) a computer science course at the Carlos III University of
Madrid. The main results were that SAM was perceived as useful by teachers and students. From these evaluations we have also discovered that the SAM can be used in
many different situations beyond what the original developers would have foreseen.
SAM was also integrated by SURF in an internal project.
INFRASTRUCTUUR EN ARCHITECTUUR
Binnen welke infrastructuur/architectuur kan het product functioneren?
SAM consists of an Adobe Flash application that reads a set of preprocessed data
files to enable faster performance and scalability. Scripts to generate these files exist
for a few platforms, e.g. Moodle. The Flash application of SAM is installed by copying
a directory to a web server.
TOEKOMSTIG GEBRUIK
In welke mate is het product ‘future proof’?
The source code of SAM is open source and free. Thus developers can extend SAM
if needed. Furthermore, SAM can be customised without any implementation by
adding new metrics to the data files, which will be automatically shown in the
visualisations.
Tools en diensten voor learning analytics
STUDENT
ANALYTICS SERVICE
Firmanaam:
Deloitte Consulting
Contactpersoon:
Theo Bakker
E-mail: [email protected]
Telefoon: 06-10999307
Adres:
Laan van Kronenburg 2
1183 AS Amstelveen
Website:
www.deloitte.nl
Neem contact op met SURFmarket
als een overeenkomst met een
leverancier gewenst is.
FUNCTIONALITEIT
De Student Analytics Service van Deloitte biedt onderwijsinstellingen de basis om
studenten optimaal en op maat te begeleiden. Op basis van een combinatie van
gegevens uit uw bestaande informatiesystemen, verrijkt met externe bronnen, segmenteren we studentgroepen en opleidingen naar uitval, studieduur en excellentie.
Vervolgens bepalen we hoe u bestaande maatregelen voor studiesucces veel
gerichter kunt inzetten. Hiermee bereikt u een efficiënte inzet van middelen en
een beter studierendement.
Beoogde gebruikers:
Management, middelmanagement, beleidsmedewerkers, tutoren,
studieloopbaanbegeleiders en studieadviseurs
Zo kan de Student Analytics Service worden gebruikt:
Met deze service heeft de Faculteit der Geesteswetenschappen (UvA) historische
studentgegevens geanalyseerd uit 7 bronsystemen. Op basis hiervan zijn 12 segmenten gevonden binnen de gehele populatie en is een voorspellend algoritme voor
uitval ontdekt. Parallel aan het project zijn gesprekken met medewerkers gevoerd om
de werkpraktijk en houding ten aanzien van rendementsbevorderende maatregelen
beter te begrijpen. De uitkomsten worden gebruikt om bestaande studiesuccesmaatregelen beter toe te snijden op de behoeften binnen de faculteit van zowel studenten
als medewerkers. Een segmentatie en basis voor gerichte studiesuccesmaatregelen
kan er als volgt uitzien:
Figuur 1 Studentanalytics?
25
26
Tools en diensten voor learning analytics
Welke data wordt gebruikt en gegenereerd?
Voor de analyse en segmentatie maakt de Student Analytics Service gebruik van
gegevens uit de gehele studieloopbaan van de student die we verrijken met externe
data: CRM-gegevens over voorlichting, Studielink, SIS-inschrijf/SIS-Volg, roostergegevens, HR-gegevens, DLWO et cetera, aangevuld met gegevens van DUO en CBS.
Wie is eigenaar van de data?
De aanleverende instelling is eigenaar van de data (DUO- en CBS-gegevens zijn
eigendom van het ministerie van OC&W en het CBS). De data worden opgeslagen op
de servers van Deloitte voor uitvoering van de opdracht en als back-up bewaard om
de uitkomsten van onderzoek en analyses te kunnen rechtvaardigen als hier op een
later tijdstip vraag naar is.
Hoe vrij beschikbaar en transporteerbaar is de data?
De data komen uit bestaande systemen: beschikbaarheid is verbonden met de datapolicy van deze systemen. De onderwijsinstelling ontvangt een algoritme en formule
om de segmentatie zelfstandig te kunnen herhalen. Informatie wordt niet gedeeld
tenzij hierover toestemming is van de onderwijsinstelling zelf.
TRACK RECORD
Wat is het track record van het product in een (Nederlandse) onderwijsomgeving?
De Student Analytics Service is ingezet op de Faculteit der Geesteswetenschappen
(UvA). Verdere referenties zijn op aanvraag beschikbaar bij Deloitte (zie contactdata).
INFRASTRUCTUUR EN ARCHITECTUUR
Binnen welke infrastructuur/architectuur kan het product functioneren?
De Student Analytics Service is geen softwarepakket, maar een consultancydienst
voor student analytics. Data moeten goed met elkaar te verbinden zijn. De meest
gangbare bestandsformaten (ODBC database, Excel, CSV, et cetera) kunnen ingelezen worden. Analyses van gegevens en rapportages zijn op te schalen naar elke
gewenste omvang.
TOEKOMSTIG GEBRUIK
In welke mate is het product ‘future proof’?
Als leverancier van kennis is Deloitte gericht op voortdurende innovatie van haar
dienstverlening. Data analytics is één van de speerpunten in alle vormen van onze
dienstverlening. Op basis van analyses van trends in het hoger onderwijs (en andere
industrieën) passen wij in nauw contact met onze Member Firms in het buitenland
onze dienstverlening en proposities voortdurend aan.
Visie op ontwikkeling product / learning analytics:
De ontwikkeling van student analytics zal ertoe leiden dat de norm voor begeleiding
van studenten in het hoger onderwijs wezenlijk zal gaan veranderen. Het nieuwe
leenstelsel zal studenten kritischer maken over de studiebegeleiding die onderwijsinstellingen bieden. De snelheid waarmee studenten feedback krijgen en de breedte
aan adviezen voor een beter studiesucces zullen sterk toenemen. Meer en meer zullen
verschillende datasets met elkaar gecombineerd worden. Het eigenaarschap en de
portabiliteit van data zal sterker bij de student komen te liggen evenals de toestemming of het verzoek om data ten gunste van zijn/haar succes te gebruiken. Voor een
gericht beleid hiervoor bieden wij een Privacy Adviesdesk Service.
Tools en diensten voor learning analytics
27
Universiteiten
Erasmus Universiteit Rotterdam
Open Universiteit
•
Radboud Universiteit Nijmegen
Rijksuniversiteit Groningen
Technische Universiteit Delft
Technische Universiteit Eindhoven
Tilburg University
Universiteit Leiden
Universiteit Maastricht
Universiteit Twente
Universiteit Utrecht
Universiteit van Amsterdam
Vrije Universiteit Amsterdam
Wageningen University
Hogescholen
Amsterdamse Hogeschool voor de Kunsten
ArtEZ hogeschool voor de kunsten
Avans Hogeschool
Christelijke Agrarische Hogeschool Aeres
Christelijke Hogeschool Ede
Windesheim
Driestar Hogeschool
Fontys Hogescholen
Gereformeerde Hogeschool
De Haagse Hogeschool
Hanzehogeschool Groningen
HAS Den Bosch
Hogeschool iPabo
Hogeschool van Arnhem en Nijmegen
Hogeschool Inholland
Hogeschool Leiden
Hogeschool Rotterdam
Hogeschool Utrecht
Hogeschool van Amsterdam
•
Student Analytics
SOWISO
Scorion
SAM
ProF
Inzicht in zicht
EesyAnalytics
Business Intelligence
Development
Framework
Instellingen die deelnemen in SURF
Blackboard Analytics
OVERZICHT TOOLGEBRUIKERS
Koninklijke Academie van Beeldende Kunsten
Hogeschool voor de Kunsten Utrecht
Hogeschool Zeeland
Hotelschool Den Haag
Iselinge Hogeschool
NHTV internationaal hoger onderwijs Breda
NHL Hogeschool
Hogeschool de Kempel
Marnix Academie
Saxion
Stenden Hogeschool
Design Academy Eindhoven
Hogeschool Van Hall Larenstein
Zuyd Hogeschool
Overige
Academisch Medisch Centrum Amsterdam
Academisch Ziekenhuis Maastricht
Erasmus MC
Koninklijke Bibliotheek
Koninklijke Nederlandse Academie
van Wetenschappen
Leids Universitair Medisch Centrum
Nederlandse Organisatie voor
Toegepaste Natuurwetenschappelijk
Onderzoek
Nederlandse Organisatie voor
Wetenschappelijk Onderzoek
Politieacademie
RIVM
UMC St Radboud Nijmegen
Universitair Medisch Centrum Utrecht
Universitair Medisch Centrum Groningen
Universiteit voor Humanistiek
VU Medisch Centrum
Maken gebruik van deze learning analytics tools
Instellingen die gebruik maken van dit consultancybureau
Student Analytics
SOWISO
Scorion
SAM
ProF
Inzicht in zicht
EesyAnalytics
Instellingen die deelnemen in SURF
Business Intelligence
Development
Framework
Tools en diensten voor learning analytics
Blackboard Analytics
28
Tools en diensten voor learning analytics
29
OVERZICHT SOFTWARE IN SURFEXPERIMENTEN LEARNING ANALYTICS
Software die gebruikt is in door SURF ondersteunde learning analytics
experimenten, klik op de projectnaam voor meer informatie over het project
Stimuleringsregeling
Learning Analytics 2013
Learning Analytics, formatieve
toetsing & leerdisposities
Instelling
Software
Blackboard, MyMathLab,
Maastricht University
MyStatLab, Collector,
SPSS, Excel
Khan Academie, SOWISO,
COACH
Universiteit van Amsterdam
IMAGE ME
UMC Utrecht
VQuest
Technische Universiteit
SAM (Student Activity Meter),
Eindhoven
Step up!
Hogeschool van Arnhem en
QMP (Question Mark
Nijmegen
Perception), ESCTA
Saxion
Blackboard, Scorion
LADA
Leren van data
Student aan het stuur
Studiesucces voorspellen met
Blackboard Learn
Studiesucces voorspellen met
statische en dynamische data
Blackboard Mining
Hanzehogeschool Groningen
Universiteit Utrecht
Universiteit Leiden
Learning Analytics voor
vraaggestuurde didactiek
Hogeschool Utrecht
en begeleiding
Learning Record Store
Blackboard, EesyAnalytics,
ProgRESS
OSIRIS, Studion (Blackboard),
‘FSW UU tool’ (SPSS, Excel)
Blackboard, Cortana, R
Blackboard, OSIRIS,
SPSS, Excel
Innovatieregeling
Learning Analytics 2012
Curriculum Mining
MAIS (Meten, Analyseren,
Informeren, Sturen)
Technische Universiteit
Eindhoven
TU Delft
CurriM, ProM
Blackboard
(Early Warning System)
CELEX (lexicale database),
Pinpoint
Universiteit Twente
Schooltas
(ThiemeMeulenhoff)
ProF, Piwik, KMINE,
ProF Analytics
Ontwikkelde software
in dit project
Maastricht University
RapidMiner, Fuzzy Mining,
PROM6.1
User needs van docent en student
Universiteit van Amsterdam
bij inzet van learning analytics
Vrije Universiteit Amsterdam
UVAnalytics
Universiteit van Amsterdam
Vak voor Vak
Universiteit Leiden
Fronter, CAM, SAM,
Google Charts,
Javascript,
Blackboard, Piwik
PHP, MySQL, Evasys,
VvV-applicatie, uSis
COACH
VQuest visualisatiemodule
30
Tools en diensten voor learning analytics
COLOFON
De brochure ‘Tools en diensten voor learning analytics’ is een uitgave van SURF.
Eindredactie
Judith Evertse – Rosetta Lingua Tekst en Research
Ontwerp en opmaak
Vrije Stijl Utrecht
Datum
april 2014
Copyright
De brochure ‘Tools en diensten voor learning analytics’ is beschikbaar
onder de licentie Creative Commons Naamsvermelding 3.0 Nederland
(www.creativecommons.org/licenses/by/3.0/nl).
SURF
Graadt van Roggenweg 340
Postbus 2290
3500 GG Utrecht
T +31 (0)30 234 66 00
F +31 (0)30 233 29 60
[email protected]
www.surf.nl
2014
beschikbaar onder de licentie Creative Commons Naamsvermelding
3.0 Nederland. www.creativecommons.org/licenses/by/3.0/nl