Artikkel

Snart får studentene automatisk tilbakemelding – kan være like nyttig for lærerne

Studenter jobber sammen med laptop
Mange studenter ønsker seg begrunnelse for eksamenskarakteren. Samtidig er det mange som ikke er opptatt av tilbakemeldinger de får gjennom semesteret. Nå jobbes det med bedre automatiske tilbakemeldinger. "Automagiske", kalles de av en forsker. Foto: UiO

Snart får studentene automatisk tilbakemelding – kan være like nyttig for lærerne

– Gode og systematiske vurderingskriterier letter jobben for sensor og kan gi bedre undervisning, sier Omid Mirmotahari ved Institutt for informatikk. Han har forlengst automatisert begrunnelsene studentene får når de leverer oppgaver. Nå utvikles et system for retting og tilbakemelding ved UiO.
Anders Malthe-Sørenssen
— Vi tror at studentene vil lære av å se hvilke kriterier som er viktige ved vurdering, sier Anders Malthe-Sørenssen. Foto: Francesco Saggio

Mange studenter på bachelornivå leverer flere obligatoriske oppgaver – ”obliger” – i løpet av semesteret. Oppgavene rettes og vurderes av en lærer før tilbakemelding gis til studenten.

— Både lærere og studenter bruker mye tid på disse oppgavene, men vi tror ikke vurderingen av dem er optimal, sier Anders Malthe-Sørenssen, som leder UiOs Senter for databeregninger i realfagsutdanning, CCSE.

— Mange studenter henter ikke engang oppgaven sin med tilbakemeldinger, så her har vi helt klart et forbedringspotensial, sier han. For mange studenter gir uttrykk for at de ønsker seg et system for automatisk tilbakemelding, særlig på eksamen.

I et nytt prosjekt skal Malthe-Sørenssen og kolleger forske seg fram til gode vurderingsmetoder, som skal testes fra høsten 2019 før de tas i bruk i 2020.

Mange like feil

Vurderingssystemet blir utviklet som et dataprogram hvor den som retter, krysser av for hvilke feil studenten har gjort. Systemet genererer en automatisk tilbakemelding til studenten.

Automatisk tilbakemelding

Automatisk tilbakemelding/begrunnelse har vært et hett tema innefor høyere utdanning det siste året. Mange studenter ønsker det, mange ansatte er skeptiske.

Det var også et tema under årets rektorvalgkamp på UiO.

Arbeidet med vurderingssystemet, Structured Assessment System for Improved Student Learning, er CCSEs første eksternt finansierte prosjekt.

Det er støttet med ca. 6 millioner kroner fra FINNUT (Forskning og innovasjon i utdanningssektoren), et program i Forskningsrådet.

Prosjektet gir jobb til tre personer i tre år.

— Erfaringsmessig er det de samme feilene som går igjen, så vi har en rimelig god kategorisering av feil og misforståelser, forklarer Malthe-Sørenssen, som har forsøkt en tidlig versjon av systemet i begynneremnet i mekanikk.

Dataprogrammet skal utvikles som en utvidelse til læringsplattformer som Canvas.

«Kameratvurdering»

Forskerne vil også undersøke hva som skjer med studentenes læring hvis de retter hverandres oppgaver.

— Vi tror at studentene vil lære av å se hvilke kriterier som er viktige ved vurdering, sier Malthe-Sørenssen og legger til at det er viktig å undersøke om det virkelig er slik.

I tillegg til å teste om studentene lærer mer av å rette oppgaver, vil prosjektet gi kunnskap om læringsutbyttet ved å ta i bruk beregninger i bachelorstudiene.

Forsterkninger fra USA

Med på prosjektet er også nyansatt professor II i fysikk ved UiO, Danny Caballero fra Michigan State University. Han har ti års erfaring med forskning på fysikkutdanning.

— På dette feltet er amerikanerne mer modne enn oss i Europa, forklarer Malthe-Sørenssen og peker på at American Physical Society har et eget tidsskrift om forskning på fysikkutdanning

Systemet som utvikles i prosjektet, vil også kunne brukes til eksamensretting.

— Vi tror ikke studentene lærer så mye av akkurat det, men de er veldig interessert i å få begrunnelse på eksamen, sier Malthe-Sørenssen.

Vil du ha flere forskningsnyheter om realfag og teknologi? Følg oss på Facebook eller abonner på nyhetsbrevet vårt.

Omid Mirmotahari
Omid Mirmotahari ønsker seg et system der studentene løser nok oppgaver gjennom året til at eksamen bare trengs om man vipper mellom to karakterer. Foto: Anna Valberg/UiO Bruk bildet.

Et automagisk system

Også førsteamanuensis Omid Mirmotahari ved Institutt for informatikk deltar i prosjektet. Han har utviklet det han kaller et "automagisk" system.

Se for deg at du er student, og at hele kullet har jobbet med en stor innlevering der alle hadde samme oppgave. Nå, sier faglærer, skal du rette de andres oppgaver. Du får et klart sett med kriterier for å vurdere studentenes prestasjoner. Slik er hverdagen i klassene Omid Mirmotahari underviser.

Han gir også automatisk tilbakemelding på alle eksamener han holder. Han mener det fordrer at faglærere bruker noe mer tid på å lage sensorveiledninger enn de er vant til, men at man med et slikt opplegg sparer masse tid for sensorene.

De systematiske sensorveiledningene hans måler feil han regner med at studentene vil gjøre, og vekter elementer han mener skal være med i svaret. Da han lot studenter rette hverandres eksamener med denne metoden, ga de tilbakemeldinger som i snitt avvek fra faglærernes vurderinger med kun 5 prosent.  

– Ut fra min erfaring er dette et sensasjonelt samsvar dersom en sammenligner med vanlig eksamenssensur, sier Mirmotahari.

– Med denne formen for «student peer review», at studentene vurderer hverandre, minker sjansen for at en student kan gå fra karakteren B til D dramatisk.

Mirmotahari
Faglæreren velger ut et sett kriterier hen måler studentene på i hver enkelt eksamensoppgave. Dette diagrammet skal leses som et topografisk kart med "fjelltopper". - Her ser vi hele kullets prestasjoner. Mørkeblå er lavlandet. Er et felt mørkeblått, har de fleste studentene fått til oppgaven. Jo flere farger i et felt, jo flere studenter har gjort feil på dette punktet, forklarer Mirmotahari. 

Nå jobber Mirmotahari med en artikkel der han forklarer sin student peer review-metode for andre undervisere.

I et pilotprosjekt har han lagt til rette for automatisk tilbakemelding i ex.phil, et emne der eksamensbesvarelsen er et essay.

– Teksttunge besvarelser er ikke et problem, mener han.

Stor gevinst for faglærer

- Den største gevinsten av denne metoden er det faktisk faglæreren som får, understreker Mirmotahari. Han viser fram et slags topografisk kart som genereres når alle besvarelsene er vurdert.

- Her kan du se hvor mange som greier å løse hver enkelt oppgave. Ser du at de lette oppgavene hoper seg opp her, og hvordan det er skikkelig få som har greid disse vriene utfordringene her?

Han viser hvordan det er vanlig å gi noen lette oppgaver innledningsvis, slik at alle studentene opplever mestring, og hvordan han enkelte oppgaver er for utfordrende for de aller fleste eksamenskandidatene.

Mirmotahari
Mirmotahari mener faglæreren får et klart bilde av om undervisningen står i stil med studentenes læring. - Når nesten 50 prosent av studentene stryker på oppgave 2, bør faglæreren spørre seg om han eller hun har gitt studentene verktøyene de trenger for å løse oppgaven.

– Det er ikke studentenes feil. Her må læreren spørre seg om det var riktig å gi denne oppgaven som nesten ingen greide å svare på. Har hun eller han gitt studentene verktøyene de trenger for å løse oppgaven? Har læreren fått fram hvor viktig dette elementet er i undervisningen?

Mirmotahari mener faglærer kort og godt får et klart bilde av om undervisningen står i stil med studentenes læring. Her er det ofte mange ting å ta med seg for å forbedre egen undervisning, poengterer han.

Ditt faglige fingeravtrykk

Også studentene vinner. Mirmotahari viser fram en spidergraf, en graf som ser mest ut som et edderkoppnett. 

– Her ser du styrker og svakheter studenten har. Hvert ytterpunkt i nettet er et læringsmål. Ser du? Hun er skikkelig god på metode, hun er god til å regne, men hun er ganske rotete og kan bli bedre på å formidle faget og hva hun har forstått.

Mirmotahari
Spidergrafen viser kandidatens styrker og svakheter. Denne kandidaten har et ryddig oppsett, men har en del å gå på  når det gjelder kritisk tekning og hvordan hen formidler det hen har lært. Tanken er at når kandidaten får vite dette om seg selv, er det lettere å jobbe med å styrke de svake punktene. 

Mirmotahari kaller nettet besvarelsens fingeravtrykk, og forklarer hvordan han vil la studentene sine ta små spill og tester for å styrke de svake sidene sine gjennom semesteret.

– Jeg må appellere til de samme mekanismene i hjernen som gjør at du har lyst til å spille mobilspill. Du har lyst til å bli bedre og få en sterkere personlig profil på spidergrafen din.

Opplegget hans fordrer at læreren er villig til å lage mange små innleveringer gjennom hele semesteret.

– Eksamen er ikke det sentrale her. Prosessen er det viktigste, understreker han.

– I en ideell verden vil jeg etterhvert kunne gi én enkelt oppgave til studentene når eksamen nærmer seg: Løser du denne, er du minst en B-student. Går du videre? Greier du A-oppgaven også, trenger du ikke gå opp til eksamen. Det kuleste hadde vært om vi før eksamen kunne sende en sms til studenten og si: «Basert på det du har prestert gjennom semesteret, har du fått en C. Er du fornøyd med denne karakteren, svar OK. Ønsker du å forbedre karakteren, møter du opp på eksamen.»

Kontakt:

Anders Malthe-Sørenssen, leder for CCSE og professor i fysikk

Omid Mirmotahari, førsteamanuensis ved Institutt for informatikk

Mer på Titan.uio.no:

Skriv ny kommentar

Verifiser deg (din epost-adresse vil ikke bli vist offentlig)

Les også

Robotikk, studenter

Internasjonalt samarbeid gir robotikk-løft

Fem norske studenter er på vei til Japan, Brasil og USA og håper å komme tilbake med en mastergrad i robotikk i sekken. To brasilianske studenter er snart er på vei hjem etter nærmere ett år på UiO.

Indre detektor i Atlas skiftes ut

Forbereder hjertetransplantasjon i verdens største maskin

Hva er halvparten så stort som Notre Dame og veier like mye som Eiffeltårnet? "Atlas" fungerer som et avansert digitalkamera som tar bilder på 100 megapiksler opp mot én milliard ganger i sekundet. Nå skal det oppgraderes – med hjelp fra UiO-forskere.

Adriana Hernandez-Aguilar at work high up in a tropical tree

Sjimpanser har renere senger enn mennesker

Sjimpansene bygger nye senger hver kveld og gjør sitt fornødne over kanten på senga. Resultatet er at disse store apene har renere senger enn de fleste mennesker, viser en ny studie. Hvis mennesker skal sove i like rene senger, må de bo på et IKEA-utsalg!